[Документация Yandex Cloud](../../index.md) > [Yandex Smart Web Security](../index.md) > [Концепции](index.md) > Управление бот-трафиком

# Управление роботизированным трафиком

Веб-ресурсы обрабатывают значительную долю роботизированного трафика. При этом часть ботов — легитимные и необходимы для работы различных веб-сервисов. Например, [веб-краулеры](https://ru.wikipedia.org/wiki/Поисковый_робот), которые индексируют контент для актуальной выдачи в системе поиска, боты-архиваторы веб-страниц, боты для SEO-оптимизации веб-сайтов и так далее. Но есть и большое количество вредоносных ботов, например DDoS-ботнеты, сканеры уязвимостей, боты для мошенничества и кражи данных, фродеры. Для защиты веб-сервиса важно настроить фильтрацию таким образом, чтобы не затруднять работу полезных роботов, но при этом минимизировать активность вредоносных.

Smart Web Security предоставляет гибкие инструменты для защиты и фильтрации роботизированного трафика:

* Список категорий верифицированных ботов по их назначению или характеру действий (AcademicResearchBot, AISearchBot).
* Актуальные списки легитимных ботов различных сервисов и компаний (Yandex, Googlebot, Bing).
* Возможность использовать признак верифицированного бота.
* Настройка порогов оценки бота (Bot Score) от 0 до 100 для индивидуальной настройки правил.

Категории ботов и список легитимных ботов доступны как [предустановленные списки Smart Web Security](lists.md#yc-rules). Их не нужно создавать и обновлять вручную. Используйте их в условиях `Bot category` и `Bot name`, чтобы пропускать полезных роботов или применять к ним отдельные правила.

Перечисленные условия на трафик можно задать в правилах [профиля безопасности](profiles.md) (базовом, Smart Protection, WAF) и в правилах [профиля ARL](arl.md).

Результат фильтрации трафика и уровень оценки бота доступны в логах для более тонкой настройки правил безопасности.

## Категории верифицированных ботов {#bot-categories}

* `AcademicResearchBot` — боты для сбора данных из интернета, которые используются в академических исследованиях. Помогают автоматизировать извлечение информации для анализа и изучения научных проблем.
* `AccessibilityBot` — боты для улучшения доступности контента в интернете для людей с ограниченными возможностями. Например, помогают озвучивать текст на сайте.
* `AdvertisingAndMarketingBot` — боты для поддержки рекламных и маркетинговых кампаний.
* `AggregatorBot` — боты для сбора и распространения информации. Например, для агрегации статей с новостных сайтов.
* `AIAssistantBot` — ассистенты на базе искусственного интеллекта. Используются для решения широкого круга задач.
* `AICrawlerBot` — боты для обучения и улучшения моделей искусственного интеллекта. Могут собирать данные для тренировки алгоритмов машинного обучения.
* `AISearchBot` — боты на основе искусственного интеллекта, оптимизированные для интерактивного поиска и предоставления информации по запросам пользователей.
* `ArchiverBot` — боты для записи и долгосрочного хранения копий веб-страниц и других интернет-ресурсов.
* `FeedFetcherBot` — боты для извлечения данных из различных источников с регулярными обновлениями, таких как новостные ленты и блоги. Помогают пользователям получать актуальную информацию.
* `MonitoringAndAnalyticsBot` — боты для сбора аналитики по веб-сайтам. Отслеживают различные метрики сайтов (например, посещаемость, скорость загрузки, количество ошибок) и предоставляют аналитическую информацию для улучшения работы сайтов.
* `PagePreviewBot` — бот для генерации предварительного просмотра страниц по ссылкам, которыми делятся пользователи в мессенджерах или соцсетях.
* `SearchEngineCrawlerBot` — боты для сканирования интернета и индексации страниц для поисковых систем. Помогают системам, например Яндексу, обновлять базы данных и предоставлять актуальные результаты поиска.
* `SearchOptimizationBot` — боты для оптимизации сайтов и улучшения их видимости в поисковых системах. Анализируют страницы на наличие ошибок, предлагают изменения в контенте и структуре.
* `SecurityBot` — боты для проверки веб-сайтов на уязвимости и различные угрозы безопасности.
* `SocialMediaMarketingBot` — боты для управления присутствием брендов в социальных сетях. Автоматизируют публикации, модерацию и ответы пользователям, собирают аналитику и оценивают эффективность SMM-кампаний.
* `WebhooksBot` — боты для автоматизации процессов с помощью технологий реального времени, позволяющих веб-приложениям взаимодействовать друг с другом.
* `OthersBot` — прочие категории верифицированных ботов.

## Список легитимных ботов {#legitimate-bots}

Ниже приведен список ботов, которые используются различными компаниями для индексации контента, предоставления информации по запросам пользователей, SEO-оптимизации и обучения AI-моделей. Список регулярно обновляется. На основе этого списка вы можете настроить условия на трафик с учетом особенностей вашего сервиса или приложения.

{% cut "Легитимные боты доверенных сервисов и компаний" %}

1. `YandexBot` — основной индексирующий бот Яндекса.
1. `YandexAccessibilityBot` — бот проверяет доступность и работоспособность сайта.
1. `YandexAdNetBot` — рекламный бот.
1. `YandexBlogs` — бот индексирует посты в интернет‑блогах для поиска по ним в Яндекс Поиске.
1. `YandexMirrorDetectorBot` — бот находит зеркала сайта.
1. `YandexCalendar` — бот скачивает файлы календарей по запросам пользователей. Часто эти файлы находятся в каталогах, недоступных для индексации.
1. `YandexDirect` — бот загружает информацию о контенте сайтов‑партнеров рекламной сети Яндекса, чтобы определить их категории и выбрать релевантные объявления.
1. `YandexFavicons` — бот скачивает иконки сайтов (favicon.ico) для отображения в поисковой выдаче.
1. `YaDirectFetcher` — бот Яндекса, который загружает страницы объявлений для проверки их доступности и уточнения категории.
1. `YandexForDomain` — бот используется для проверки права владения доменом.
1. `YandexImages` — бот индексирует изображения для Яндекс Поиска.
1. `YandexImageResizer` — бот собирает изображения с сайтов и обрабатывает их для отображения на различных устройствах в разных форматах.
1. `YandexMobileBot` — бот определяет страницы, подходящие для мобильных устройств.
1. `YandexMarket` — бот Яндекс Маркета для получения актуальной информации о товаре с сайтов интернет‑магазинов.
1. `YandexMedia` — бот индексирует мультимедийные данные для Яндекс Поиска.
1. `YandexMetrika` — бот загружает страницы сайта, в том числе страницы объявлений Яндекс Директ, чтобы проверить их доступность.
1. `YandexMobileScreenShotBot` — бот делает снимок экрана страницы для мобильных устройств.
1. `YandexNews` — бот для агрегации новостей.
1. `YandexOntoDB` — бот генерирует карточки‑ответы в Яндекс Поиске.
1. `YandexPagechecker` — бот получает доступ к странице, когда запускается проверка микроданных через форму проверки структурированных данных.
1. `YandexPartner` — бот скачивает информацию о содержимом сайтов‑партнеров Яндекса.
1. `YandexRCA` — бот собирает данные для генерации превью страниц.
1. `YandexRenderResourcesBot` — бот загружает ресурсы для рендеринга страницы с помощью JavaScript.
1. `YandexSearchShop` — бот загружает YML‑файлы каталогов продукции по запросам пользователей. Часто эти файлы находятся в каталогах, ограниченных для индексации.
1. `YandexSitelinks` — бот проверяет доступность страниц, которые используются в качестве дополнительных ссылок (sitelinks).
1. `YandexSpravBot` — бот сервиса Яндекс Бизнес.
1. `YandexTracker` — бот Яндекс Трекера.
1. `YandexUserproxy` — бот управляет действиями пользователя в сервисах Яндекса, например отправляет запросы в ответ на нажатие кнопки и загружает страницы для онлайн‑перевода.
1. `YandexVertis` — поисковый бот Яндекс Вертикалей.
1. `YandexVerticals` — бот сервисов объявлений: Авто.ру, Яндекс Недвижимость, Яндекс Вакансии и Яндекс Отзывы.
1. `YandexVideo` — бот индексирует видео для показа в поисковой выдаче.
1. `YandexWebmaster` — бот Яндекс Вебмастера для SEO‑оптимизации.
1. `YandexScreenshotBot` — бот для удобного и быстрого создания скриншотов веб‑страниц.
1. `YandexAdditionalBot` — бот для создания быстрых ответов с YandexGPT.
1. `YandexComBot` — бот индексирует контент для нерусскоязычного сегмента поиска.
1. `ZenBot` — бот Дзена для агрегации новостей с порталов‑клиентов.
1. `MailruBot` — бот Mail.ru.
1. `Googlebot` — бот Google для индексации сайтов.
1. `StorebotGoogle` — бот Google для индексации интернет‑магазинов.
1. `GoogleInspectionTool` — бот Google, который используется в инструментах тестирования сайтов.
1. `GoogleOther` — бот Google общего назначения, который используется командами разных продуктов для получения общедоступных материалов сайтов.
1. `GoogleCloudVertexBot` — бот Google, с помощью которого владельцы сайтов создают агентов на основе Vertex AI.
1. `GoogleExtended` — бот Google для AI-поиска.
1. `APIsGoogle` — бот для отправки пуш‑уведомлений со стороны API Google.
1. `AdsBotGoogle` — бот Google для проверки качества рекламных объявлений на сайте.
1. `MediapartnersGoogle` — бот Google сканирует сайты из программы AdSense для размещения релевантных объявлений.
1. `GoogleSafety` — бот Google выполняет сканирование для поиска нарушений правил использования платформы, например ищет вредоносное ПО в общедоступных ссылках продуктов Google.
1. `FeedFetcherGoogle` — бот для сканирования фидов RSS или Atom для Google News и PubSubHubbub.
1. `GoogleProducer` — бот извлекает и обрабатывает фиды, которые явно предоставлены издателями для целевых страниц Google News.
1. `GoogleReadAloud` — бот по запросу пользователя получает и зачитывает веб‑страницы, преобразуя текст в речь.
1. `GoogleSiteVerification` — бот извлекает токены подтверждения Search Console для подтверждения права собственности на сайт в Google.
1. `Bingbot` — индексирующий бот Microsoft.
1. `AdIdxBot` — поисковый бот службы Bing Ads, который сканирует рекламу и переходит на веб‑сайты по объявлениям для контроля качества.
1. `BingPreview` — бот создает превью страниц в Bing.
1. `MicrosoftPreview` — бот создает превью страниц для сервисов Microsoft.
1. `Amazonbot` — поисковый бот Amazon для улучшения качества услуг, например помогает Alexa более точно отвечать на вопросы клиентов.
1. `Applebot` — бот собирает данные для работы различных инструментов, интегрированных в пользовательские интерфейсы экосистемы Apple (Spotlight, Siri, Safari), например для технологии поиска.
1. `FacebookExternalHit`^1^ — бот собирает, кеширует и показывает информацию о сайте или приложении, в том числе название, описание и иконку (миниатюрное изображение).
1. `MetaExternalAgent`^2^ — бот просматривает веб‑контент для обучения моделей искусственного интеллекта и улучшения продуктов путем прямого индексирования контента.
1. `Meta‑ExternalFetcher`^2^ — бот поддерживает способность Meta AI предоставлять пользователям актуальную информацию, выходящую за рамки обучающих данных.
1. `Pinterestbot` — бот сканирует общедоступные сайты для индексации контента и направления трафика на эти сайты, проверяет актуальность данных в пинах (например, цену и название), удаляет нерабочие ссылки.
1. `Qwantbot` — индексирующий бот Qwant.
1. `CCBot` — бот архивирует веб‑страницы для сайта commoncrawl.org.
1. `YahooSlurpBot` — основной индексирующий бот Yahoo.
1. `YahooLinkPreviewBot` — бот для предпросмотра страниц Yahoo.
1. `YahooMailProxyBot` — бот для предпросмотра ссылок в письмах Yahoo Mail.
1. `YahooAdMonitoring` — клиент извлекает содержимое по URL‑адресам, указанным в рекламных сервисах Yahoo. Содержимое целевой страницы используется для повышения точности рекламных объявлений на странице, а значит, и удобства взаимодействия с пользователем.
1. `Pingdom` — бот для автоматизированного тестирования и мониторинга сайтов.
1. `SEMrushBot` — бот для оказания услуг по поисковой оптимизации сайтов от компании SEMrush.
1. `OdklBot` — бот социальной сети Одноклассники.
1. `vkShareBot` — бот для создания виджета Поделиться на вашей странице. При нажатии на виджет автоматически создается пост в VK со ссылкой на сайт.
1. `Twitterbot` — бот для показа превью страниц в X.
1. `TelegramBot` — бот для показа превью страниц в Telegram.
1. `SeznamBot` — индексирующий бот Seznam.
1. `WebArchiveBot` — бот‑архиватор сайта archive.org.
1. `DuckDuckBot` — индексирующий бот DuckDuckGo.
1. `PetalBot` — индексирующий бот поисковика Petal Search от Huawei.
1. `AhrefsBot` — индексирующий бот поисковика Yep.
1. `AhrefsSiteAudit` — бот для SEO‑оптимизации, используемый в инструменте Ahrefs Site Audit tool.
1. `DataForSEOBot` — бот для оказания услуг по поисковой оптимизации сайтов от компании DataForSEO.
1. `SeekportBot` — индексирующий бот поисковика Seekport.
1. `Serpstatbot` — бот для оказания услуг по поисковой оптимизации сайтов от компании Serpstat.
1. `GPTBot` — бот для обучения моделей ChatGPT.
1. `ChatGPTUser` — бот, который может использоваться для посещения сайтов, указанных в запросе пользователя ChatGPT.
1. `OAISearchBot` — бот для умного поиска в ChatGPT.
1. `Synthetics` — бот для автоматизированного тестирования и мониторинга сайтов.
1. `UptimeRobot` — бот для автоматизированного тестирования и мониторинга.
1. `BLEXBot` — бот для оказания услуг по поисковой оптимизации сайтов от компании SE Ranking.
1. `BaiduSpider` — индексирующий бот китайского поисковика Baidu.
1. `Stripe` — бот компании Stripe для автоматизации взаимодействия с платежной платформой Stripe.
1. `ClaudeBot` — бот для обучения моделей Claude.
1. `Claude‑User` — с помощью Claude‑User agent обеспечивается доступ Claude AI к веб‑сайтам при обработке запросов пользователей.
1. `Claude‑SearchBot` — бот анализирует онлайн‑контент для повышения релевантности и точности запросов пользователя.
1. `PerplexityBot` — бот для обучения моделей Perplexity.
1. `Perplexity‑User` — бот для посещения сайтов, указанных в запросе пользователя Perplexity.
1. `QcBot` — бот для онлайн‑сервисов QUIC.cloud, которые требуют получения данных с вашего сайта с последующей доставкой результата на ваш сайт. Например, бот извлекает изображения с вашего сайта для их оптимизации и уведомляет сайт, когда обновленные изображения готовы к загрузке.
1. `AudistoBot` — бот для предоставления услуг по SEO‑оптимизации и мониторингу сайтов.
1. `CoccocBot` — основной индексирующий бот поисковой системы CốC CốC.
1. `IASCrawlerBot` — бот для оказания услуг по анализу и верификации цифровой рекламы.
1. `IbouBot` — основной индексирующий бот Ibou.
1. `JobswithgptcomBot` — бот для агрегации вакансий компании Jobswithgptcom.
1. `MonsidoBot` — бот для мониторинга состояния вашего сайта с помощью сервиса Monsido.
1. `PaqleBot` — основной индексирующий бот Paqle.
1. `QuantcastBot` — бот для анализа рекламы, которая размещается на сайтах.
1. `SvnBot` — бот для мониторинга работоспособности сайтов.
1. `TestomatoBot` — бот для мониторинга работоспособности сайтов.
1. `PingAdminBot` — бот для мониторинга работоспособности сайтов.
1. `Meta‑WebIndexerBot`^2^ — бот просматривает веб‑ресурсы, чтобы повысить качество результатов поиска Meta AI для пользователей.
1. `Meta‑ExternalAdsBot`^2^ — бот просматривает веб‑контент в поисках сценариев использования, таких как улучшение рекламы и других бизнес‑продуктов и услуг.


^1^ Facebook — сервис предоставляется организацией Meta, признанной экстремистской.
^2^ Meta признана экстремистской организацией, ее деятельность в России запрещена.

{% endcut %}

## Оценка бота {#configuration}

Чтобы настроить индивидуальные правила для вашего трафика, можно задать правила фильтрации по уровню роботизированности запроса — Bot Score.

Smart Web Security присваивает трафику уровень от `0` (человек) до `100` (бот).

При принятии решения используются следующие пороги значений: 

* `не более 20` — человек;
* `20–40` — вероятно человек;
* `40–60` — не определено;
* `60–80` — вероятно бот;
* `более 80` — бот.

В условиях фильтрации запросов укажите пороговые значения уровня, используя операторы `>=`, `<=`, `=`, `!=` и логический оператор `и`.

Например, `=10`, `>=20 и <=40`.

Для окончательной настройки используйте правило в режиме `только логирование` и анализируйте логи для определения оптимального уровня.


## Отпечатки (FingerPrints) {#fingerprint}

[FingerPrint](https://developers.cloudflare.com/bots/additional-configurations/ja3-ja4-fingerprint/) — это отпечаток SSL/TLS‑соединения по методу [JA3](https://github.com/salesforce/ja3) или [JA4](https://github.com/FoxIO-LLC/ja4), который собирает балансировщик или прокси-сервер. Формируется на основе версии TLS, наборов шифров, расширений, алгоритмов подписи и других параметров

Отпечатки могут использоваться в следующих сценариях:

* Блокировка трафика с известными отпечатками вредоносного ПО и ботов.
* Идентификация приложений для разрешения легитимного трафика.
* Выявление DGA-ботов при постоянной смене доменов и IP-адресов.
* Снижение доли ложных блокировок.

Технология FingerPrint позволяет идентифицировать конкретные клиенты путем анализа параметров пакета приветствия. Примеры таких клиентов — браузеры, приложения и вредоносное ПО. В процессе анализируются параметры, которые клиент отправляет в открытом виде на этапе установления TLS‑соединения: версия TLS, версия записи TLS, наборы шифров, параметры сжатия, список расширений, алгоритмы подписи, алгоритм шифрования данных, хеш-функция.

Для идентификации клиентов Smart Web Security использует методы JA3 и JA4:

* JA3 — пассивный метод для идентификации клиента. JA3 формируется по параметрам первого сообщения TLS‑рукопожатия (ClientHello), которое клиент отправляет серверу в формате: `TLSVersion,Ciphers,Extensions,EllipticCurves,EllipticCurvePointFormats`. Используется исходная JA3‑строка без MD5‑преобразования.

    Примеры отпечатков JA3 (строк):

    * `771,4865-4866-4867,0-11-10-35-16-5-13,29-23-24,0`;
    * `771,49195-49199-49196-49200,0-23-65281-10-11,23-24-25,0`;
    * `771,4866-4867-4865,0-11-10-13-16,29-23-24,0`.

* JA4 — набор методов сетевой идентификации с более глубоким анализом. Smart Web Security поддерживает один вариант JA4 — отпечаток TLS-клиента.

    Отпечаток JA4 имеет формат `a_b_c`, где разделители обозначают разные части идентификатора. Например, `t13d3812h2_8a4b5c6d_7e8f9a0b`. Такой формат позволяет выполнять поиск и корреляцию как по полному отпечатку, так и по отдельным частям.

Отпечатки отсутствуют в незашифрованном HTTP-трафике и во внутреннем трафике сервисов Yandex Cloud, а обновление клиентского приложения может изменить его отпечаток. Поэтому рекомендуется предусматривать альтернативные условия фильтрации и регулярно обновлять правила безопасности.