Список User Agent нейросетей для блокировки / белого списка исключений

Если вы когда-нибудь заглянете в логи сервера / хостинга, - то удивлению вашему не будет предела. Абсолютное большинство обращений к сайту делается не для того, чтобы что-то купить или почитать. Туда приходят, чтобы собрать ваши тексты, скопировать изображения и унести этот цифровой "слепок" в огромные базы данных. Это современная реальность - нейросети активно обучаются на открытом контенте, и их боты уже превратились в одну из главных "нагрузочных" проблем для владельцев сайтов.

Стоит ли блокировать ботов нейросетей

Боты поисковых систем (Яндекс, Гугл) индексируют контент сайта, показывают его в своей выдаче, отправляют трафик на сайт.
Системы ИИ же используют контент для своего обучения и выдачи ответов пользователям внутри себя, практически не давая трафика на сайты.

Например, OpenAI дает в среднем 1 посетителя на 1700 сканирований ваших страниц, Anthropic (Claude) - и того меньше, 1 переход на примерно 70000 сканирований.

Но есть и те, кто считают, что нейросети дадут им качественный трафик, поэтому из задача, - наоборот, дать полный доступ ботам нейросетей к контенту своих сайтов.

Основные типы AI-ботов: от друзей до "воров"

Прежде чем блокировать всех подряд, полезно понять, что AI-боты бывают разные. Их можно разделить на три категории, и от того, к какой из них относится бот, зависит, стоит ли его пускать.

• Добросовестные сборщики/партнеры: Они соблюдают правила, уважают robots.txt и приносят пользу. Например, Googlebot (основной поисковый робот) или боты валидации SSL (например, для Let's Encrypt, обращающиеся в папку .well-known/acme-challenge).
• Сборщики данных для обучения AI: Это основная цель статьи. Боты OpenAI (GPTBot), Anthropic (ClaudeBot), Meta *, Apple и ByteDance активно сканируют интернет для пополнения обучающих выборок своих нейросетей. Хотя многие из них заявляют об уважении robots.txt, их активность может создавать серьёзную нагрузку на ваш сервер.
• Агрессивные парсеры и "скрытные" боты: Некоторые боты, как Bytespider от ByteDance, печально известны своей агрессивностью и игнорированием общепринятых правил, что вынуждает администраторов блокировать их на уровне сервера. Другие, как Perplexity, начинали с открытого сканирования, а затем перешли к практике подмены User-Agent и обхода стандартных блокировок через ротацию IP, что заставляет администраторов сайтов пересматривать статус этих ботов и искать меры противодействия.

Полный список основных нейросетей

Таблица и списки IP ниже помогут вам либо заблокировать ботов нейросетей, либо наоборот (при необходимости) - добавить их в белый список исключений в антибот системе.

Также, имейте в виду, что ИИ-боты могут создавать избыточную нагрузку на ваш хостинг и замедлять сайт, поэтому решение - за вами.

Также существуют и другие боты, например, anthropic-ai, cohere-ai, QuillBot, Ai2Bot, PanguBot, которые могут появляться в логах вашего сервера.

*Meta (компания признана экстремистской организацией на территории России).

**Facebook (принадлежит организации Meta, которая признана экстремистской на территории России).

Блокировать, либо наоборот добавлять ботов ИИ в список исключений для антибот систем, вы также можете по их официальным диапазонам IP адресов, которые вы можете найти ниже.

Список IP GPTBot

Сбор обучающих данных для моделей GPT (ChatGPT, GPT-4o). Сканирует веб-контент для обучения генеративных моделей искусственного интеллекта OpenAI. Блокировка этого бота означает, что контент вашего сайта не должен использоваться для обучения моделей.

User-Agent бота:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.3; +https://openai.com/gptbot)

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

IP адреса ChatGPT-User

ИИ-агент для просмотра веб-страниц в режиме реального времени при взаимодействии пользователей с ChatGPT. Загружает страницы по запросу пользователя или Custom GPT - не используется для автоматического сканирования. Поскольку посещения инициируются пользователем, файл robots.txt может не применяться. Это значит, что полагаться только на robots.txt для этого конкретного бота нужно с осторожностью. Не влияет на отображение в поиске; для этого используйте OAI-SearchBot.

User-Agent бота:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

IP адреса OAI-SearchBot

Поисковая индексация с использованием искусственного интеллекта для функций поиска в ChatGPT (не для обучения). Управляет функциями поиска и цитирования в ChatGPT. Если разрешить доступ этому боту, ваши страницы будут отображаться в результатах поиска ChatGPT. Если заблокировать его, ваш сайт перестанет появляться в ответах на запросы, но навигационные ссылки могут по-прежнему отображаться.

User-Agent бота:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

Список IP ClaudeBot

Сбор обучающих данных для моделей Claude с использованием искусственного интеллекта. Получает URL-адреса для цитирования и информацию в режиме реального времени во время сеансов общения в Claude.

Компания Anthropic, создатель AI-ассистента Claude, также использует трёх ботов с разными задачами:

• ClaudeBot: Аналог GPTBot, предназначен для общего сбора данных для обучения и улучшения моделей Claude. Если вы запретите этого бота в robots.txt, Anthropic заявляет, что исключит ваш сайт из будущих тренировочных наборов данных.
  User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com).
• Claude-User: Как и ChatGPT-User, этот бот активируется в ответ на прямой запрос пользователя Claude, которому нужна актуальная информация из интернета. Блокировка этого бота не повлияет на обучение AI, но лишит ваш контент возможности быть найденным в ответах Claude.
  User-Agent: Строка содержит Claude-User.
• Claude-SearchBot: Этот бот занимается индексацией контента для улучшения поисковой выдачи внутри Claude.
  User-Agent: Строка содержит Claude-SearchBot.

Anthropic, в отличие от OpenAI, не публикует списки IP-адресов своих ботов, что делает блокировку по IP неэффективной. Это делает управление через robots.txt основным методом.

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

Google (Google-Extended)

У Google есть особый инструмент - Google-Extended. Важно понимать: это не новый бот, а специальная директива в вашем robots.txt. Она говорит Google: "Можешь индексировать мой сайт для поиска (это делает обычный Googlebot), но не используй мой контент для обучения своих AI-моделей, как Gemini".

Ключевые особенности:

• Нет эффекта на SEO: Эта директива никак не влияет на ранжирование вашего сайта в обычном Google Поиске.
• Не влияет на AI-обзоры: Она также не блокирует отображение вашего контента в AI-Обзорах (AI Overviews), так как они считаются частью поисковой выдачи.
• Нет ретроактивности: Если Google уже обучил свою модель на ваших данных до добавления Google-Extended, он не сможет "разучить" её.

Файл robots.txt:

Это должно быть сделано в дополнение к обычным правилам для Googlebot.

Список IP Google-CloudVertexBot

ИИ-агент для Vertex AI Agent Builder (только по запросу владельцев сайта).

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

IP адреса Gemini-Deep-Research

Исследовательский агент с искусственным интеллектом для функции Deep Research в Google Gemini.

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

IP адреса Bingbot (Microsoft)

Возможности поиска Bing и чат-бота Bing (Copilot). Ответы искусственного интеллекта. Сканер для поиска Bing и Bing Chat (Copilot).

• Bingbot: Основной поисковый робот, для обычной индексации. Не предназначен для AI-обучения.
• adidxbot: Используется для сбора данных в контексте рекламы, но может быть задействован и в AI-проектах.
• msnbot: Общий сборщик данных.
• PetalBot: Бот поискового движка Petal Search, который также может собирать данные для AI.

Важное замечание: Прямых заявлений от Microsoft об использовании этих ботов для AI-обучения недостаточно. Чтобы обезопасить свой контент, логично распространить блокировку на User-Agent, содержащие bingbot, adidxbot, msnbot, PetalBot, в дополнение к основным AI-ботам.

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

Amazon (Amazonbot)

Amazonbot используется для улучшения продуктов компании, включая AI-ассистента Alexa. С помощью собранных данных Alexa получает возможность отвечать на вопросы пользователей. Amazon не заявляет прямо, что эти данные идут на обучение фундаментальных LLM.

User-Agent: amazonbot.

ByteDance/TikTok (Bytespider)

Это крайне активный и часто критикуемый бот. Он принадлежит китайской компании ByteDance и используется для массового сбора данных для обучения AI-моделей, включая ChatGPT-подобного китайского бота Doubao. Он известен тем, что игнорирует директивы robots.txt, агрессивно потребляет ресурсы и может маскироваться под обычный мобильный браузер.

User-Agent: Содержит Bytespider.

Common Crawl (CCBot)

Это некоммерческий проект, который создаёт открытый архив интернета. Он используется исследователями и, конечно, компаниями для обучения своих AI-моделей на огромных массивах данных.

User-Agent: CCBot/1.0 (+https://commoncrawl.org/faq/).

Cohere (cohere-ai)

Cohere - это компания, разрабатывающая LLM для бизнеса. Их бот cohere-ai может как собирать данные для обучения, так и использоваться для получения информации в реальном времени по запросам пользователей.

User-Agent: Mozilla/5.0 (compatible; Cohere-AI).

Apple (Applebot и Applebot-Extended)

Apple использует двух ботов. Applebot - это основной паук, который помогает контенту отображаться в поиске через Spotlight, Siri и Safari. А Applebot-Extended - это отдельный User-Agent, созданный специально для управления использованием вашего контента в обучении AI-моделей Apple.

• Applebot: Собирает информацию для поисковых сервисов. Блокировка этого бота может ухудшить видимость вашего сайта в экосистеме Apple
  User-Agent: Содержит Applebot/0.1.
• Applebot-Extended: Этот бот не сканирует сайты самостоятельно; он работает только с данными, которые уже были собраны Applebot. Он является сигналом для Apple: можно ли использовать уже имеющуюся информацию для обучения их генеративных AI-моделей.
  User-Agent: Содержит Applebot-Extended.

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

IP адреса PerplexityBot

Поисковая индексация с использованием искусственного интеллекта для системы ответов Perplexity. Индексирует веб-сайты для создания базы данных поисковой системы Perplexity AI.

Perplexity - AI-поисковик, который изначально был добросовестным партнером с ботами PerplexityBot и Perplexity-User, уважавшими robots.txt. Однако позже Cloudflare обвинила компанию в "скрытном сканировании", когда их бот обходил блокировки, маскируясь под обычные браузеры, такие как Chrome, и меняя IP-адреса. Это привело к тому, что Cloudflare изменила свой статус и добавила соответствующие защиты.

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

IP адреса Perplexity-User

ИИ-агент для просмотра в режиме реального времени, когда пользователи Perplexity запрашивают информацию. Загружает страницы, когда пользователи нажимают на цитаты в результатах Perplexity. Рассматривается как трафик, инициированный пользователем.

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

Meta (meta-externalagent / Facebookbot)

Meta использует своих ботов для сбора данных с целью обучения AI-моделей, в том числе для исследований в области распознавания речи и других AI-задач. Этот бот может генерировать значительное количество запросов, идентифицируя себя через User-Agent.

User-Agent: Основной - meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler). Также может встречаться FacebookBot/1.0.

IP адреса DuckAssistBot

Поисковая индексация с использованием искусственного интеллекта для поисковой системы DuckDuckGo.

Для копирования списка нажмите на значок в правом верхнем углу. Также актуальный список вы можете посмотреть по ссылке.

SEO-инструменты (AhrefsBot, SemrushBot, Diffbot)

Это отдельная категория ботов, которые собирают данные для SEO-аналитики, обратных ссылок и так далее. Их часто путают с AI-ботами, но их цель - коммерческая разведка, а не обучение моделей.

• AhrefsBot: Собирает данные для всех сервисов Ahrefs и их поисковой системы [Yep.com]. Он соблюдает robots.txt.
• SemrushBot: Использует множество User-Agent (SemrushBot-SA, SemrushBot-BA, SemrushBot-SI) для аудита сайтов и исследований рынка.
• Diffbot: Это сервис интеллектуального парсинга, который превращает веб-страницы в структурированные данные, которые затем продаются для обучения AI.

Блокировка ИИ ботов через robots.txt

Использование robots.txt - это всего-лишь рекомендация. Легитимные боты скорее всего последуют инструкциям в файле, и не будут сканировать ваш сайт. Вредоносные боты - будут игнорировать запрет. Поэтому, если вы хотите гарантированно заблокировать ботов - используйте блокировку по User Agent или по IP.

Подставьте в директиву User-agent название нужного бота из верхней таблице в статье, в зависимости от того, что вы хотите порекомендовать боту нейросетей - разрешить (Allow) или запретить (Disallow) сканирование.

На примере GPTBot

Разрешить сканирование:

Запретить сканирование:

Расширенные правила/рекомендации для robots.txt

Обратите внимание, что для Google-Extended это не блокировка доступа, а запрет на использование данных для AI-обучения. Сам же Googlebot продолжит индексировать ваш сайт и далее.

Серверная блокировка на уровне .htaccess и Nginx: последний рубеж

Это уже жёсткие меры. Вы настраиваете свой сервер так, чтобы он буквально захлопывал дверь перед определённым User-Agent.

• Плюсы: Абсолютная защита от любых ботов, которые дошли до вашего сервера. Не даёт им загружать страницы и потреблять ресурсы.
• Минусы: Требует доступа к конфигурации сервера. Если сделать ошибку, можно случайно заблокировать и обычных посетителей.

Для сервера Apache (.htaccess)

Ниже представлен примерный блок для файла .htaccess. Это наиболее универсальный способ для Apache. [F] означает запрет (Forbidden) с кодом ошибки 403.

Для сервера Nginx

В конфигурационном файле вашего хоста (обычно в блоке server {}) используйте директиву if и return 403.

• ~* означает, что сравнение выполняется по регулярному выражению и без учёта регистра.
• return 403 возвращает посетителю ошибку "Доступ запрещён".

Как KillBot обеспечивает пропуск нейросетей и официальных ботов

KillBot позволяет автоматически идентифицировать и не блокировать трафик от легитимных поисковых роботов, официальных ботов крупных нейросетей (например, от OpenAI) и различных чекеров. Это необходимо для того, чтобы такие сервисы могли беспрепятственно индексировать содержимое сайта, выполнять проверки и корректно работать без наложения ограничений со стороны защитных механизмов.

Принцип работы

В настройках модуля присутствует параметр "URL с IP-адресами ботов и чекеров". В него администратор вносит ссылки на официальные источники, где сервисы публикуют свои актуальные IP-сети в машиночитаемых форматах (обычно JSON). Поддерживаются списки в нотации CIDR (Classless Inter-Domain Routing), которая позволяет задавать целые диапазоны адресов.

Далее KillBot выполняет следующие шаги:

• Регулярно, по заданному расписанию, загружает данные по каждому из указанных URL.
• Парсит загруженные файлы и извлекает из них все IP-адреса и подсети.
• Добавляет полученные сети во внутренний список доверенных адресов.
• При обработке входящего запроса сверяет IP отправителя с этим списком. Если обнаружено совпадение, трафик признаётся официальным и пропускается без применения каких-либо проверок (не анализируется поведение, не проверяются заголовки, не действуют лимиты на частоту запросов).

Таким образом, единственным надёжным критерием для различения реального бота и подделки становится не User-Agent (который легко подменить) или другие заголовки, а именно источник — доверенный IP-адрес.

Примеры источников

KillBot из коробки поддерживает добавление официальных списков от OpenAI. Примеры таких URL:

• https://openai.com/gptbot.json - адреса GPTBot (основной робот для сбора данных)
• https://openai.com/chatgpt-user.json - IP, с которых приходят запросы пользователей ChatGPT
• https://openai.com/searchbot.json - сети поискового бота
• https://developers.openai.com/api/docs/bots - документация со списками

Эти файлы содержат актуальные IP в формате JSON, что позволяет автоматически загружать и обрабатывать их без ручного ввода.
Важное ограничение: только официальные источники

Данный механизм работает исключительно для тех сервисов, которые публикуют свои IP-адреса в виде структурированных, машиночитаемых списков (например, JSON, YAML или plain text с CIDR-нотацией).
Если сервис не предоставляет такого официального файла, KillBot не сможет гарантированно отличить его настоящего бота от поддельного. Это связано с тем, что мошенники могут легко подменить:

• User-Agent (например, выдать свой парсер за Googlebot)
• HTTP-заголовки (Referer, Accept-Language и другие)
• поведение запросов (паузы, порядок обхода)

Поэтому проверка по IP из доверенного источника остаётся самым надёжным способом аутентификации бота.

Какие боты можно пропускать через эту систему

Через описанный механизм безопасно пропускать трафик от:

• Нейросетей - например, GPTBot, ChatGPT, SearchBot от OpenAI, а также аналогичных LLM-краулеров (Anthropic, Google Bard, если они публикуют свои IP-сети).
• Поисковых роботов - при условии, что поисковая система предоставляет официальный список своих IP (например, Google, Yandex, Bing публикуют такие данные).
• Чекеров и валидаторов - сервисы проверки доступности сайтов, мониторинговые системы, инструменты вебмастеров.
• Любых других автоматизированных систем, которые открыто публикуют свои IP-адреса в машиночитаемом виде.

Автоматическое обновление списков

Одной из ключевых особенностей KillBot является автоматическое обновление доверенных IP-сетей. Система периодически перекачивает данные по заданным URL и обновляет внутреннюю базу. Это означает:

• Вам не нужно вручную отслеживать появление новых адресов у ботов.
• Новые IP будут добавлены автоматически при очередной синхронизации.
• Устаревшие или изменённые сети будут удалены из списка, если они перестали присутствовать в официальном источнике.

Такой подход гарантирует актуальность правил пропуска без постоянного вмешательства администратора.

Рекомендации по правильному использованию белого списка

Чтобы механизм работал корректно и не создавал уязвимостей, соблюдайте простые правила:

• Добавляйте только официальные URL от самого сервиса (например, с домена openai.com, google.com). Не используйте сторонние или неизвестные источники - это может привести к тому, что вы доверитесь злоумышленникам.
• Перед добавлением проверьте, что по указанной ссылке действительно находится список IP-адресов в поддерживаемом формате (например, JSON с полем ipv4 или ipv6 и значением в CIDR).
• Каждый URL должен быть указан с новой строки - не смешивайте несколько адресов в одной строке.

Что нужно нажать в кабинете Killbot

• Нажмите на название вашего сайта в личном кабинете Killbot
• Раскройте ▼ Настройки DNS Экрана KillBot ▼
• Долистайте до URL с IP-адресами ботов и чекеров
• Внесите необходимые исключения (ссылки на официальные источники IP адресов), нажмите Обновить

KillBot пропускает трафик нейросетей и официальных ботов на основе сопоставления IP-адреса запроса с доверенными списками, загружаемыми из публичных JSON-источников.
Данный подход работает только для сервисов, которые сами публикуют свои IP-сети.
Благодаря этому решению вы надёжно защищаете сайт от поддельных ботов (которые могут подменить User-Agent или заголовки), но при этом безопасно и без задержек пропускаете реальных легитимных роботов.

Резюме

Управление доступом AI-ботов - это не техническая прихоть, а насущная необходимость для любого сайта. Надеюсь, эта статья помогла вам разобраться в сложном мире современных парсеров и нейросетей.

Теперь вы знаете не только имена и User-Agent основных "действующих лиц", но и имеете на руках несколько конкретных рецептов: от вежливой просьбы в robots.txt до жёсткой блокировки через .htaccess, Nginx, либо с помощью универсальных антибот-систем наподобие Killbot.

Ваша главная задача - выбрать тот набор инструментов, который лучше всего подходит для ваших целей. Если вы хотите быть видимыми для AI-поиска - разрешите соответствующих ботов. Если вы против использования вашего контента для обучения - заблокируйте их на максимально раннем этапе. В любом случае, решение остаётся за вами.