На днях Рунет облетела новость о том, что Роскомнадзор планирует заблокировать Google на территории РФ. Ну это если совсем буквально воспринимать статью, которая вышла на ресурсе Коммерсант, со ссылкой на некое письмо Центра управления связью общего пользования (ЦМУ ССОП) Роскомнадзора.
С некоторых пор государство занялось регулировкой рынка хостер услуг, существует реестр провайдеров хостинга, постепенно формируется соответствующее законодательство. Достаточно давно банятся сайты, связанные с азартными играми, и еще ряд тем, прямо запрещенных в законодательстве. Понятно, что с переменным успехом, но такая работа постоянно ведется.
Утверждается, что всем хостерам и прочим причастным организациям было направлено подобное письмо РКН. Пока что с рекомендацией. Ограничить доступ к сайтам клиентов различным ботам согласно приложенного списка, включая ботов Google, Facebook и Apple.
Блокировать предполагается по User-Agent, утверждается, что зарубежные сканирующие боты собирают не только публично доступную информацию, но и, игнорируя правила robots.txt - ту которую бы владелец сайта не хотел бы видеть в открытом доступе. Интернет периодически сотрясают скандалы, когда в открытом доступе оказываются личные данные, включая данные карт, номеров телефонов и прочая чувствительная информация. Соответственно, данные граждан РФ, сведения об уязвимостях тех или иных сайтов хранятся на зарубежных серверах, и в целом доступны тем, кому они не должны быть доступны.
Также есть отсылка к некому списку с Github, на котором собственно и перечислены те самые 642 UserAgent.
Там действительно есть такие боты, которые сканируют сайт на уязвимости, плюс создают просто дичайшую нагрузку на сайты. Помогает только прямая их блокировка через Cloudflare. Например, боты OpenAI, ImagesiftBot, dataforseobot, anthropic-ai, BLEXBot, Petalbot и прочие подобные боты нейросетей и различных сканеров и парсеров.
Интересно, что в этом же списке есть archive.org_bot, SputnikBot и Mail.RU_Bot. Роскомнадзор заблокирует MAILRU? Сомневаюсь. Да и поиска своего у Маилру нет уже несколько лет, пользуются движком Яндекс. Но бот mailru да, активно сканирует различные сайты, непонятно зачем.
Также в список попал бот популярного сервиса сканирования сайта Screaming Frog SEO Spider, и еще ряд ботов различных СЕО сервисов: SemrushBot, Majestic-SEO, MJ12bot, AhrefsBot и проч.
Несмотря на громкие заголовки в СМИ, единственный бот Google, который обнаружился в этом списке - это бот Google-Extended (бот системы искусственного интеллекта, используемый для гугловских нейросетей).
Так что, новость можно скорее назвать стандартным журналистским набросом. В одном частном мнении прозвучала фраза о том, что "что сбор информации для чат-ботов и пользователя, делающего запрос в адресной строке браузера, осуществляют одни и те же роботы." А раз в том списке есть слово Google, вуаля, готова горячая новость.
Берем 60% правды, намешиваем выдумки, откровенной дезы - и вот перед нами громкая новость на основе реальных фактов. Комар носа не подточит.
Безусловно, по мере становления законодательства, регулирующего процессы, связанные с глобальной сетью, будут появляться различные ограничения, но речи о блокировке поисковой системы Google (через блокировку ее сканирующего бота-краулера) речи естественно не идет.
Российская альтернатива Cloudflare
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года. Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot. Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки. По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод promo13 и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной. Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.
