Menu
При анализе трафика сайтов через Cloudflare, либо через другие системы антибот защиты, практически на каждом сайте на глаза попадаются заходы ботов keys.so (сервис анализа конкурентов в SEO и PPC). Боты низкоуровневые, без браузера (т.е. в метрике их увидеть невозможно, только в access.log файле хостинга). Приходят по протоколу HTTP/1.1 (а реальные посетители и поведенческие боты - по протоколам HTTP/2 и HTTP/3).
Популярный SEO сервис, позволяет анализировать сайты конкурентов, их ключевые слова, позиции в выдаче, поисковые трафик, входящие и исходящие ссылки, а также предоставляет множество других инструментов для SEO анализа. Стоит ли предоставлять конкурентам столь обширную информацию о своем проекте и параметрах его продвижения - вопрос риторический.
Краулер keys.so представляется как Mozilla/5.0 (keys-so-bot). Достаточно агрессивно сканирует сайт, одновременно с десятков разных IP адресов, и из разных подсетей.
Приходит, как правило, с четырех основных сетей:
Сервис использует и другие диапазоны адресов. Например, одно время арендовали мощности у хостера Beget (Beget LLC AS198610), но те что перечислены выше - сейчас основные. Так как Битерика - хостинг для спама и накрутки поведенческими ботами, - они лояльно относятся к спамерам, устраивающим чуть ли не ДДОС атаки, своими многочисленными сканирующими запросами.
А Бегет, скорее всего, после многочисленных жалоб, попросил на выход с вещами.
Этот способ уже не актуален, так как проксирование Cloudflare с лета 2025 года блокируется для РФ.
Если вы используете Cloudflare для фильтрации трафика, то это можно забанить кейссо бот по User Agent. Например, вот так
|
1 |
(http.user_agent contains "keys-so-bot") |
Также, для профилактики, сразу баним все перечисленные выше ASN. Живых людей там нет, только надоедливы боты.
Для Apache 2.4 и выше актуален следующий код.
|
1 2 3 4 5 6 |
SetEnvIfNoCase User-Agent "keys-so-bot" blocked_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=blocked_bot </Limit> |
Если версия Apache на хостинге - более старая, то этот.
|
1 2 3 |
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (keys-so-bot) [NC] RewriteRule .* - [F,L] |
Через | можно добавлять какие-то другие юзерагент для блокировки.
Killbot работает на совсем других принципах, в нем основа для анализа - слепки браузера. Поэтому, вам придется самостоятельно изучить подозрительные слепки (однотипные наборы переходов), и поставить те из них, которые содержат перечисленные выше ASN - под капчу (слайдер).
Например, вот так
Боты кейссо - нежелательные гости на любом коммерческом сайте, да и в целом - на любом сайте. Все что вы получаете, если ничего с ними не делаете, - повышенная нагрузка на хостинг, а также полный перечень проблем и слабых мест вашего проекта, на столе у конкурентов.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.