Menu
Не всем сайтам для защиты от ботов подходит Cloudflare. Кто-то не готов пропускать трафик своего сайта через американский сервис, кто-то что-то слышал про проблемы со скоростью загрузки сайтов за Cloudflare. А кто-то где-то читал о том, что РКН (Роскомнадзор) заблокировал Cloudflare.
Альтернативы Cloudflare (NGenix, StormWall, Ботфактор, DDoS-Guard) выглядят либо откровенно слабо, либо выставляют неподъемные цены на свои услуги (от 20-50 тысяч рублей в месяц). И, при всем при этом - аналоги не способны обеспечить комплексную защиту сайтов (защита от сканеров, парсеров, поведенческих ботов, фильтрацию трафика Яндекс Директ, защита от ДДОС-атак).
Если с ДДОС-атаками сталкиваются лишь немногие сайты, то большой процент прямых заходов с отказом, засилье на сайте плохих ботов - беда почти всех веб проектов. Стоит только занять хоть какие позиции в выдаче Яндекс, как сайт попадает в списки на прокачку поведенческих ботов. Поведенческие боты используются в SEO для накрутки положительных поведенческих факторов для продвигаемых сайтов (Яндекс ранжирует сайты по поведению пользователей, и не умеет отличать искусственные профили от реальных посетителей). А для "нагула" профилей боты посещают тысячи сайтов, ухудшая их поведенческие факторы в глазах поисковой системы. Ведь если посетители сразу же уходят с вашего сайта - значит сайт не интересен посетителям, а значит заслуживает понижение в поисковой выдаче Яндекс.
Что ожидает владелец сайта от сервиса по защите от ботов. Какие боты - полезны, а какие - нежелательны.
Условно, ботов, посещающих сайт в сети интернет, можно разделить на несколько основных категорий:
Поисковые роботы. Краулеры поисковых систем: Googlebot, YandexBot, Bingbot, DuckDuck Bot, Baidu Spider, Sogou Spider, Slurp Bot (Yahoo). Индексируют контент сайта для поисковых систем. Следуют правилам из файла robots.txt. Посещают сайт для отслеживания изменений на сайте, а также для составления актуальной и объективной структуры сайта, для обработки полученной информации, и в дальнейшем - выдачи релевантных поисковых результатов. Полезность того или иного бота зависит от региона сайта. В Рунете боты Baidu Spider, Sogou Spider являются скорее нежелательными ботами, а в проекте, нацеленном на китайскую аудиторию - обязательными.
Список полезных ботов, по мнению Cloudflare.
Мониторинговые боты. Условно полезные боты, в том случае, если владелец сайта самостоятельно подключает мониторинговые сервисы. Боты мониторингов с определенным интервалом (например, 1 раз в 5 минут) проверяют доступность сайта, а также скорость отклика. UptimeRobot, Pingdom.
Социальные боты. Боты социальных сетей и мессенджеров. Собирают данные для превью ссылок, проверки безопасности перед отображением. Facebook Crawler, WhatsApp, Viber, Twitterbot, Pinterestbot, Instagrambot, vkShare, OdklBot, Discordbot. Являются полезными ботами, за исключением разве бота Facebook (принадлежит Meta, признана экстремистской организацией в РФ). Бот Facebook (facebookexternalhit, Facebot) используется ушлыми владельцами различных мусорных сайтов для санирования контента, для последующего воровства текстов и изображений, и использования в своих "проектах". Поэтому бота Фейсбук желательно банить, для снижения нагрузки на хостинг. А также для сохранения уникальности своего контента, на какой-то обозримый период.
Скрейперы данных. Боты для копирования контента, парсинга цен, сбор информации с сайта. Например, Axiom, ScraperAPI, ParseHub, ScrapingBot, Datahut. Скачивание текстов, изображений, видео. Публикация скопированного контента на сторонних сайтах.
Боты-валидаторы. Проверяют валидность кода или сертификатов безопасности. W3C Validator, SSL-checkers.
Боты агрегаторов. Боты новостных порталов, ценовых агрегаторов. Автоматический сбор данных для обновления информации на сторонних ресурсах.
SEO боты. Боты, собирающие информацию для различных платных, условно-бесплатных SEO сервисов. Ahrefs Bot, Semrush Bot, PR-CY, Screaming Frog (Screaming Frog SEO Spider), SiteAnalyzerbot, Majestic.
Спам-боты. Боты для рассылки комментариев, регистрации фейковых аккаунтов. Как правило, это простейшие боты по протоколу HTTP 1. Существует специализированное программное обеспечение для спама на сайтах, форумах, распространения вредоносных ссылок, разгадывания капчи, спама в комментарии - Allsubmitter и Xrumer (XEvil).
Брутфорс-боты. Подбор паролей к аккаунтам или административным панелям сайтов.
DDoS-боты. Перегрузка сервера массовыми запросами (часть ботнетов).
Сканеры уязвимостей, поиск слабых мест сайтов, для последующих атак. Боты, ищущие SQL-инъекции, XSS, открытые порты. Такие боты, как правило, имеют подозрительные User-Agent (например, Python-requests), отсутствует поддержка JavaScript/Cookies.
Запросы к скрытым или служебным страницам (например, /wp-admin). Массовая генерация наиболее распространенных пар логин/пароль, проверка доступа в систему.
Кликботы. Накрутка кликов в рекламных сетях (например, Google Ads, Яндекс Директ) для истощения рекламного бюджета конкурента.
Боты для фрода. Боты, ворующие данные карт, имитирующие пользовательские сессии. Мошенничество, кража персональной информации.
Боты-имитаторы. Маскировка под легитимных пользователей (используют поддельные User-Agent, прокси).
Поведенческие SEO-боты. Боты для автоматической накрутки SEO-параметров (просмотры, ссылки). Используются для манипуляции поисковой выдачей Яндекс.
Для защиты от вредоносных ботов, а также всех перечисленных выше ботов (кроме краулеров поисковых систем), при грамотной настройке - идеально подходит Cloudflare WAF (Web Application Firewall).
Однако, в последнее время РКН (Роскомнадзор) активно пытается ограничить работу сервиса на территории РФ, поэтому многие владельцы сайтов находятся в поисках отечественных альтернатив. Полных копий Cloudflare не существует, однако, некоторые востребованные опции (фильтрация поведенческих ботов) - доступны в сервисе Антибот KillBot.
В последующих статьях мы рассмотрим процесс регистрации в сервисе, процесс первоначальной установки, настройки правил фильтрации поведенческих ботов.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.