Menu
Обратил внимание на такой вот User Agent в отчете Cloudflare.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0
Запрашиваются файлы /apple-touch-icon.png, /favicon.ico, /apple-touch-icon.png, /apple-touch-icon-precomposed.png, закрепленное изображение записи.
Все бы хорошо, только юзер-агент отличается от стандартного User Agent, который появляется при фоновом запросе, который приходит при вставке ссылки на страницу сайта в Facebook. Бот Фейсбук (AS Number 32934 Facebook Inc.) приходит для того, чтобы сканировать Title, Description и закрепленное изображение в записи и разместить его у себя в ленте, и показать их при предварительном просмотре. Достоверно известно, что Фейсбук подписывается так: facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php).
Это так называемый микро-браузер, окошко предварительного просмотра для ссылки. Такие есть не только в Facebook Open Graph, но и у других социальных сетей - Вконтакте, Одноклассники, а также при размещении ссылки в WhatsApp, Viber, Skype и Telegram.
Это похоже на какую-то попытку обмана и маскировки под популярных ботов, для попытки обхода защиты сайта.
На самом деле, все оказалось намного банальнее. В корпорации Apple посчитали, что фоновые запросы браузера могут блокироваться системами защиты, поэтому к они добавили эти идентификаторы в свои запросы.
Соответственно, если на сайт приходит бот, юзер-агент которого похож на user Agent устройства IOS, но содержит в себе одновременно подписи ботов Facebook и Twitter, блокировать его нет необходимости. Это легитимный запрос.
PS. Участились случаи использование Facebook для парсинга информации с сайтов. Если посещений бота facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) стало слишком много - я бы просто заблокировал. Кто-то один при размещении ссылке в фейсбуке не увидит миниатюру и дескрипшн с тайтлом от вашего сайта. Зато на сайт не попадет миллион обращений от парсера контента.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.