Menu
Амазонбот - это сканер-паук Amazon, используемый для различных сервисов компании, например Amazon Alexa. Когда-то был ограниченно популярен и даже изредка использовался в Рунете. Но эти времена давно прошли.
Однако, на активность Amazonbot это никак не повлияло. Более того, бот Амазон иногда переходит в крайне агрессивный режим и устраивает некоторое подобие ДДОС атаки. В итоге по счетчику метрики на сайте в день 3 калеки, и при этом сайт безбожно тормозит и еле шевелится. А если еще и дешевый тариф на хостинге - начинаются неприятные разговоры о том, что вы превысили лимит CP ля-ля три рубля, пора выбирать более дорогой тариф. Доколе!....
Особенно повезло тем сайтам, где владельцы наштамповали сотни поддоменов, на каждый город. На каждый из таких поддоменов Amazonbot ходит как на отдельный сайт. В итоге нагрузка возрастает кратно, пропорционально количеству поддоменов. Бот будет сканировать сайт по кругу, они и те же страницы, десятки раз, как будто у него заело пластинку.
Поэтому, совет ниже вам очень пригодится.
Этот способ уже не актуален, так как проксирование Cloudflare с лета 2025 года блокируется для РФ.
Cloudflare считает Amazonbot полезным ботом, поэтому если вы используете Cloudflare и выбрали опцию Know Bots (разрешать хороших ботов), то Amazon и дальше будет грузить вам хостинг как не в себя.
Чтобы заблокировать Амазонбот через Cloudflare, вам необходимо сформировать запрещающее правило. Причем, это правило должно стоять выше правила Know Bots, иначе работать не будет.
Вот с таким UserAgent приходит бот. Вы можете попробовать запретить доступ боту и по AS подсети (AS14618), но лучше все-таки по юзерагент, он не меняется и заранее известен. Из сети AWS Amazon могут приходить и другие соединения, и не всегда вредоносные.
|
1 |
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) |
Создаем соответствующее правило. Не обязательно это должно быть отдельное правило, вы можете объединить его с существующим, главное соблюсти условия, изложенные выше.
Код блокировки Amazonbot.
|
1 |
(http.user_agent contains "Amazonbot") |
Пользы от этого сервиса - ноль без палочки, поэтому блокировка принесет только пользу для вашего сайта. Снизится нагрузка на хостинг, сайт начнет работать быстрее, посетители начнут задерживаться на нем чуть дольше, улучшатся поведенческие факторы.
В Амазон утверждают, что их бот читает директивы в Роботс.
Поэтому, если вы не используете Cloudflare и не можете сделать так как расписано выше, можете начать с Роботс. Создаем отдельное правило.
|
1 2 |
User-agent: Amazonbot Disallow: / |
Но не факт что это сработает, мне попадались комментарии о том, что несмотря на запрет, - Амазон по-прежнему агрессивно сканирует сайт, игнорируя директивы robots.txt.
Добавляем в файл следующий код. Обратите внимание, строчек с названиями ботов может быть много.
|
1 2 3 4 5 6 7 8 9 10 11 |
SetEnvIfNoCase User-Agent "Amazonbot" bad_bot SetEnvIfNoCase User-Agent "Amazonbot/0.1" bad_bot <IfModule mod_authz_core.c> <Limit GET POST> <RequireAll> Require all granted Require not env bad_bot </RequireAll> </Limit> </IfModule> |
Есть еще вот такой вариант, проверьте какой сработает в вашем случае.
|
1 2 3 4 5 6 |
SetEnvIfNoCase User-Agent "Amazonbot" blocked_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=blocked_bot </Limit> |
Также, вы можете перечислять названия различных UserAgent, разделив их вертикальной чертой. Это в случае, если список ботов, которых вы хотите заблокировать, чуть больше чем один Амазонбот, и нужно слегка упростить структуру правила.
|
1 2 3 4 5 6 |
SetEnvIfNoCase User-Agent "Amazonbot|BlackWidow|AhrefsBot|BLEXBot|MBCrawler|YaK|niraiya\.com|megaindex\.ru|megaindex\.com|Megaindex|MJ12bot|SemrushBot|cloudfind|CriteoBot|GetIntent Crawler|SafeDNSBot|SeopultContentAnalyzer|serpstatbot|LinkpadBot|Slurp|DataForSeoBot|Rome Client|Scrapy|FlipboardRSS|FlipboardProxy|ZoominfoBot|SeznamBot|Seekport Crawler" blocked_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=blocked_bot </Limit> |
После выполнения выше указанных манипуляций, боты начнут получать ответ сервера 403 error.
Ознакомьтесь с разделом База знаний, подключите Killbot, создайте правило WAF для фильтрации User Agent Amazonbot. Либо, обратитесь ко мне по контактам, указанным на сайте, я это сделаю для вас под ключ.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.