Блокировка ботов Rostelecom, Amazonbot, Claudebot, GPTBot и прочий мусорный трафик

Изначально трафик сайта интернет-магазина в метрике выглядел вот так. Почти 95% переходов - это прямые заходы с отказом, из сети OJSC Rostelecom Macroregional Branch South.

Какие бы там сказки не плели полуботы из техподдержки Яндекса - все это крайне негативно влияет на реальный трафик сайта.

В нашем случае все переходы поведенческих ботов - это первый визит, просматривается всего одна страница, и больше половины таких переходов не дотягивают до 15 секунд. Т.е. в основном - это отказные переходы, уничтожающие положительные поведенческие факторы сайта в ноль, своим негативным поведением на сайте.

Если смотреть на трафик сайта из поиска за прошлые периоды, то невозможно не заметить, что с каждым месяцем, с каждым годом все становится в целом хуже и печальнее. Если когда-то из поиска приходило по 30 000 посетителей в месяц, то сейчас это число уже не дотягивает до 4 000 в месяц. А тут еще боты негативят, отбирая последние оставшиеся крохи бизнеса (Ozon, Wildberries мы в данной статье не рассматриваем).

Особенность ботоферм так называемых краснодарских ботов - переходы на одну и ту же страницу. Или на ряд тех же самых страниц. В нашем случае - на 4 разных страницы сайта. Такой трафик достаточно легко отсекается с помощью Cloudflare. Естественно, легко для тех кто этим занимается постоянно.

После настройки согласно кворка (вы можете оплатить работы как напрямую, так и через Кворк), трафик сайта приблизился к более реальным значениям. Речь идет именно о настройке блокировки краснодарских ботов. Есть и универсальный кворк, в котором блокируется вообще весь ботный трафик.

В сводке переходов этого сайта остались боты с сетей QWARTA LLC, NCNET Broadband customers, Omskie kabelnye seti Ltd., Net By Net Holding LLC и прочие. Но по сравнению с количеством краснодарских ботов - это уже всё сущий мизер и полностью устраивает заказчика. Возможно, в дальнейшем он закажет полную настройку.

Но это еще не все.

Через реальный браузер (такой-же как у вас, поэтому Яндекс не умеет, не хочет разделять ботов и людей) ходят только поведенческие боты. Такие, как перечислены выше. Они напрямую влияют на оценку Яндексом именно вашего сайта и его качества.

Но не стоит забывать о том, что прогресс уже давно не стоит на месте, и AI (artificial intelligence, ИИ, Искусственный интеллект, нейронные сети) развивается просто гигантскими темпами. И да, Джеймс Кэмерон был не так далек от истины, снимая свой Терминатор.

Ботам систем искусственного интеллекта постоянно нужны ответы на множество разных вопросов для их базы знаний, число таких систем, вычислительные мощности существующих - постоянно растут, а с ними растет и трафик на ваш сайт. Трафик, который вы не видите. Потому что эти обращения сканирующих ботов не попадают в отчеты метрики. Они четко представляются ботами, а не маскируются под людей.

В итоге ботов GPTBot, Amazonbot, Claudebot было заблокировано в 10 раз больше, чем ботов OJSC Rostelecom Macroregional Branch South.

В первом правиле - заблокированные боты Ростелеком. Во втором - разные боты, но в основном - боты AI.

Если резюмировать. Да, свой сайт развивать необходимо, защищать его от негативных поведенческих факторов.

Однако, стоит учитывать и то, что прогресс не стоит на месте, что уже появились те инструменты, которые вы просто обязаны освоить и применить для того, чтобы ваш сайт не оставался музейным экспонатом из прошлого.

Вокруг слишком много новых возможностей, и надежда на то, что все останется как было когда-то в прошлые тучные годы - приведет только к банкротству и угасанию бизнеса.