Список полезных ботов Cloudflare

Что из себя представляет Cloudflare known bots list - список полезных ботов по мнению Cloudflare. В нем 200 различных ботов, которых фильтры Cloudflare пропускают на сайт при включении опции пропуска хороших ботов known bots.
Большую часть этих ботов нужно блокировать, во избежание проблем с паразитной нагрузкой на хостинге.

Распространенные шаблоны настройки WAF Cloudflare

Во многих наборах начальных настроек правил фильтрации WAF вы найдете правило пропуска полезных ботов (на скриншоте - первый номер).

Это правило ставится первым в списке фильтров, с действием - Skip. И предназначено для того, чтобы пропускать ботов поисковых систем - YandexBot, Googlebot, bingbot. Ну или, многие так думают. Хотя на самом деле, - это не так.

Нужно ли пропускать всех хороших ботов

В ваших этих интернетах, как всем известно - плохого не напишут, поэтому вебмастера бездумно копируют себе это все в аккаунт Cloudflare. А потом очень сильно удивляются, когда хостер начинает присылать уведомления о превышении лимита нагрузки, и предлагает перейти на более дорогой тариф. И при всем при этом, в счетчике Яндекс метрики вы видите вполне себе обычные цифры. Например, 100 посетителей в сутки.

И возникает вполне закономерный вопрос - как так. На каком основании хостер хочет на вас нажиться. Вы же грамотно настроили Cloudflare (передрав архивную инструкцию по настройке из интернетов), заблокировали все что движется. Плохих ботов на сайте нет. Наверное.

Ошибка в том, что список хороших ботов, по мнению Cloudflare - намного шире, чем банальные краулеры поисковых систем. В этом списке 200 различных ботов. Среди которых есть и те боты, что создают слишком большую нагрузку на хостинг, постоянно сканируя ваш сайт. А пользы от них - ноль. Только контент воруют, для своего обучения. Например, openai (OAI-SearchBot), AhrefsBot, Applebot, GPTBot, Barkrowler, AhrefsBot, PetalBot, MJ12bot, Photon, и прочее.

Больше всех "повезло" сайтам с большим количеством поддоменов городов. Каждый поддомен считается отдельным сайтом, а значит мусорная нагрузка на хостинг будет увеличиваться пропорционально количеству поддоменов.

Рекомендации по настройке WAF, каких "хороших" ботов нужно блокировать

Чтобы избежать лишней нагрузки на хостинг, всех лишних ботов нужно заблокировать. Для этого нужно проанализировать список тех ботов, которых пропустил Cloudflare, оставить из этого списка действительно полезных (краулеры поисковых систем). А всех  остальных - заблокировать.

Для этого нужно на первое место в WAF поставить действие Block и внести в него всех лишних ботов, которых Cloudflare пропускает. Так вы снизите нагрузку на свой хостинг, ни капли при этом не проиграв в видимости своего сайта в выдаче поисковых систем. Так как боты поисковиков по-прежнему будут беспрепятственно попадать к вам на сайт.

Примеры ботов для блокировки

Если исключить известных поисковых ботов, в группе "плохих" могут оказаться:

AhrefsBot: Используется для анализа ссылок и SEO, может генерировать большой объем запросов.
MJ12bot: Похож на AhrefsBot, также может создавать значительную нагрузку.
OpenAI Search Bot (OAI-SearchBot): Может вызывать нагрузку, если используется неправильно.
Barkrowler (babbar.tech): Бесполезный, но крайне настырный сканирующий бот.
Другие специализированные сканеры: Например, боты, которые собирают данные для аналитики или мониторинга.

Ниже вы найдете полный список полезных ботов (по мнению Cloudflare). Как вы уже поняли, ваше мнение - отличается от мнения компании. Так что найдите время, найдите в логах переходы, которые пропустило правило Know Bots - и заблокируйте все лишнее.

Список "полезных ботов" Cloudflare

В списке 200 ботов, которых Cloudflare считает полезными ботами, и пропускает при включении опции known bots.