Блокировка в РСЯ за недействительные клики

Один из блогов заказчика был исключен из системы монетизации за недействительные клики. Чтобы не потерять весь бизнес, было принято оперативное решение начать фильтровать приходящий на сайт трафик с помощью Cloudflare.

Рунет просто забит поведенческими ботами, с тех пор как Яндекс стал учитывать поведение пользователей на сайтах (для определения места конкретного сайта в выдаче по тому или иному поисковому запросу).

Вот с тех пор и развелось этих "пользователей". Целые ботофермы, написанные на Zennoposter, BAS и прочих средствах автоматизации.

Часть из ботов настолько естественно мимикрируют под людей, что не только листают страницы сайта, но еще и нажимают на различные ссылки. И вот здесь владелец сайта у установленным кодом Рекламной Системы Яндекса (РСЯ) получает проблему с той стороны, с которой он точно не планировал.

Боты переходят не только на внутренним ссылкам сайта, но и по рекламным блокам. Что и приводит к блокировке сайта в РСЯ.

Одной рукой Яндекс стимулирует сеошников и прочих шаманов выдачи создавать ботофермы, покупать услуги ботоферм.
А другой рукой он же блокирует владельцев сайтов, ставших случайными жертвами этих ботоферм.

В данном случае роботный трафик был не очень большим, всего около 600 посещений в день. Кроме традиционных ботов из подсети Biterika, было несколько ботоферм на адресах Мегафон, Ростелеком, ботоферма на Питерских айпи адресах. И огромное число того, о чем владелец сапйта обычно даже не подозревает. Потому что это не отображается в Яндекс метрике: прямые обращения к файлам, много прямых обращений к файлам. Подбор пароля к админке, попытки соединения с какими-то левыми php файлами в движке, различные боты, проверяющие наличие файла ads.txt и так далее.

Вот для примера, срез блокировок по одному из айпи адресов в течение дня. Меняется только версия Андроид и название телефона.

Результат работы виден на графике в Метрике. Прямой трафик на сайт (желтая линия) спикировал вниз, после того, как по ряду паттернов и признаков ботофермы были заблокированы или отправлены под проверку.

Включая ботоферму на айпи адресах Ростелеком. С Ростелекомом отдельная история, есть ботофермы, которые проходят проверку Cloudflare в полуручном режиме, при участии оператора ботофермы. С такими очень трудно бороться. Самое главное, большинство тех, кто использует Cloudflare для блокировки AS12389 ROSTELECOM - жалуются на то, что Cloudflare не работает и Ростелекомовских ботов не блокирует, пропускает на сайт.

Здесь уже недостаточно мануалов по Cloudflare и советов на форумах сео оптимизаторов. Нюансики и секретики познаются только на практике.

Вы спросите: так как же черт побери ты это сделал? Выложи здесь готовый набор правил.

Готовый набор правил у каждого специалиста по Cloudflare свой. Я препарировал разные (включая те, которые специалисты продают на Кворк в рамках защиты от поведенческих ботов, а потом оно не работает как надо и люди просят посмотреть в чем дело), и везде внутри заложен свой личный пользовательский опыт. Кто-то ставит под проверку (под капчу) весь прямой трафик, кто-то (как я) разделяет его на сегменты и проверяет только откровенно ботный трафик. А обычные посетители даже не догадываются, что на сайте работает Cloudflare.

Мой пользовательский опыт (кроме многих лет настройки Cloudflare для АнтиДДОС) - вот уже мнооооого месяцев ежедневной настройки правил фильтрации Cloudflare против поведенческих ботов.
И никто в здравом уме не выкладывает ни свой набор правил, ни тот набор правил, который он получил для своего сайта в рамах платной услуги. Потому что все, что попадает в открытый доступ, начинает учитываться теми, против кого это направлено - против владельцев ботоферм. И через какое-то короткое время эти правила перестанут быть эффективными.

Более того, мои же правила полугодовой давности и правила WAF для Cloudflare сегодня - отличаются в сторону усложнения, потому что с каждым десятком новых заказов в них вносится новый пользовательский опыт.

Входящий трафик делится на потоки. В рамках бесплатного аккаунта Cloudflare можно наполнить правилами блокировки / фильтрации 5 разделов с правилами.

Сначала блокируется тот сегмент трафика, где достоверно известно, что это боты. Например, поведенческие боты из сети Biterika, RackTech, переходы с серверов. Далее фильтруется протокол HTTP1, чтобы убрать сканеры. Также по юзер агент фильтруются основные сканеры уязвимостей и парсеры, которые создают излишнюю нагрузку на хостинг. После чего трафик разделяется на поисковый и прямой. С прямым работаем, поисковый не трогаем. При переходе из поиска посетитель попадает на сайт без проверки браузера. Прямой трафик делим на тот, где проверки браузера не будет, и на тот, где есть подозрение на ботный трафик. Также есть алгоритмы, паттерны, по которым дополнительно фильтруем трафик на тот, который проходит без проверки, и тот, где нужно удостовериться в том, что это не бот. Известные ботофермы переводим под проверку. Самые продвинутые ботофермы, которые вообще никак не отличить от реальных посетителей, также имеют свои особенные признаки, по которым их можно вычленить из общей массы белых пользователей.

В результате, на примере других сайтов, получаем вот такие вот результаты.

Обратившись по контактам в нижней части блога, вы можете получить чистый трафик и на своем сайте.