Нишевый интернет-магазин на Drupal, фильтрация поведенческих ботов

Интернет-магазин специализированной музыкальной аппаратуры. Достаточно узкая ниша, не относящаяся к масс-маркету. Постепенно, в течение года количество прямых заходов стало увеличиваться, в итоге превысив число поисковых заходов примерно в 10 раз. Т.е. на каждые 100 переходов с поиска - 900 прямых заходов.

В целом терпимо, хотя владельцы магазина понимали, что так не бывает. И что прямые заходы - это явно боты.

В один прекрасный момент вместо привычной цифры 1000 посетителей в день - стало 30 000 в день. Из них две трети это прямые заходы на сайт, и еще 10 тысяч - это якобы переходы с других сайтов. А на самом деле те же ботные переходы, только с подменой реферера. Так называемый рефспам.

Также, подобные скачки посещаемости создают повышенную нагрузку на хостинг, что может сказываться на скорости загрузки сайта для реальных посетителей.

Домен был оперативно подключен к Cloudflare, был настроен аккаунт и активирован мой фирменный набор правил фильтрации.

Там несколько уровней, начиная от блокировки изначально серверных соединений с сайтом (сканеры, парсеры, сканеры уязвимостей, подбор пароля в админку, спам в формы обратной связи), так и блокировки слишком активно себя зарекомендовавших сервисов продажи прокси для ботоферм (таких как AS35048 BITERIKA, AS204916 RACKTECH и многих других, список у меня большой).

Ряд настроек предназначен для фильтрации трафика, который нельзя банить. Например, это переходы с сети Мегафон (Metropolitan branch of OJSC MegaFon AS25159). Там на каждые 95 переходов ботов есть еще и 5% настоящих живых людей, которые совершают покупки в магазине, а значит блокировать их нельзя. Нужно фильтровать.

В итоге, после последовательного прохождения сита с различными размерами ячеек, трафик очищается. Допустим, на этом скриншоте до пятого по счету правила дело не дошло. Это правило активно работает при ДДОС атаках, а у нас в этом кейсе в основном поведенческие боты.

Название и содержание правил замазаны, это не для общего доступа.

В результате за несколько дней ботный трафик (зеленая и голубая линии) сошел на нет, и сайт вернулся снова в то прекрасной время, когда яндекс не был таким скамом со сплошными ботами и мгновенным скликиванием рекламного бюджета в Директ. Теперь поисковый трафик снова больше, чем трафик прямых переходов. В наше время это уже редкость для устоявшегося проекта.

Глядя на этот график, нужно помнить, что по шкале X левая часть графика - это 30000 переходов в сутки. Поэтому несколько сотен реальных посетителей, в правой части скриншота, на их фоне сливаются в такую тонкую линию.

Cloudflare - это очень гибкий инструмент, который позволяет конструировать правила, по которым входящие на сайт потоки трафика разделяются на сегменты, с которыми и проводится индивидуальная работа. От пропуска без проверки для людей, до показа кнопки "я не бот" или блокировки для ботных переходов. Что позволяет получать вот такие вот впечатляющие результаты, как вы видите на скриншотах.