Сингапурские боты в Метрике, как заблокировать

Вы открываете Яндекс Метрику, смотрите отчёт по географии посетителей - и помимо ожидаемых регионов (РФ) - видите просто вал посещений из Сингапура.  Причём иногда десятки, а то и сотни тысяч визитов в день, прямые заходы, большинство из которых - прямые заходы с отказом, и общим временем на сайте 0:00. Вы не рекламируете свой сайт в Азии, у вас нет клиентов там… Откуда берётся этот трафик, да ещё в таких количествах?

Это не ошибка системы, не сбой в Метрике. Сингапурские боты (на некоторых сайтах преобладают китайские боты, с такими же замашками) - это автоматизированный трафик с ботоферм, которые используют сингапурские серверы для нагула своих поведенческих ботов. Давайте разберёмся, кто они, зачем приходят на сайт, и как они влияют на позиции вашего сайта в поиске Яндекса.

Что такое сингапурские боты и почему именно Сингапур?

"Сингапурскими ботами" называют автоматизированные программы, которые заходят на сайты с IP-адресами, зарегистрированными в Сингапуре. Сами по себе они не являются какой-то уникальной технологией - это те же самые вредоносные боты, которыми в последние годы Рунет забит под завязку.

Но почему их так много именно из этой страны?

Сингапур - крупнейший цифровой хаб в Юго-Восточной Азии, там расположены дата-центры большого числа крупнейших хостинг-провайдеров и облачных сервисов (например, Google Cloud, Microsoft Azure, Amazon AWS). Аренда сервера в Сингапуре стоит недорого (дешевле, чем в Рунете), а качество каналов связи - отличное. Для внешнего наблюдателя (включая нейросети Яндекса, которые на основе поведенческих факторов ранжируют позиции сайта в выдаче) такой трафик выглядит как легитимный, потому что исходит из доверенной инфраструктуры. Злоумышленникам это выгодно: за небольшие деньги они получают "чистые" IP-адреса, которые раньше не использовались для атак (причем, в неограниченном количестве), и могут управлять ботами с относительно небольшой задержкой, из любой точки мира.
Раньше ботов часто гоняли с российских или немецких, финских серверов. Теперь провайдеры в СНГ научились быстрее отслеживать и блокировать спам. Злоумышленники переключились на юрисдикции, где жалобы обрабатывают дольше, или где проще арендовать мощности анонимно.

На скриншоте - трафик одного из сайтов за один день. Обратите внимание, во сколько раз трафик поведенческих ботов из Сингапура превышает "естественный" трафик из РФ, и какой процент отказов (приближается к 100%). Это не только классические поведенческие боты (для накрутки поведенческих факторов), но еще и парсинг контента для обучения нейросетей, но в любом случае - это прямой вред для вашего сайта (ухудшение позиций в выдаче, проблемы с хостингом из-за повышенной нагрузки).

Как сингапурские боты влияют на ранжирование сайта

И вот тут мы подходим к самому болезненному вопросу. Как скажется на сайте визит тысяч ботов из Сингапура, которые наделали отказов на сайте, и ушли?

Для простых ботов (сканирование, без браузера, в метрике их не видно)
Если это примитивные боты, которые просто грузят сервер запросами, на ранжирование они практически не влияют. Яндекс не учитывает такие визиты как сигнал о качестве сайта. Однако есть косвенный вред: сервер может начать тормозить, сайт будет дольше загружаться для людей, хостер будет высылать уведомления о превышении лимитов нагрузки на хостинг.

Для сложных поведенческих ботов (с браузером, видны в метрике)

Здесь ситуация серьезнее. Если бот идеально имитирует человека, поисковые алгоритмы могут принять его за живого посетителя. Представьте: на сайт заходят сотни «пользователей», которые быстро открывают одну страницу и тут же закрывают её. Для поисковой системы это четкий сигнал: "Контент не интересен, люди уходят сразу".

Это прямой путь к понижению позиций в выдаче, на основании поведенческих факторов на сайте, а не только по признаку плохой скорости загрузки.

На скриншоте ниже вы видите, что метрика этих ботов воспринимает, видит, а значит сингапурские боты наносят сайту прямой вред.

Почему это так опасно?

• Искажение данных. Вы перестаете понимать реальную картину. Метрика показывает всплеск, конверсия падает, а вы не знаете, то ли реклама не работает, то ли пришли боты.
• Негативное влияние на поведенческие факторы. Яндекс "видит", что большое количество сессий заканчивается почти мгновенно (отказы). Это ухудшает общую оценку качества сайта. Особенно опасно, если боты приходят на страницы, которые должны продавать или удерживать пользователя.
• Санкции за накрутку. Если алгоритмы Яндекса заподозрят, что владелец сайта сам заказал накрутку поведенческих факторов (даже если это не так, а это атака конкурентов), - сайт может попасть под фильтр. Поисковая система зафиксирует аномальную активность и применит санкции, которые могут быть сняты очень нескоро.

Что делать владельцу сайта?

Бороться с сингапурскими ботами сложно, но можно. Простая блокировка по IP-адресам неэффективна, так как их миллионы, и IP постоянно меняются.

Нужен комплексный подход:

• • Анализ. Изучите отчеты Метрики. Если визиты длятся 0-5 секунд, а география не соответствует вашей целевой аудитории - это боты.
  • Использование защитных решений. Прокси-сервисы вроде Cloudflare эффективно отсеивают подозрительный трафик еще на подступах к сайту, анализируя репутацию IP и поведение на своей стороне, но этот метод больше не подходит для российских сайтов.
  • Настройка фильтрации. Внедрение систем класса Killbot или аналогичных, которые специализируются на анализе поведенческих аномалий, помогут отсеять сложных ботов, имитирующих реальных посетителей.
  • Мониторинг нагрузки. Если сайт неожиданно начал "тормозить", хостер высылает уведомления об аномальной нагрузке - проверьте логи сервера (access.log). Возможно, боты просто перегружают его своими запросами.

Сингапурские боты - это не миф, а вполне реальная угроза для вашего сайта. Они не просто крадут трафик, они могут украсть ваши позиции в поиске и деньги из рекламного бюджета. Игнорировать эту проблему больше нельзя.