Боты из Вьетнама, Бразилии, Индии и США в Яндекс.Метрике: почему они появляются и как от них избавиться

Каждый веб-мастер хотя бы раз заглядывал в отчеты Яндекс.Метрики, и все чаще вебматера и с удивлением обнаруживают там визиты из Вьетнама, Бразилии, Индии, США, других нецелевых стран. При этом сайт ориентирован на русскоязычную аудиторию, никакой рекламы в этих странах не ведется. Как такое возможно? Чаще всего это работа ботов - автоматизированных программ, которые имитируют посещения веб-ресурсов.

Бот (от англ. robot) - это скрипт или программа, выполняющая однотипные действия без участия человека. Они могут сканировать сайт, воровать контент (парсинг), проверять уязвимости или участвовать в накрутке поведенческих факторов. Как вы догадались, изображения на этом сайте, все в роботах - не просто так.

Особенно часто в статистике мелькают страны с дешёвыми прокси-серверами и большим количеством "зомби"-компьютеров в составе ботнетов. Рассмотрим подробно, почему именно Вьетнам, Бразилия, Индия и США стали "лидерами" по ботовому трафику, как распознать таких "гостей" и, главное, как очистить от них статистику, чтобы видеть реальную картину с помощью встроенных фильтров Яндекс.Метрики и российского антибот-сервиса KillBot.

Почему именно Вьетнам, Бразилия, Индия и США? Анализ причин

Каждая из этих стран имеет свою специфику, делающую их привлекательными для злоумышленников. Знание этих причин поможет быстрее идентифицировать источник мусора.

Вьетнам и Индия: эпицентры дешёвого хостинга и прокси

В этих странах расположены одни из крупнейших дата-центров, предоставляющих недорогие VPS/VDS (виртуальные выделенные серверы) и прокси-серверы (посредники, скрывающие реальный IP). Злоумышленники массово арендуют их для запуска ботнетов. Кроме того, во Вьетнаме и Индии много устаревших компьютеров, которые легко заразить вредоносным ПО без ведома владельцев.

Бразилия - лидер по количеству заражённых устройств

Согласно отчётам антивирусных компаний, Бразилия входит в тройку стран с наибольшим числом активных ботнетов (сетей из заражённых устройств). Местные пользователи часто пренебрегают обновлениями и используют пиратское ПО, что делает их компьютеры лёгкой добычей. Поэтому Бразилия - постоянный источник сканирующих и DDoS-ботов.

США - страна мощных вычислительных центров

Американские облачные провайдеры (Amazon AWS, Google Cloud, Microsoft Azure) предлагают огромные мощности. Многие парсеры и SEO-пауки размещаются именно там, потому что это быстро и дёшево. Кроме того, поисковые роботы Google и Bing имеют IP-адреса, зарегистрированные в США - их легко спутать с ботами, но блокировать их нельзя, иначе сайт выпадет из индекса.

Из каких еще стран приходят поведенческие боты

Если вы думаете, что достаточно будет закрыть доступ на сайт только для выше перечисленных стран - смею вас разочаровать - это не так. Список намного больше, ботоводы его постоянно расширяют в поисках дешевых прокси для накрутки поведенческих ботов.

Чуть ранее на antibot24.ru была статья про ботов из Сингапура.

Как видите, поведенческие боты будут со всего мира, все зависит только от того, IP каких стран в данный момент у накрутчиков больше.

Как отличить ботов от реальных пользователей в Яндекс.Метрике

Прежде чем блокировать трафик из этих стран, нужно убедиться, что это действительно нежелательные посещения. Яндекс.Метрика умеет отсеивать большинство известных краулеров автоматически, но некоторые боты маскируются под обычных пользователей.

• Прямые заходы (Direct): Если большая часть визитов из Вьетнама приходит с типом источника "Прямой заход" - это подозрительно. Реальные люди редко вбивают адрес сайта вручную, если только это не какой-то общеизвестный сайт с миллионами посещений.
• Высокий процент отказов и маленькая глубина просмотра: Бот заходит на одну страницу и сразу уходит. Отказ выше 90% при большом количестве визитов - верный признак автоматического скрипта.
• Одинаковые параметры браузера и разрешения экрана: В отчете "Технологии" можно увидеть, что у всех посетителей одинаковый User-Agent или разрешение экрана, нехарактерное для реальных людей (например, 800x600).

Чем опасны боты из Вьетнама, Бразилии, Индии и США

Многие считают, что мусорный трафик просто портит статистику, но это только вершина айсберга. Игнорирование проблемы может привести к серьёзным последствиям.

• Искажение аналитики и неверные бизнес-решения: Вы можете перестать доверять данным Метрики, не заметите падение реальных продаж или наоборот - начнёте вкладываться в каналы, которые приносят одних ботов.
• Дополнительная нагрузка на сервер и хостинг: Тысячи, десятки или сотни тысяч ботовых запросов съедают ресурсы процессора, память и трафик. Если у вас не безлимитный тариф, за перерасход придётся платить.
• Риск санкций за накрутку поведенческих факторов: Если кто-то сознательно накручивает ваш сайт ботами (например, конкурент), Яндекс может обнаружить это и понизить сайт в выдаче или вовсе исключить из поиска. Поисковые системы считают накрутку нарушением.
• Угроза взлома через сканирование уязвимостей: Боты из этих стран часто проверяют сайт на наличие дыр в безопасности, например, ищут уязвимые плагины, незащищённые панели администрирования, файлы резервных копий. Это первый шаг перед целевой атакой.

Как очистить статистику Яндекс Метрики от ботов: встроенные инструменты

Если вы не хотите блокировать ботов на сервере, а просто хотите видеть чистые цифры, используйте фильтры внутри самой Метрики. Это делается быстро и не требует особых навыков.

Фильтр по IP-адресу или диапазону

Перейдите в "Настройки" счётчика → "Фильтры" → "Добавить фильтр". Выберите тип "Исключить", поле "IP-адрес", оператор "равен" или "начинается с". Скопируйте IP бота из отчёта и вставьте. Если ботов много, можно задать целый диапазон в формате CIDR, например 123.123.0.0/16. После сохранения изменения вступят в силу в течение нескольких часов, но старые данные не очистятся - они останутся в истории, зато новые визиты с этого IP попадать в отчёт не будут.

Пользовательские фильтры по стране или параметрам

В том же разделе "Фильтры" вы можете исключить целую страну. Выберите "Исключить", поле "Страна" ("География"), оператор "равна", и отметьте, например, Вьетнам.

Использование опции "Учитывать только целевых посетителей"

Вы можете создать сегмент, в котором оставить только посетителей из РФ, Беларуси и других нужных стран, и смотреть отчёты только по этому сегменту. Так вы полностью уберёте мусор из визуализации, не меняя глобальные настройки счётчика. Нажмите "Сегменты" → "Пользовательские" → задайте условие "Страна" = "Россия" (или несколько стран) и сохраните сегмент. Применяйте его при каждом просмотре.

В программировании подобное называется "костыль". Проблему не решает, а только маскирует, но хоть так, чем никак.

Блокировка ботов на уровне сервера (htaccess, Nginx) и через CMS

Фильтры в Метрике убирают ботов только из отчётов, но не прекращают их доступ к серверу. Если боты создают нагрузку или представляют угрозу, нужно блокировать их на уровне хостинга.

Блокировка через .htaccess (Apache)

Добавьте в корневой файл .htaccess следующий код, чтобы запретить доступ по IP:

Можно также блокировать по User-Agent, если бот выдает себя парсером (но, как правило, у ботов классический User Agent, ровно такой-же, как и у реального посетителя):

Блокировка в Nginx

В конфигурационном файле сайта (обычно /etc/nginx/sites-available/your-site) добавьте (но как и в примере выше, это не предназначено для поведенческих ботов, которых вы видите в метрике):

Плагины для WordPress и других CMS

Для CMS существуют готовые решения, например, плагин BotBlocker или Wordfence Security. Они позволяют в несколько кликов заблокировать доступ по IP, стране или User-Agent. Но помните, что чем больше плагинов, тем выше нагрузка на сайт, поэтому выбирайте проверенные.

Использование KillBot для блокировки ботов по гео-признаку и очистки метрики

Один из самых эффективных и надёжных способов раз и навсегда отсечь ботов из Вьетнама, Бразилии, Индии и США - подключить российский антибот-сервис KillBot. KillBot - это система, которая анализирует трафик, выявляет ботов, блокирует их или показывает капчу, а также интегрируется с Яндекс.Метрикой. KillBot может работать в двух режимах: JS-интеграция - для аналитики и сбора аудитории ботов, и DNS-экран - для полноценной фильтрации трафика до того, как он попадёт на ваш сервер. Рекомендуем использовать DNS-экран, так как это единственный вариант, который реально защищает от спама и парсинга.

Инструкция по очистке статистики от ботов с KillBot:

• Зарегистрируйтесь в личном кабинете KillBot.
• Добавьте сайт: укажите его URL, название и, самое главное, в поле "Номер счетчика Яндекс Метрики" вставьте идентификатор вашего счётчика. Если оставить поле незаполненным, боты будут фильтроваться, но аналитика по ним в Метрику собираться не будет. Если же вы хотите видеть визиты ботов в отчётах (например, чтобы анализировать их поведение), введите номер счётчика. KillBot сможет помечать ботов в Метрике, но скрывать их от неё - по вашему выбору.
• Выберите тип интеграции DNS-экран - это обеспечит фильтрацию ботов до того, как они загрузят хотя бы одну страницу вашего сайта. JS-интеграция подходит только для сбора данных.
• После этого система создаст для вашего сайта слепок бота - уникальный идентификатор, который привязывается не к IP или User-Agent, а к самой программе-боту. Даже если бот изменит все свои параметры, KillBot всё равно его узнает.
• В интерфейсе KillBot для каждого слепка можно выбрать действие: "Блокировать" (запретить доступ), "Скрыть метрику и аналитику" (бот не будет попадать в статистику), "Показать капчу" или "Зациклить" (бот будет бесконечно грузить пустые страницы, тратя ресурсы своего сервера).
• Для географической блокировки в KillBot можно создать WAF-правила (Межсетевой экран веб-приложений) по различным параметрам, включая IP-адрес и страну.

После этого KillBot будет автоматически блокировать всех ботов из указанных регионов. Сервис интегрирован с Яндекс.Метрикой, визиты ботов можно будет посмотреть в специальном разделе и при необходимости скорректировать правила фильтрации.

График с Яндекс.Метрики, до и после включения Киллбота.

Профилактика: как сделать так, чтобы боты перестали атаковать

Борьба с ботами - это постоянный процесс. Следуйте простым рекомендациям, чтобы минимизировать их количество.

• Скрывайте реальный IP сервера. При использовании DNS-экрана KillBot, не светите прямой IP в DNS, чтобы злоумышленники не могли атаковать сервер в обход защиты.
• Обновляйте CMS и плагины вовремя. Большинство ботов ищут уязвимости в устаревших версиях. Еженедельно проверяйте обновления.
• Регулярно анализируйте логи и слепки в KillBot. Смотрите, какие боты и откуда приходят, при необходимости - блокируйте.

Часто задаваемые вопросы (FAQ) по ботам из Вьетнама, Бразилии, Индии и США

Можно ли полностью избавиться от мусорного трафика, не блокируя страны?
Почти невозможно, если ваш сайт дорос до определённой посещаемости. Но минимизировать - да. Регулярная чистка фильтрами, скрытие реального IP и использование антибота KillBot дают 95% чистоты. Не будете этим заниматься - увидите в своих отчетах вот такое.

Почему Метрика иногда не показывает страну бота, а пишет "не определена"?
Это значит, что бот использует прокси с неизвестной геолокацией или подменяет заголовки. Такие визиты тоже стоит фильтровать, если они нерегулярные. KillBot позволяет создавать WAF-правила для блокировки по IP даже без определения страны.

Не повлияет ли блокировка стран на SEO?
Если ваш сайт не ориентирован на эти страны, никак не повлияет. DNS-экран KillBot распознаёт легитимных поисковых роботов и не блокирует их.

У меня сайт международный, как быть?
Не блокируйте страны целиком. Примените точечную блокировку конкретных IP, с которых идёт подозрительная активность, либо используйте поведенческие алгоритмы KillBot, которые анализируют не только IP, но и поведение (скорость перехода по страницам, движения мыши и т.д.).

Экспертное заключение: действенный план по очистке статистики

Боты из Вьетнама, Бразилии, Индии и США - явление неизбежное для любого открытого веб-ресурса. Однако игнорировать их недопустимо. Рекомендую следующий порядок действий:

• Проанализируйте отчёты Метрики за последний месяц, выявите самые активные IP и страны мусорного трафика.
• Создайте пользовательский сегмент, исключающий нецелевые страны, и используйте его для принятия бизнес-решений.
• Временно настройте фильтр по IP в Метрике, чтобы не видеть шум в отчётах.
• Если боты создают нагрузку - подключите KillBot в режиме DNS-экрана. Это обеспечит фильтрацию ботов до попадания на ваш сервер.
• В личном кабинете KillBot найдите слепки ботов из проблемных регионов и примените к ним действие "Блокировать". "Зациклить" или "Показать капчу", а также - "Скрыть метрику и аналитику". Это полностью уберёт их из статистики и прекратит доступ.
• Периодически повторяйте анализ и обновляйте правила блокировки, так как злоумышленники меняют IP и User-Agent, а KillBot создаёт новые слепки для их идентификации.

Следуя этим шагам, вы не только очистите Яндекс Метрику от мусора, но и повысите безопасность сайта. Помните: чистые данные - залог правильного понимания своей аудитории и эффективного продвижения.