Menu
Атаки поведенческих ботов в последние годы - постоянное явление в Рунете. Поведенческих ботов стало так много, что на их фоне, за счет искажения показателей метрики - не видны реальные посетители. Количество ботов на сайте (роботность) - зашкаливает. Боты влияют на поведенческие факторы (ухудшают их), что приводит к тому, что Яндекс начинает считать сайт некачественным, и понижает его позиции в выдаче.
Представьте, что у вас есть магазин. Вы смотрите в камеру наблюдения и видите, что внутрь заходит человек: он оглядывается, подходит к полкам, берёт товары в руки, изучает ценники и, может быть, даже что-то покупает. Это нормальный, живой покупатель.
Теперь представьте другую ситуацию. В магазин заходит человек, но он ведёт себя странно: механически шагает по одному и тому же маршруту, не глядя по сторонам, быстро хватает любой товар с полки, бросает его обратно, куда попало, и уходит. Они не покупают, а просто создают видимость активности. Это и есть аналогия того, что происходит в интернете с так называемыми поведенческими ботами. И таких "людей" в трафике сайтов становится всё больше, добро пожаловать в мир поведенческих ботов.
Поведенческие боты и поведенческие факторы - бич современного Рунета. С тех пор, как Яндекс стал учитывать поведение пользователей на сайтах, как один из основных признаков ранжирования в выдаче, создание искусственных ботных профилей (для манипулирования ее результатами), полностью имитирующих человека - стало неизбежным.
Боты бывают разными. Есть хорошие боты - например, поисковые роботы (краулеры) Яндекса или Google. Они приходят на сайт, читают его содержание и уходят, чтобы потом показывать ваш сайт людям в результатах поиска.
А есть плохие боты. Их создают для того, чтобы обманывать и манипулировать.
Раньше плохие боты были простыми, как дверной молоток. Они просто долбились в сайт тысячами запросов, пытаясь его сломать (спарсить данные, подобрать пароль в админку, разместить спам в комментарии, взломать сайт). Их было легко заметить: приходит 1000 запросов в секунду с одного IP, по протоколу HTTP1 (без браузера) - сразу ясно, что это бот.
Но технологии не стоят на месте. И те, кто создают ботов, тоже учатся. Поведенческие боты - это следующий, более продвинутый уровень вредоносных программ.
Представьте, что простой бот - это человек в костюме робота, который ходит и ломает двери. Его видно за километр.
А поведенческий бот - это робот, который надел костюм человека, научился ходить, смотреть по сторонам, останавливаться у витрин и даже делать вид, что разглядывает товар, иногда даже набирает корзину (которую, правда, потом оставляет где-то на проходе, и уходит). Боты не покупают.
Поведенческие боты имитируют действия реального пользователя.
Они:
Это уже не просто программа-стучалка. Это имитатор человека.
А так как поведенческий бот не отличим от реального посетителя, для поисковой системы плохой визит (например, прямой визит с отказом, или заход через поиск и возврат в поисковую систему) - сигнал о том, что сайт некачественный. Так как посетитель (бот) не проявил интереса, и сразу ушел с сайта. Процент отказов растёт, поведенческие факторы ухудшаются, позиции сайта уходят на 2-3 страницу выдачи (до второй страницы мало кто доходит), и даже дальше, посещаемость "обваливается". Это видно не сразу, так как сайт забит поведенческими ботами, роботность растёт постепенно (но неуклонно), статистика искажена, и владелец сайта слишком поздно понимает, насколько всё плохо.
Если вы считаете, что для того, чтобы Яндекс или Гугл не шпионил за вами, достаточно удалить счётчик Метрики - смею вас разочаровать, это вам не поможет.
Просто вспомните, кто разработчик вашего браузера (Гугл Хром, Яндекс браузер). Но и остальные браузеры не святым духом питаются. Они продают обезличенные данные о поведении пользователя бизнесу. А обезличенные эти данные лишь до тех пор, пока их не привязали конкретно к вашему профилю (например, почтовому, или к Яндекс Навигатору с вашей геолокацией). Корпорации не просто так добрые и разрабатывают бесплатные программы, которыми вы систематически пользуетесь.
Скорее, никак не поможет. Вы получите стандартный скрипт ответа (который Яндекс рассылает десятилетиями) из разряда всё хорошо, ботный трафик мы не учитываем (умалчивая о том, что Яндекс сам не может определить какой трафик ботный, а какой нет), занимайтесь работой над сайтом, всего хорошего, держитесь там.
Поведенческий бот - это программа в браузере, действующая по заранее заданному алгоритму. Бот посещает сайты, производит (или не производит, а почти сразу уходит) на них заранее прописанные в своем алгоритме действия, имеет историю просмотров в браузере, в своем профиле, собираемом рекламными системами Яндекс и Гугл, список предпочтений / интересов, и свой уникальный слепок - Fingerprint.
Внутри поведенческого бота есть набор сценариев поведения. Например:
Звучит знакомо? Примерно так ведёт себя обычный человек, правда?
Но самое интересное - современные боты используют машинное обучение. Их "обучают" на записях реальных действий тысяч людей. Бот запоминает: обычно люди двигают мышку чуть-чуть по дуге, а не по прямой. Обычно после загрузки страницы проходит 2-3 секунды, прежде чем человек начинает скроллить. И бот копирует это поведение.
Некоторые продвинутые боты даже умеют обходить простые капчи. Они могут распознавать искаженный текст (введите в поисковой системе - Xevil), или выбирать картинки с светофорами. Не всегда, но могут.
Фингерпринт (отпечаток браузера) - уникальный для каждого устройства набор конфигурации браузера, операционной системы, шрифтов, параметров экрана, программного и аппаратного обеспечения, позволяющий системам аналитики с почти 100% точностью отслеживать пользователей. Активно используется рекламными системами для определения предпочтений пользователей для того, чтобы показывать им рекламу на основе их предпочтений. Вы можете убедиться в том, что Гугл и Яндекс знают о вас слишком многое, просто зайдя в свой аккаунт. Там и пол, возраст, ваши интересы, и прочая информация, которую вендор собрал везде, где бы вы не появились.
Стоит вам где-то указать ваши реальные данные (например, в службе доставке еды, покупках в интернет-магазинах или маркетплейсах) - как ваш уникальный идентификатор перестает быть анонимным, и теперь полностью привязан к вашей реальной личности.
Поведенческие боты посещают сайты по спискам (которые формируются на основе выдачи поисковых систем по тем или иным поисковым запросам) именно для того, чтобы в базах данных того же Яндекса их профиль ничем не отличался от профиля реального человека. Для того, чтобы в дальнейшем использоваться для манипулирования результатами поисковой выдачи Яндекса.
Отличать поведенческого бота от человека Яндекс так и не научился (вернее, не хочет учиться, поисковую систему полностью устраивает рост трафика, рекламной выручки от того, что боты в том числе нажимают на сайтах на блоки рекламной системы Яндекса, РСЯ). Да и инвесторы довольны. Все показатели растут, курс акций постоянно обновляет максимумы. Ну а до потерянных рекламодателями денег в Яндекс Директ в обмен на пустые клики ботов никому нет дела. Принесут еще, куда он денутся. Комиссия за клик в Директе списывается в момент клика.
Именно поэтому на вашем сайте такое огромное количество прямых заходов. Не потому, что он такой популярный и люди на него ходят круглосуточно, на одни и те же страницы (как правило - на главную). Не стоит тешить себя иллюзиями.
Либо бот уходит сразу, что записывается в Яндекс метрике как отказ. Потому, что поведенческому боту нужна только запись о посещении вашего сайта (и сотен других) в системах отслеживания Яндекса, и свою цель он выполнил только зайдя на сайт (и получив запись у Яндекса о своем визите). Дольше задерживаться на сайте не имеет смысла, да и экономятся ресурсы ботофермы.
Второй вариант накрутки ботами, всё более популярный в последнее время (так как боты с отказами накручивают свой профиль хуже) - бот проводит на сайте больше времени, около минуты и более. Дальше уже все зависит от уровня прокачки бота - бот без движения, либо включены случайные движения мышью / прокручивание экрана, клики куда попало. Также, расширилась география источников перехода: это не только прямые заходы, но и, например, переходы по ссылкам на сайтах и переходы из рекомендательных систем (с маилру и дзен). Прокачанные боты (которых Яндекс уже принимает за людей и не показывает им капчу - вводят в Яндексе поисковые запросы, и переходят на сайт уже оттуда).
Кому и зачем нужны такие сложные манипуляции? Причин много.
Конкуренты хотят навредить. Представьте: у вас интернет-магазин. Конкурент нанимает специалиста, который запускает на ваш сайт сотни поведенческих ботов. Они приходят, смотрят товары, уходят. Ваша рекламная система (нейросеть Яндекс Директ) начинает считать, что ваш сайт не интересен посетителям, - и перестаёт показывать вашу рекламу, либо задирает цену за клик. Поисковая система по той же причине начинает снижать позиции сайта в выдаче, посещаемость сайта падает (реальных посетителей становится меньше, ботов больше, а вы при этом ничего не подозреваете, так как в целом трафик растёт).
Слив рекламного бюджета. Если боты кликают на вашу контекстную рекламу, вы платите за каждый клик. Деньги уходят, а реальных покупателей нет.
Накрутка показателей. Иногда ботов запускают, чтобы накрутить посещаемость сайта, просмотры. Это нужно тем, кто продает сайты или пытается привлечь инвесторов.
Парсинг данных. Боты могут ходить по сайту и собирать информацию: цены, описания товаров, контакты. Потом эти данные используют конкуренты или мошенники.
Тестирование уязвимостей. Некоторые боты ищут слабые места в защите сайта, чтобы потом взломать его.
Самая основная и главная причина появления ботов на сайте - накрутка профилей поведенческих ботов для последующей манипуляцией результатами выдачи.
В 99,9% случаев - это не заказ конкурентов. Мы просто живем в эпохе ботов, и ваш сайт также попал в списки для захода ботов. Они сами никуда не исчезнут, и проблема сама по себе не решится, даже если закрыть глаза. Ботов станет еще больше.
Если бот так хорошо притворяется человеком, можно ли его вообще заметить? Да, можно (но не всегда). У ботов есть слабые места. Как выглядит визит поведенческого бота в вебвизоре.
Идеальное поведение. Человек никогда не ведет себя идеально. Он может замешкаться, резко дернуть мышкой, отвлечься на кота, может вести себя слегка истерично. Бот действует по программе - слишком ровно, слишком предсказуемо.
Повторение паттернов поведения. Если вы посмотрите записи сессий ста посетителей в Вебвизоре, у людей все они будут разными. У ботов - похожими, как под копирку.
Несоответствие параметров. Бот может сообщать, что зашел с айфона, но при этом разрешение экрана у него как на стационарном компьютере. Или операционная система не соответствует браузеру. А еще бывают варианты, когда экран настолько мизерный, что создается ощущение, что "посетитель" смотрит сайт то ли с калькулятора, то ли с коробки спичек.
Слишком быстрое заполнение форм. Человек заполняет форму какое-то время: думает, печатает, может ошибиться и исправить. Бот заполняет мгновенно и без ошибок.
Отсутствие мышиных движений. Некоторые боты вообще не двигают мышкой - просто кликают в координаты. Человек так не делает, он всегда куда-то ведет курсор. Либо, вообще нет никакого движения. Посетитель зашел на сайт, постоял помолчал, и ушёл.
Аномалии времени. Например, человек не может за 0.1 секунды прочитать длинную статью и перейти по ссылке.
Поведенческие боты - это не просто досадная помеха. Они наносят реальный ущерб.
Деньги уходят впустую. Если боты кликают на вашу рекламу, вы платите за воздух. Боты могут съесть весь рекламный бюджет, а вы так и не увидите ни одной продажи.
Аналитика врёт. Вы смотрите отчеты: посещаемость выросла, а продажи упали. Вы начинаете менять сайт, цены, рекламу, а проблема совсем не в этом. Вы принимаете решения на основе ложных данных.
Растут расходы на каждый рекламный клик. Если на ваш сайт заходят боты и не покупают, рекламные системы могут посчитать ваш сайт некачественным, и показывать вашу рекламу реже или дороже.
Падают позиции в поисковых системах. Если посетители не задерживаются на сайте, значит он нерелевантен поисковым запросам.
"Тормоза" на сайте. Хотя поведенческие боты не так агрессивны, как DDoS-атаки, в большом количестве они могут замедлить работу сайта.
Кража контента. Боты-парсеры воруют ваш уникальный контент и размещают на других сайтах. Поисковики могут не понять, кто оригинальный автор, и поставить сворованный контент выше оригинала.
Именно после нагула профиля бот становится человеком с точки зрения Яндекса. И вот здесь наступает тот самый момент, когда владелец бота (ботофермы с тысячами, десятками тысяч подобных ботов) начинает зарабатывать деньги.
Он просто продает своих ботов тем владельцам сайтов, специалистам по поисковому продвижению (специалистам по SEO, в простонародье - сеошникам), которые хотят улучшить позиции продвигаемых сайтов в поисковых системах.
Заказав продвижение поведенческими ботами, владелец сайта получает "целевые" переходы на свой сайт с поисковых систем. Эти же боты, которые ухудшали вам поведенческие факторы, давая повышенный процент отказа, теперь заходят в Яндекс, вводят в строке запроса продвигаемую фразу, находят в выдаче Яндекса продвигаемый сайт, и переходят на него.
Здесь уже программа действует по другому алгоритму. Бот (человек с точки зрения Яндекса) переходит на сайт и совершает все те действия, которые совершает заинтересованный посетитель, заинтересованный покупатель. Листает страницы, перемещает мышку, переходит в корзину интернет-магазина, производит прочие человеко-реальные действия на сайте. И задерживается на нем столько, сколько в среднем задерживается реальный посетитель.
Также бот может предварительно заходить на другие сайты из поисковой выдачи, и тут-же их закрывать, возвращаясь обратно в выдачу. Всячески показывая Яндексу, что на этих сайтах интересующий его контент, интересующая его информация не найдена.
И с точки зрения поисковой системы - это реальный заинтересованный посетитель, который именно на этом сайте нашел именно то, что ему нужно. И чем больше таких заинтересованных посетителей - тем сильнее сигнал для поисковой системы - именно этот сайт по этому поисковому запросу нужно показывать выше в результатах поиска. Потому что именно на нем посетители находят интересующую их информацию по заданному ключевому слову.
Все, ну или почти все сайты, которые вы видите в ТОПах поисковых систем в коммерческих тематиках - используют накрутку поведенческими ботами. Да, SEO специалисты, маркетологи могут бить себя пяткой в грудь и говорить что они не такие. Но знайте - они врут. Ну или как минимум - не договаривают. Во многих коммерческих нишах только накруткой поведенческих факторов можно получать поисковый трафик из Яндекса.
И да, и нет.
Напрямую насылать ботов, увеличивающих процент отказов именно на вашем сайте - почти никто не будет. Это поведенческие боты делают и так, когда нагуливают свой профиль. Также, опосредованно, ваши поведенческие факторы портятся именно тогда, когда ваши конкуренты заказали себе накрутку. Боты зайдут и к вам, и сразу же закроют ваш сайт. Или уйдут с него через 15 секунд, чтобы Яндекс пометил себе, что ваш сайт не интересен посетителям.
Т.е. понижает ваш сайт в выдаче не конкретный конкурент, а все сообщество ваших конкурентов, которое использует поведенческих ботов для своего собственного продвижения.
Только они делают бизнес, а вы... и без денег, и без посетителей.
Для нагула поведенческих ботов нужно огромное (сотни, тысячи) количество свободных айпи адресов (прокси), которые можно взять в аренду у тех, кто предоставляет такой сервис. Это как специализированные хостинги, наподобие Biterika, так и мобильные операторы и интернет-провайдеры. Ранее наиболее массовыми были переходы ботов с Rostelecom и Megafon. Но именно Ростелекомом и Мегафоном список не ограничивается. Сейчас это огромное число переходов с вполне легитимных мобильных сетей и стационарных операторов. Т.е. этот визит по своим параметрам вообще никак невозможно оделить от перехода реального посетителя.
Также несомненным плюсом для владельцев ботоферм является то, что заблокировать провайдеров вы не сможете - потеряете и реальных посетителей. Подсетей, из которых приходят поведенческие боты - десятки, а то и сотни.
Поведенческих ботов - нужно заблокировать. При этом это нужно сделать аккуратно, так, чтобы не перекрыть вход на сайт для реальных посетителей и хороших ботов (ботов поисковых систем).
Фильтровать поведенческих ботов можно с помощью специализированных антибот сервисов, например - Killbot. Для того, чтобы трафик вашего сайта снова стал чистым. Без огромного числа прямых заходов с отказами. А также без примеси ботов, которые переходят на сайт из поиска, и сразу же с него уходят (ухудшая поведенческие факторы вашего сайта).
Самостоятельно решить эту задачу практически нереально. Как и все профессиональные секреты, о том, как это сделать - не пишут в интернетах. А те куцые наборы правил по фильтрации поведенческих ботов, что вы найдете по соответствующим поисковым запросам - эту задачу не решают. Это больше для блокировки парсеров и сканеров, снижения нагрузки на сайт, но никак не для поведенческих ботов. Нужно обращаться к специалистам.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.