Menu
При анализе практически любого сайта на наличие поведенческих ботов замечаю в Яндекс метрике переходы с IP-сети Net By Net Holding LLC (Нэт Бай Нэт Холдинг). Что это за провайдер такой - netbynet holding llc, что с него идет столько ботов. Как и все программы для накрутки поведенческих факторов, при нагуле профиля боты Net By Net Holding LLC (NETBYNET, бренд Wifire) дают или переходы с отказом (общее время на сайте 0:00), или проводят на сайте стандартные 15 секунд, чтобы переход не считался отказом.
Подобные переходы поведенческих ботов (Biterika, OJSC MegaFon, OJSC Rostelecom) необходимо блокировать, иначе позиции сайта в выдаче Яндекса очень быстро просядут.
Защищать сайт от ботов нужно комплексно. Это не только Net By Net Holding LLC, но и переходы с сайтов (якобы с сайтов, на самом деле это переходы ботов с подменой реферера), и любые другие поведенческие боты, сканирующие боты, парсеры контента, и так далее.
Изначально компания была сообществом мелких независимых провайдеров домашнего интернета (под брендом NetByNet), однако в 2006 году пришли инвесторы, скупили наиболее крупных из партнеров, и создали ООО "Нэт Бай Нэт Холдинг". Это было в 2006 году и обошлось инвесторам в 10 миллионов долларов.
Компания начала активно расширяться, поглощая всё подряд, любых более-менее заметных провайдеров услуг широкополосного доступа в сеть интернет в Москве, Подмосковье, в других регионах РФ. Вот что по данному поводу указано в Википедии.
Укрупнение пошло на пользу, Net By Net Holding занял значительную долю рынка интернет услуг. Настолько серьезную, что в 2011 году NetByNet был приобретен Мегафоном, уже за 270 млн. долларов. Что позволило Мегафону стать не только провайдером мобильной связи, но и широкополосного интернета и цифрового телевидения, с присутствием в ряде регионов Российской Федерации, более чем в 100 населенных пунктах.
В 2022 году ООО "Нэт Бай Нэт Холдинг" (ОГРН 1067746398411, ИНН 7723565630) реорганизовано в форме присоединения к ПАО "МегаФон" (ОГРН 1027809169585, ИНН 7812014560, адрес: 127006, г. Москва, Оружейный пер., д.41).
Вот как раз блокировать ботов Мегафон нельзя. Потому что одни и те же айпи адреса используются не только поведенческими ботами, но и реальными посетителями. А значит, если вы заблокируете сеть AS12714 PJSC MegaFon, часть пользователей Мегафон просто не сможет попасть к вам на сайт.
Также отпадает вариант с блокировкой PJSC MegaFon через htaccess. Это не очень гибкий инструмент, и в большинстве случаев доступна только одна опция - блокировка. А нам важно чтобы реальные посетители не пострадали.
Поэтому нужно создать правило в Cloudflare, и не блокировать такие переходы, а ставить на проверку (Managed Challenge или Interactive Challenge) самые подозрительные из них. Блокировать нужно только в том случае, если вы убедились в том, что именно по этому алгоритму к вам приходят только поведенческие боты, и блокировка не скажется на реальных посетителях.
Например, если все переходы с отказами из Net By Net Holding LLC - это прямые заходы на определенную страницу (это можно увидеть при анализе Яндекс метрики), то вы можете создать вот такое правило в Cloudflare.
Это же правило кодом.
Чтобы скопировать код в буфер обмена, нажмите на квадратики справа вверху в блоке кода.
|
1 |
(http.referer eq "" and ip.geoip.asnum in {12714} and http.request.uri.path eq "/shop/tovar123") |
Естественно, это только пример, да и создавать одно правило для фильтрации чего-то определенного - это слишком расточительно. В Cloudflare FREE всего 5 доступных ячеек под правила. Поэтому нужно комбинировать с другими правилами.
AS12714 PJSC MegaFon (AS12714 MEGAFON-AS Moscow, Russia) - это одна из множества сетей Мегафон. Существуют и другие:
Решение о фильтрации той или иной сети Мегафон нужно принимать после анализа трафика сайта.
Либо самостоятельного, либо вы можете воспользоваться услугами профессионалов.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.