Menu
В последнее время мне слишком уж часто стал попадаться в отчетах по сайтам бот-краулер Tiktok (принадлежит китайской компании ByteDance Inc., также подписывается как Bytespider).
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; TikTokSpider; ttspider-feedback@tiktok.com)
Не то чтобы запросов от TikTok Spider было прямо уж гигантское количество, наподобие 100 запросов в секунду (аналог DDoS атаки), как могут позволить себе некоторые боты нейросетей. Нет, пока что в среднем 1 обращение раз в 10 минут.
Поиск в интернет показывает, что ранее для обучения каких-то своих нейросетей ByteDance подписывали бота как Bytespider. Сейчас зачем-то переименовали, ходят от имени Тиктока.
Для снижения паразитной нагрузки на сайт, непрошенных ботов, сканеры, парсеры и прочее непотребство - необходимо заблокировать, зафильтровать. В зависимости от того, используете ли вы какую-то защиту от ботов, или надеетесь что оно само рассосется, ниже вы найдете несколько решений для блокировки TikTokSpider на вашем сайте.
Скорее, даже не блокировка, а рекомендация. Рекомендация боту Tiktok, не сканировать контент вашего сайта.
|
1 2 |
User-agent: TikTokSpider Disallow: / |
Для тех, кто не верит "джентльменам на слово", существует возможность заблокировать нежелательных ботов по диапазонам IP, например в файле htaccess. Как это сделать, расписано вот в этой статье.
Просто добавьте в блок диапазон IP-адресов:
Более продвинутые пользователи могут сделать то же самое на уровне NGINX. Раз они продвинутые, куда и как добавить указанный выше диапазон - они и сами знают.
У Bytedance, Inc. (TikTok) есть свой диапазон IP адресов (AS 396986), но почему-то для бота TikTokSpider используется инфраструктура Amazon Web Services (AWS).
Чтобы 2 раза не вставать, если у вас есть возможность блокировать не только по диапазонам IP, но еще и подсетями целиком - заблокируйте или поставьте под капчу ASN 16509.
В Киллбот переходы поведенческих ботов блокируются по слепку браузера. Например, слепки с номерами 259889456 и 176761461 - это слепки бота TikTokSpider. Их можно смело фильтровать, на реальных посетителях сайта это никак не скажется.
Также в Killbot есть автоматические правила фильтрации (WAF) для продвинутых пользователей, и есть возможность осуществлять такую блокировку в автоматическом режиме, по User Agent.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.