Menu
ClaudeBot - сканирующий бот чат-бота нейросети Claude. Как и GPT-4 компании ChatGPT OpenAI - Claude занимается генерацией текста, ответами на вопросы, на основе собранной искусственным интеллектом бота информации. Охотится за текстами в сети Интернет, использует их для своего обучения.
Есть несколько тарифных планов и поколений ботов AI Claude: Sonnet, Haiku, Opus. Точно также, как у OpenAI есть GPT-3.5 и более старшая и умная модель - GPT-4.
Однако для вас, как для владельца сайта, одного из тех, с которых нейросеть и тянет исходную информацию для обработки, - ClaudeBot является вредоносным сканером. Который не дает никакой пользы. В Яндекс метрике вы этого бота не увидите. Он заходит не через реальный браузер, как поведенческие боты, поэтому в Яндекс метрике не отображается. Но при этом claudebot грузит сайт в режиме 24/7.
Зато если вы заглянете в access логи на хостинге - вы будете неприятно удивлены. Бот может просто "жить" на сайте, по кругу сканируя все страницы. Так что не удивляйтесь, если по метрике у вас почти нет посетителей, а показатели нагрузки на сервере - зашкаливают. Вот такие нейросети это нагрузку и создают.
ClaudeBot не единственный сервис ИИ. Там же в логах вы найдете GPTBot, Amazonbot, ряд других ботов нейросетей. Направление активно развивается, так что если ковыряться пальцем в носу, думая что вас это не сильно касается - рано или поздно хостер попросит перейти на более дорогой тарифный план.
Этот способ уже не актуален, так как проксирование Cloudflare с лета 2025 года блокируется для РФ.
Claudebot приходит из сети Amazon (AS16509 AMAZON-02), по протоколу HTTP2, со следующим UserAgent.
|
1 |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com) |
Оптимальный вариант блокировки - по User Agent, так как он не меняется, и в каждом визите бота один и тот же.
Создаем следующее правило.
Это может быть как отдельное правило, так и в составе другого правила блокировки, так как в разделе WAF в бесплатном тарифе Cloudflare доступно всего 5 ячеек под правила, и их нужно расходовать экономно.
|
1 |
(http.user_agent contains "ClaudeBot") |
Также имейте в виду, что Cloudflare считает всех этих сканирующих ботов - полезными ботами, поэтому блокировка должна стоять выше, чем правило пропуска полезных ботов Know Bots. Ну и в целом, нужно думать своим умом, а не слепо перепечатывать с VC распиаренные правила для Cloudflare от Акулова, Зимина и прочих подражателей.
Добавьте в файл htaccess (к корневой папке сайта на хостинге) следующие строки:
|
1 2 3 |
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (Amazonbot|SemrushBot|AhrefsBot|Bytespider|Bytedance|ImagesiftBot|keys-so-bot|ReactorNetty|ClaudeBot|GPTBot) [NC] RewriteRule .* - [F,L] |
Там же добавил еще несколько ботов, которых нужно блокировать. Они создают постоянную бесполезную фоновую нагрузку, а пользы лично для вас от них - никакой.
Если у вас на хостинге установлен Apache 2.4 и выше, то более актуальным будет вот этот код блокировки.
|
1 2 3 4 5 6 |
SetEnvIfNoCase User-Agent "ClaudeBot|claudebot" blocked_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=blocked_bot </Limit> |
Воспользовавшись советами выше, вы с легкостью избавите свой сайт от надоедливых ботов нейросетей, и значительно снизите нагрузку на хостинг.
Ознакомьтесь с разделом База знаний, подключите Killbot, создайте правило WAF для фильтрации ASN 16509. Либо, обратитесь ко мне по контактам, указанным на сайте, я это сделаю для вас под ключ.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.