Menu
Internet Archive, он же Wayback Machine хранит копии миллиардов страниц неограниченно большого числа сайтов, собранные им в различные периоды времени, за все годы существования проекта.
Если ваш сайт уже работает какое-то время, то, скорее всего, он уже попал в список обхода бота archive.org_bot, и в Wayback Machine имеется его копия. Это не запрещено, разместив сайт в Интернет, вы предоставили к нему доступ неограниченному кругу лиц, в том числе таким создателям "машины времени".
Проблема возникнет, если вы по каким-то причинам не продлите домен, а новый его владелец (вернее, арендатор) достанет из архива все что на нем было ранее, и разместит на уже своем сайте, от своего имени. А потом появляются жалостливые темы на форумах, мол, как так, мы забросили сайт, забыли продлить. Но нашелся кто-то, кто его купил и восстановил все что на нем было. Какой негодяй. Верните нам наш контент.
Могут быть и другие причины, по которым вы не хотите, чтобы содержание вашего сайта где-то хранилось вечно, да еще и с удобной разбивкой по разным периодам своей истории.
Для этого достаточно просто запретить доступ к сайту для сервиса INTERNET-ARCHIVE. Его бот ходит с AS7941 и имеет примерно такой вот user-agent.
Mozilla/5.0 (compatible; archive.org_bot +http://archive.org/details/archive.org_bot) Zeno/cfa2980 warc/v0.8.47
Заблокировать можно как через правила в файле htaccess, так и через Cloudflare.
Правила актуальны для последних версий Apache, начиная с 2.4 и далее. Если у вас устаревшее программное обеспечение на сервере, поищите в музее инструкции с директивами Allow и Deny.
|
1 2 3 4 5 6 7 |
<RequireAll> Require all granted Require not ip 207.241.224.0/20 Require not ip 207.241.238.0/24 Require not ip 208.70.24.0/21 Require not ip 2620:0:9c0::/48 </RequireAll> |
Этот способ уже не актуален, так как проксирование Cloudflare с лета 2025 года блокируется для РФ.
При использовании Cloudflare, вариантов блокировки Wayback Machine у вас намного больше.
Это может быть:
|
1 2 3 4 |
207.241.224.0/20 207.241.238.0/24 208.70.24.0/21 2620:0:9c0::/48 |
Зайдите в раздел Security - WAF - Custom rules.
Блокировку вы можете добавить как в уже существующее правило, содержащее директиву Block (если таковые имеются), или создать новое.
Код правила.
|
1 |
(ip.geoip.asnum in {7941}) |
AS Num = 7941
Действие = Block
Ознакомьтесь с разделом База знаний, подключите Killbot, создайте правило WAF для фильтрации ASN 7941. Либо, обратитесь ко мне по контактам, указанным на сайте, я это сделаю для вас под ключ.
Cloudflare окончательно заблокирован в РФ ещё летом 2025 года.
Функцию фильтрации ботов Cloudflare взял на себя российский антибот Killbot.
Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке других антибот решений параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее, всё это легко подделывается), а уникальные для каждого набора браузеров слепки.
По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота.
Чтобы не повторяться - расписывал более подробно в статьях:
Попробовать бесплатно. При регистрации в Killbot введите промокод
promo13
и получите месяц тестирования платного тарифа Killbot (фильтрация трафика, 1000 руб) и Ads (отключение показа рекламы поведенческим ботам, 1000 руб) в качестве бонуса. Этого вам хватит на то, чтобы понять, подходит вам данное решение, или нет. На данный момент - в Рунете нет более достойной альтернативы, по соотношению цена-качество. Срок действия промокода ограничен по времени, куда-то записывать его нет смысла. В следующий раз промокод уже будет другой, поэтому использовать его нужно сейчас, когда вы читаете этот текст. Промокод действует только в форме регистрации. Если аккаунт уже создан - создайте новый, на другой почте, и при регистрации в последнем поле введите промокод.
Подпишитесь на Telegram канал / MAX для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов, а также оперативно получать новые материалы, выходящие на antibot24.ru
Автор статей: Сергей (AntiBot24). Эксперт в области фильтрации поведенческого трафика, настройки антибот систем. Высший рейтинг на Kwork, более 680 отзывов, 100% заказов успешно сдано, 56% повторных заказов. Пишу подробные статьи, инструкции по фильтрации ботов в своем блоге antibot24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной роботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Killbot.