Блокировка поведенческих ботов через HTACCESS

Защита от поведенческих ботов на сайте. Блокировка ботов с помощью Htaccess Apache.

Многие проекты сталкиваются с повышенной нагрузкой на хостинг, нашествием поведенческих ботов, но при этом их владельцы не готовы подключать Cloudflare.

В таких случаях промежуточным, слегка неполноценным, но все-таки вариантом будет блокировка лишних подсетей средствами NGINX или Apache (блокирование поведенческих ботов через HTACCESS).

Причем, сразу договоримся разделять ботов на различные категории. Есть поведенческие боты. Те самые, что заходят через полноценный браузер и имитируют поведение реального посетителя. А есть различные парсеры, краулеры, прочие сканеры. Это совсем другой тип ботов, они не видны в метрике, только в логах сервера. И нагрузка от них зачастую намного больше, чем от ботов, приходящих через браузер.

Если парсеры, сканеры можно банить смело (целые подсети Hetzner, Amazon и так далее), то с поведенческим ботами есть ряд ограничений. Заблокировать вы сможете только тех ботов, которые приходят со специализированных хостингов для ботоферм (например, Biterika). Если же ботоферма располагается на айпи адресах интернет-провайдера, мобильного оператора (Rostelecom, Мегафон, Билайн и так далее) - вы ничего с ними не сделаете. Банить нельзя, иначе под блокировку попадут и реальные посетители из этих же сетей.

Также блокируем айпи адреса различных хостингов. Например, Selectel и подобное. Список может быть бесконечным. Это в любом случае автоматизированные подключения. А также переходы с ВПН. Но если у вас российская аудитория, то зачем вам посетитель с ВПН который пришел с айпи адреса Селектел. Если ему есть что скрывать, пусть занимается этим подальше от вашего сайта. Или отключит ВПН.

Но для многих случаев, достаточно заблокировать то, что вы найдете ниже в списке. Список разделим на поведенческий, и чисто ботный. Название сети, ссылка на диапазоны айпи адресов для блокировки. Обратите внимание, что в самых последних версиях apache произошли некоторые изменения, и инструкции наподобие "Deny from" могут быть уже не совсем актуальны. Также в данной статье обойдем стороной блокировку ботов по User Agent через htaccess.

Как блокировать диапазоны с помощью  htaccess.

Сети поведенческих ботов, блокировка в htaccess

Блок кода с в htaccess начинается со следующей инструкции:

Далее идут диапазоны IP адресов. Актуально для Apache 2.2
Например

Насколько длинным будет этот список, зависит целиком от вашей фантазии и желания забанить все что движется.

Код для Apache 2.4

Адреса можно расположить в одну строку, с пробелом между ними.

Biterika AS35048

Битерика - это специализированный хостинг для поведенческих ботов, реальных посетителей оттуда вы не увидите. Просто баним.

• Biterika Grupp LLC
• iNet Ltd
• NetArt Group s.r.o.

Полный перечень диапазонов для блокировки Biterika - ниже. Нажмите на плюсик.

Moshonkin Ilia Sergeevich AS47913

Айпи адреса Мошонкин - это также вредоносные айпи, причем имеющие непосредственное отношение к Biterika. Там только боты, которые заслуживают только расстрел через повешение. Короче, вечный бан.

• Moshonkin Ilia Sergeevich
• LVNET LTD

Martynova Irina Nikolaevna AS48030 блок

Подруга Мошонкина, тоже непосредственно связана с Biterika. Практика показала, что можно смело добавлять в файл htaccess для блокировки переходов с этой сети.

• Martynova Irina Nikolaevna
• Alliance LLC

Delta Ltd AS213220

• Delta Ltd
• IE Vasilev Aleksey Petrovich
• Datacheap LLC
• Sakura network limited
• IT Outsourcing LLC
• IP Vostrikov R. Yu.
• Alexander M. Belov
• Servernie Reshenija LLC
• Rodion Vostrikov
• PE Levin Anton Aleksandrovich

SPETSVYSOTSTROY JSC AS31415

Очень настырные поведенческие боты.

• SVS Communication network
• SPETSVYSOTSTROY JSC
• SVS Communication

Блокировка хостингов, для уменьшения нагрузки на сайт

С хостингов могут приходить только боты, людей там нет. Бан без раздумий и сожалений.

Amazon.com, Inc. AS14618

Боты с Амазон создают просто дичайшую нагрузку на хостинг.

• Amazon Data Services NoVa
• PlatOps Security LLC
• Amazon Technologies Inc.
• mailtrap.io
• Lucid Growth LLC
• Vbrick
• QScend Technologies, Inc.
• Generic dot Business Ltd.
• Glexia, Inc.
• Goliad Technologies
• C3Aero LLC
• Goto Group, Inc.
• GHOST CLOUD LLC
• mParticle, Inc
• Incapsula Inc
• Axis Security
• Genesys Cloud
• Amazon.com, Inc.
• Amazon Technologies Inc.
• Amazon Web Services, Inc.
• Brivo Systems, LLC
• Palo Alto Networks, Inc
• Private Customer
• Blue Jeans Network, Inc.
• Liberty Mutual Group
• Public Broadcasting Service
• и другие