Полный список IP-адресов Googlebot

Как узнать IP адрес Гугла, какие боты Google посещают ваш сайт и какие из них полезны.

User Agent GoogleBot

Поисковый бот Google (паук Google), приходя на ваш сайт, прямо представляется, что он - бот Гугл. Также, как правило, паук Гугл следует директивам, которые вы пропишете для него (User-agent: Googlebot) в файле robots.txt (находится в корневой папке вашего сайта на хостинге и доступен по адресу vashsite.ru/robots.txt через браузер).

Например, в логах сервера, в строке user agent, вы увидите следующее:

• Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.6167.85 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Расшифровка, как читать User Agent

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Расшифровка User Agent бота (поискового паука Google):

• Mozilla/5.0. Это стандарт для User Agent, большинство браузеров ставят в начале юзерагент именно эту строчку. Есть менее распространенные User Agent, где в начале будет например Dalvik. Также, с недавних пор, появился новый тип User Agent (например, для мобильного Safari), который начинается с com.google.GoogleMobile.
• (Linux; Android 6.0.1; Nexus 5X Build/MMB29P). Операционная система, техническое название устройства. Устройство Nexus 5X, модель сборки MMB29P, под управлением Android 6.0.1.
• AppleWebKit/537.36 (KHTML, like Gecko). WebKit - фреймворк рендеринга страниц, версия 537.36. Используется в браузере Safari, Android браузер, браузерах на основе движка Chrome (Chromium). Например, Яндекс браузер - это тоже Chromium. Насчет KHTML, like Gecko - так сложилось исторически, эта строчка появилась в user Agent для маскировки под другой популярный движок рендеринга, Gecko.
• Chrome/120.0.6099.224. Браузер Chrome (Хромиум) версии 120. Остальные цифры - это номер сборки. Номер сборки возрастает по мере разработки браузера и выхода новых версий.
• Mobile Safari/537.36. Мобильная версия браузера Safari, цифры это номер этой версии.
• (compatible; Googlebot/2.1; +http://www.google.com/bot.html). Эта часть указывает на версию бота Googlebot.

Можно ли подделать GoogleBot

Краткий ответ: да, легко.

В настройках программного обеспечения поведенческих ботов, а также различных сканирующих ботов можно установить любую подпись, любой заголовок браузера.

Например, в данном случае бот, представившийся Гугл ботом, пришел с айпи адреса Hetzner. Чего не может быть, и можно сделать однозначный вывод - это поддельный бот.

Поэтому, перед тем как пускать ботов к себе на сайт, нужно убедиться в том, что бот с User Agent Googlebot - действительно является ботом Google Search. AS Google - 15169.

Основные поисковые роботы Google

Рассмотрим несколько самых распространенных краулеров, поисковых пауков Google.

Робот Googlebot

Googlebot - основной поисковый паук Google. предназначен для сканирования веб-страниц. Бывает двух видов:

• Googlebot Mobile (Googlebot Smartphone) - поисковый бот Гугл, который проверяет мобильную версию сайта. Именно ей всегда отдается приоритет, и большинство заходов паука Google на ваш сайт будет именно от имени мобильного гугл бота.
• Googlebot Desktop – поисковый робот Google, имитирующий пользователя персонального компьютера. Таких заходов будет немного.

Обе версии читают строку User-agent: Googlebot в файле robots.txt и задать им разные рекомендации для сканирования сайта - не получится.

В последнее время бот Гугл плохо сканирует страницы русскоязычных сайтов, поэтому для придания нужного ускорения требуется или большое число внешних ссылок на сайт, и/или использование Google Indexing API.

Бот GoogleOther

Это не совсем поисковый краулер, но это новый бот Google, который приходит ровно с тех же айпи адресов, с которых приходит основной Googlebot. Разница в том, что этот бот подписывается обычным юзерагент, таким-же, как у вас в браузере. Единственное отличие - приписка GoogleOther в конце подписи.
Заявляется, что этот бот будет брать на себя какие-то исследовательские функции, и проч. А по факту - ходит на обычные сайты и точно также сканирует их, как и обычный ГуглБот.

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.119 Mobile Safari/537.36 (compatible; GoogleOther)

Googlebot Image

Googlebot Image - робот Google, который специализируется на сканировании графического контента, т.е. картинок. После чего изображения пополняют раздел "картинки" на сайте Google. Представляется как Googlebot-Image/1.0.

Для возможности ранжирования изображений Googlebot Image, помимо собственно индексации картинок, считывает теги "Alt" и "Title", метаданные изображений, и прочие параметры.

Помимо собственно трафика из поиска по картинкам для некоторых категорий сайтов (например, подарочные упаковки, товары в интернет-магазине, и прочее), добавление параметров к изображениям в целом улучшит рейтинг вашего сайта, на ту долю процента, что заложена в алгоритмах поисковой системы.

Googlebot-News

Googlebot-News сканирует новостные сайты, для возможности оперативного наполнения новостным контентом раздела Google News на главной странице поисковой системы. Большинству сайтов не светит попадание в Гугл Новости, поэтому этого бота в логах посещений своего сайта вы, скорее всего, не встретите.

Googlebot Video

Специализированный поисковый робот Google для сканирования видео контента. Представляется как Googlebot-Video/1.0. Является скорее дополнительным, так как основной краулер GoogleBot также собирает видео данные при обходе сайта.

Результаты обхода используются для ранжирования видео в соответствующем разделе Гугл поиска.

Google Favicon

Этот поисковый бот собирает иконки (favicon) сайта. В юзер агент бота фавикон вы найдете идентификатор Google Favicon.

Впрочем, фавикон важен в Яндекс, где он отображается, в отличие от Google. Так что Google Favicon - это умирающий вид бота.

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Safari/537.36 Google Favicon

Google StoreBot

Google StoreBot - специализированный бот поисковой системы, предназначенный для сканирования сведений о товарах:

• цена
• доставка
• наличие
• условия возврата
• прочие параметры товара.

Google StoreBot представляется как Storebot-Google/1.0.

Например,
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Safari/537.36

Mediapartners-Google Bot или Mediapartners (Googlebot)

Поисковый робот Adsense сканирует контент страниц, для последующего размещения на них релевантных объявлений при участии сайта в Google Adwords. Т.е. объявлений по тематике данной страницы, что должно поспособствовать клику на объявление более заинтересованного посетителя.

Представляется как

• AdsBot-Google (+http://www.google.com/adsbot.html)
• (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
• (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html).

Также, сайт может сканироваться различными партнерскими сетями, с той же целью. Тогда в логах посещений вы найдете CriteoBot, Proximic Bot и тому подобное.

Google-InspectionTool

Еще более специализированный краулер. Приходит на сайт при различных проверках из Google Search Console. Содержит в User Agent строку (compatible; Google-InspectionTool/1.0).

Есть и еще более специализированные краулеры (пауки) Google, но это уже для ценителей. Например, для поиска авиабилетов или книг. Но это уже за рамками данного обзора основных поисковых ботов Google.

Полный список IP-адресов Googlebot

Айпи ботов Гугл. Актуальный обновляемый список айпи адресов краулеров, поисковых пауков Google.

Полный список IP-адресов Googlebot. Включал только адреса IPv4, ip адреса робота (краулера) Googlebot списком.

Для копирования списка IP-адресов Googlebot в буфер обмена просто нажмите на квадратики в верхнем правом углу.

В формате json.

Не выкладывал отдельно список IP-адресов Googlebot IPv6, потому что проще один раз отключить поддержку этого протокола у себя на сервере, чем раздувать конфигурационные файлы nginx, или файл .htaccess до размера вселенной.