AdsBot-Google: краулер Google для проверки качества рекламы

AdsBot-Google — служебный робот Google. Обычно такие клиенты приходят для проверки счётчика, индексации или рекламы.

Служебные роботы, такие как AdsBot-Google, обычно запускаются владельцами сервисов или по поручению их клиентов. Эти роботы посещают сайты для проверки счетчиков, индексации страниц или отображения рекламы.

Bot Guard видел этот User-Agent на 27 сайтах из 60 подключённых (45%). Первое появление в нашей статистике: 30.09.2023, последнее: 22.10.2026. Всего за это время зафиксировано 2 131 визит. В среднем это около 2 визитов в день за 1119 дней наблюдений.

По строке определяется: название клиента — AdsBot-Google.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 4 раза на 1 сайте (строка не похожа на браузер: 4); в статистике 27 сайтов, 2 131 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Служебный робот заходит нечасто и по делу: проверяет счётчик, индексацию или рекламу. Нагрузка небольшая. Если его заблокировать, соответствующие сервисы перестанут нормально работать с вашим сайтом.

Определить настоящий AdsBot-Google можно по адресу запроса: он должен принадлежать сетям компании Google. Обратный DNS должен давать имя хоста компании Google, а прямой запрос по этому имени возвращать тот же IP.

Проверка занимает две команды. Сначала по IP запроса получаем имя хоста, оно должно оканчиваться на .googlebot.com или .google.com. Затем по этому имени получаем IP обратно, адрес обязан совпасть с исходным. Если хотя бы одна проверка не прошла, запрос идёт не от Google.

# 1. обратный запрос: имя хоста по IP
host 203.0.113.10
# 203.0.113.10 -> pointer crawler-example.googlebot.com

# 2. прямой запрос: IP по имени хоста
host crawler-example.googlebot.com
# адрес в ответе должен быть 203.0.113.10

Запросы этого клиента легко найти в журнале по подстроке «AdsBot-Google». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "AdsBot-Google" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*AdsBot-Google 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'AdsBot-Google') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: AdsBot-Google
Disallow: /

# закрыть только раздел
User-agent: AdsBot-Google
Disallow: /private/

# разрешить всё
User-agent: AdsBot-Google
Allow: /

Пускайте проверенный AdsBot-Google. Если у вас защита от ботов, добавьте подтверждённые адреса компании Google в исключения, чтобы служебные проверки не получали отказ.