Описание
Вот подробный разбор User-Agent строки
`AdsBot-Google (+http://www.google.com/adsbot.html)`
в виде списка на русском языке:
---
### 1. **AdsBot-Google**
- **Официальный бот Google** для **проверки качества рекламы**.
- **Не индексирует контент** — только **рекламные объявления**.
- **Проверяет**:
- Доступность landing page
- Соответствие политики Google Ads
- Скорость загрузки, мобильную адаптивность
- Запрещённый контент (вирусы, фишинг)
### 2. **(+http://www.google.com/adsbot.html)**
- **Обязательная ссылка** на документацию (по стандарту robots.txt).
- **Официальная страница Google**:
→ `http://www.google.com/adsbot.html`
→ Подтверждает легитимность и правила работы.
---
### Итоговая расшифровка:
| Параметр | Значение |
|------------------------|---------|
| **Агент** | **AdsBot-Google** |
| **Владелец** | **Google LLC** |
| **Назначение** | **Проверка качества рекламы (Google Ads)** |
| **Тип** | **Рекламный аудит-бот** |
| **Индексация** | **НЕТ** — не попадает в поиск |
| **Документация** | `http://www.google.com/adsbot.html` |
| **Маскировка** | **Нет** (прямое имя) |
| **Статус** | **100% легитимен** |
---
### Технические особенности:
| Характеристика | Значение |
|---------------|---------|
| **IP-адреса** | Диапазоны Google: `66.249.*`, `216.239.*`, `74.125.*` |
| **PTR-записи** | `*.googlebot.com`, `*.google.com` |
| **Заголовки** | `Accept: text/html`, `User-Agent` как выше |
| **HTTP-метод** | **GET** (только landing page) |
| **Частота** | **1–10 запросов/день** (на активные кампании) |
| **JavaScript** | **Выполняет** (проверяет динамику) |
| **Мобильный/десктоп** | **Оба** — имитирует устройства |
---
### Это **официальный бот Google** — **не блокировать!**
| Признак легитимности | ✅ |
|---------------------|----|
| Официальная документация Google | ✅ |
| Указана ссылка `+http://...` | ✅ |
| IP из диапазона Google | ✅ |
| Используется в Google Ads | ✅ |
> **Блокировка = приостановка рекламы!**
> Google может **отклонить объявления**, если AdsBot не может проверить страницу.
---
### Пример реального запроса:
```
GET /landing-page.html HTTP/1.1
Host: example.com
User-Agent: AdsBot-Google (+http://www.google.com/adsbot.html)
Accept: text/html,application/xhtml+xml
Accept-Encoding: gzip, deflate
Connection: keep-alive
```
---
### Рекомендации
| Действие | Обоснование |
|--------|------------|
| **Разрешить полностью** | Легитимен, критичен для рекламы |
| **Добавить в robots.txt** | Для порядка |
| **Кешировать ответы** | Ускорит проверку (304 Not Modified) |
| **Исключить из аналитики** | Не пользователь |
| **Не блокировать по IP/UA** | Официальный бот |
---
### Пример `robots.txt` для AdsBot:
```txt
User-agent: AdsBot-Google
Allow: /
User-agent: *
Disallow: /admin/
```
> **Примечание**: `AdsBot-Google-Mobile` — отдельный бот для мобильной рекламы.
---
### Как отличить от подделки?
| Признак | Настоящий | Подделка |
|--------|----------|---------|
| **IP** | Диапазоны Google | Любой другой |
| **PTR** | `*.googlebot.com` | Нет |
| **Ссылка в UA** | Точная `+http://www.google.com/adsbot.html` | С ошибками |
| **Запросы** | Только landing page (GET) | Любые URL |
---
### Вывод:
- **Это официальный бот Google AdsBot**
- **Проверяет качество рекламных страниц**
- **100% легитимен — разрешать и кешировать!**
- **Не нагружает сервер**
- **Критичен для работы Google Рекламы**
- **Исключать из статистики посещений**
