Mail.RU_Bot 2.0 на Linux

Mail.RU_Bot 2.0 — поисковый краулер Mail.ru. Обычно такие клиенты приходят на сайты, чтобы добавить их в поисковый индекс.

Поисковые краулеры, такие как Mail.RU_Bot 2.0, обычно запускаются владельцами поисковых систем для сбора информации с веб-страниц и добавления ее в поисковый индекс. Эти краулеры приходят на сайт для обхода страниц и анализа их содержимого.

Bot Guard видел этот User-Agent на 36 сайтах из 60 подключённых (60%). Первое появление в нашей статистике: 20.10.2023, последнее: 11.04.2025. Всего за это время зафиксировано 252 024 визита. В среднем это около 467 визитов в день за 540 дней наблюдений.

По строке определяется: название клиента — Mail.RU_Bot версии 2.0; операционная система — Linux; тип устройства — компьютер. Часть токенов, например Mozilla/5.0, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; в статистике 36 сайтов, 252 024 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Настоящий поисковый робот создаёт умеренную нагрузку на сервер и нужен, чтобы страницы попадали в поиск. Системы статистики, как правило, не считают его визиты посещениями людей, но в журнале сервера он заметен. Резкий рост обращений стоит проверить на подделку.

Подлинность поискового робота подтверждается обратным DNS: по IP клиента получают имя хоста, оно должно принадлежать компании Mail.ru, а прямой запрос по этому имени обязан вернуть тот же IP. Строку User-Agent проверять бессмысленно, её подделывает любой скрипт.

Проверка занимает две команды. Сначала по IP запроса получаем имя хоста, оно должно оканчиваться на .mail.ru. Затем по этому имени получаем IP обратно, адрес обязан совпасть с исходным. Если хотя бы одна проверка не прошла, запрос идёт не от Mail.ru.

# 1. обратный запрос: имя хоста по IP
host 203.0.113.10
# 203.0.113.10 -> pointer crawler-example.mail.ru

# 2. прямой запрос: IP по имени хоста
host crawler-example.mail.ru
# адрес в ответе должен быть 203.0.113.10

Запросы этого клиента легко найти в журнале по подстроке «Mail.RU_Bot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "Mail.RU_Bot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*Mail\.RU_Bot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'Mail.RU_Bot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: Mail.RU_Bot
Disallow: /

# закрыть только раздел
User-agent: Mail.RU_Bot
Disallow: /private/

# разрешить всё
User-agent: Mail.RU_Bot
Allow: /

Не блокируйте настоящего Mail.RU_Bot: это снизит видимость сайта в поиске компании Mail.ru. Блокируйте только запросы с таким User-Agent, которые не прошли проверку обратным DNS.