YaDirectFetcher/1.0 - краулер Яндекс.Директа

YaDirectFetcher 1.0 — служебный робот Яндекса. Обычно такие клиенты приходят для проверки счетчиков, индексации или рекламы.

Клиенты такого типа обычно запускаются по поручению Яндекса или его сервисов. Они приходят на сайт для выполнения служебных задач, таких как проверка счетчиков или индексация.

Bot Guard видел этот User-Agent на 47 сайтах из 60 подключённых (78%). Первое появление в нашей статистике: 28.09.2023, последнее: 23.10.2026. Всего за это время зафиксировано 934 293 визита. В среднем это около 833 визитов в день за 1122 дня наблюдений.

По строке определяется: название клиента — YaDirectFetcher версии 1.0. Часть токенов, например Mozilla/5.0, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 7 раз на 4 сайтах (ротация IP (прокси-пул): 6; аномальная частота запросов: 1); в статистике 47 сайтов, 934 293 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Служебный робот заходит нечасто и по делу: проверяет счётчик, индексацию или рекламу. Нагрузка небольшая. Если его заблокировать, соответствующие сервисы перестанут нормально работать с вашим сайтом.

Это служебный робот компании Яндекс. Подлинность подтверждается по IP-адресу: сверьте его с документацией компании Яндекс или проверьте обратным DNS. Строка User-Agent сама по себе ничего не доказывает, её легко подделать.

Проверка занимает две команды. Сначала по IP запроса получаем имя хоста, оно должно оканчиваться на .yandex.ru, .yandex.net или .yandex.com. Затем по этому имени получаем IP обратно, адрес обязан совпасть с исходным. Если хотя бы одна проверка не прошла, запрос идёт не от Яндекс.

# 1. обратный запрос: имя хоста по IP
host 203.0.113.10
# 203.0.113.10 -> pointer crawler-example.yandex.ru

# 2. прямой запрос: IP по имени хоста
host crawler-example.yandex.ru
# адрес в ответе должен быть 203.0.113.10

Запросы этого клиента легко найти в журнале по подстроке «YaDirectFetcher». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "YaDirectFetcher" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*YaDirectFetcher 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'YaDirectFetcher') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: YaDirectFetcher
Disallow: /

# закрыть только раздел
User-agent: YaDirectFetcher
Disallow: /private/

# разрешить всё
User-agent: YaDirectFetcher
Allow: /

Не блокируйте этого робота: он нужен для сервисов компании Яндекс, которыми вы пользуетесь (проверка счётчика, индексация, реклама). Блокировка может сломать их работу. Блокируйте только запросы, не подтверждённые по IP.