Mozilla/5.0 (compatible; YandexMetrika/4.0; +http://yandex.com/bots)
YandexMetrika/4.0 - это официальный бот поисковой системы Яндекс, предназначенный для сбора статистики посещаемости веб-сайтов. Он является частью системы Яндекс.Метрика и используется для загрузки кода счетчика, проверки доступности сайта и сбора данных о поведении пользователей. Бот создан компанией Яндекс и строго соблюдает правила robots.txt.
User-Agent YandexMetrika/4.0 считается безопасным. Он не выполняет вредоносных действий и не сканирует страницы с целью взлома. Однако злоумышленники могут подделать этот User-Agent для обхода защиты или сбора данных. Рекомендуется проверять IP-адреса бота по официальным диапазонам Яндекса перед предоставлением доступа к конфиденциальным разделам сайта.
Для идентификации этого User-Agent в коде сервера используйте проверку строки User-Agent на наличие подстроки 'YandexMetrika'. Пример на PHP: if (strpos($_SERVER['HTTP_USER_AGENT'], 'YandexMetrika') !== false) { ... }. На уровне Nginx или Apache можно настроить отдельные правила доступа для этого бота, используя директивы if ($http_user_agent ~* YandexMetrika).
User-agent: YandexMetrika
Disallow: /. Для разрешения - используйте обратное правило или белый список IP.