HeadlessChrome 80 на Linux: полный анализ User-Agent строки

Bot Guard видел этот User-Agent на 8 сайтах из 60 подключённых (13%). Первое появление в нашей статистике: 29.09.2023, последнее: 01.10.2024. Всего за это время зафиксировано 44 визита. В среднем это около 1 визитов в день за 369 дней наблюдений.

По строке определяется: название клиента — HeadlessChrome версии 80.0.3987.132; операционная система — Linux; тип устройства — компьютер; движок — WebKit 537.36. Часть токенов, например Mozilla/5.0 и KHTML, like Gecko, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: скрипт или библиотека. Основания: явных противоречий в строке нет; в статистике 8 сайтов, 44 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Скрипт может создавать заметную нагрузку, если запросы частые, и искажает серверную статистику, потому что это не человек. Счётчики на JavaScript его обычно не видят, а журнал сервера показывает все обращения.

Это не браузер, а библиотека или утилита для запросов. Человек так не заходит: у скрипта нет JavaScript, обычно нет заголовка Accept-Language, нет куки и движений мыши, а запросы идут с постоянной частотой.

Запросы этого клиента легко найти в журнале по подстроке «HeadlessChrome». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "HeadlessChrome" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*HeadlessChrome 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'HeadlessChrome') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Блокируйте, если вы не ждёте API-запросов или мониторинга. Такие клиенты часто используют для сбора данных. Если скрипт нужен (интеграция, проверка доступности), добавьте его IP в исключения и ограничьте частоту запросов.