HeadlessChrome 117 на Linux: SEO-страница User-Agent

HeadlessChrome 117.0.5938.88 — библиотека или утилита для HTTP-запросов, а не браузер. Такие клиенты обычно отправляют HTTP-запросы.

Скрипты или библиотеки, использующие HeadlessChrome 117.0.5938.88 как клиент для отправки HTTP-запросов, обычно запускаются разработчиками или автоматизирующими системами. Они могут появляться на сайтах при выполнении тестирования или сбора данных.

Bot Guard видел этот User-Agent на 26 сайтах из 60 подключённых (43%). Первое появление в нашей статистике: 29.09.2023, последнее: 08.11.2023. Всего за это время зафиксировано 1 211 визитов. В среднем это около 30 визитов в день за 41 день наблюдений.

По строке определяется: название клиента — HeadlessChrome версии 117.0.5938.88; операционная система — Linux; тип устройства — компьютер; движок — WebKit 537.36. Часть токенов, например Mozilla/5.0 и KHTML, like Gecko, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: скрипт или библиотека. Основания: явных противоречий в строке нет; в статистике 26 сайтов, 1 211 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Автоматические запросы библиотеки не приносят сайту посетителей. При частых обращениях они нагружают сервер и засоряют журнал, а при сборе данных ещё и создают риск копирования контента.

Скрипт отличается от человека по поведению: он не выполняет JavaScript, не загружает картинки и стили страницы, не хранит куки и часто запрашивает страницы с одинаковым интервалом.

Запросы этого клиента легко найти в журнале по подстроке «HeadlessChrome». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "HeadlessChrome" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*HeadlessChrome 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'HeadlessChrome') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Ограничьте частоту запросов и закройте служебные разделы от скриптов. Полезные интеграции пускайте по ключу API или с известных адресов, остальное блокируйте.