VelenPublicWebCrawler 1.0 на неизвестной платформе

VelenPublicWebCrawler 1.0 — автоматический клиент, владелец которого по строке не указан. Обычно такие клиенты приходят на сайты для автоматического обхода страниц без участия человека.

Такие клиенты обычно запускают компании или организации для автоматического сбора информации с веб-страниц. Они могут приходить на сайт для анализа данных или проверки функциональности ресурса.

Bot Guard видел этот User-Agent на 25 сайтах из 60 подключённых (42%). Первое появление в нашей статистике: 15.10.2023, последнее: 26.10.2026. Всего за это время зафиксировано 6 608 визитов. В среднем это около 6 визитов в день за 1108 дней наблюдений.

По строке определяется: название клиента — VelenPublicWebCrawler версии 1.0. Часть токенов, например Mozilla/5.0, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 74 раза на 5 сайтах (ip_blocked: 48; запрос с адреса облачного провайдера: 25; ротация IP (прокси-пул): 1); запросы шли из сетей: Google Cloud (73); в статистике 25 сайтов, 6 608 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Влияние такого бота зависит от того, как часто он ходит и что запрашивает. Он может нагружать сервер и засорять журнал, а посетителей на сайт обычно не приводит.

По строке нельзя понять, настоящий ли это бот: User-Agent пишет сам клиент. Смотрите на поведение: запрашивает ли он robots.txt, соблюдает ли паузы, выполняет ли JavaScript и принимает ли куки. Роботы обычно не делают ни того, ни другого.

Запросы этого клиента легко найти в журнале по подстроке «VelenPublicWebCrawler». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "VelenPublicWebCrawler" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*VelenPublicWebCrawler 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'VelenPublicWebCrawler') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: VelenPublicWebCrawler
Disallow: /

# закрыть только раздел
User-agent: VelenPublicWebCrawler
Disallow: /private/

# разрешить всё
User-agent: VelenPublicWebCrawler
Allow: /

Не блокируйте вслепую: сначала посмотрите, что клиент запрашивает и как часто. Безопасный путь — ограничить частоту запросов и закрыть служебные разделы в robots.txt, а при нагрузке или игнорировании правил блокировать по IP.