DuckDuckGo-Favicons-Bot: краулер фавиконов

DuckDuckGo-Favicons-Bot 1.0 — автоматический клиент, владелец которого по строке не указан. Обычно такие клиенты приходят для обхода страниц без участия человека.

Такие клиенты обычно запускаются для сбора информации о сайтах, в частности для извлечения изображений фавиконок. Они приходят на сайт в автоматическом режиме, без участия человека, для выполнения своих задач.

Bot Guard видел этот User-Agent на 37 сайтах из 60 подключённых (62%). Первое появление в нашей статистике: 29.09.2023, последнее: 29.06.2024. Всего за это время зафиксировано 1 068 визитов. В среднем это около 4 визитов в день за 275 дней наблюдений.

По строке определяется: название клиента — DuckDuckGo-Favicons-Bot версии 1.0. Часть токенов, например Mozilla/5.0, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; в статистике 37 сайтов, 1 068 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Влияние такого бота зависит от того, как часто он ходит и что запрашивает. Он может нагружать сервер и засорять журнал, а посетителей на сайт обычно не приводит.

Чтобы отличить бота от человека, сверьте несколько признаков: наличие заголовка Accept-Language, выполнение JavaScript, куки между запросами, скорость обхода и принадлежность IP датацентру. По одному признаку вывод делать нельзя.

Запросы этого клиента легко найти в журнале по подстроке «DuckDuckGo-Favicons-Bot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "DuckDuckGo-Favicons-Bot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*DuckDuckGo-Favicons-Bot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'DuckDuckGo-Favicons-Bot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: DuckDuckGo-Favicons-Bot
Disallow: /

# закрыть только раздел
User-agent: DuckDuckGo-Favicons-Bot
Disallow: /private/

# разрешить всё
User-agent: DuckDuckGo-Favicons-Bot
Allow: /

Определите по логам, зачем бот ходит на сайт. Если нагрузка заметна или он собирает данные, закройте его правилом в robots.txt, а при игнорировании правил блокируйте по IP.