Как это выглядит
- Один адрес или сеть запрашивает сотни страниц каталога подряд, без картинок и скриптов.
- Запросы из датацентров и облаков, User-Agent вида python-requests, curl, Go-http-client или копия Chrome без языка браузера.
- Нагрузка на карточки товаров без роста продаж, всплески в одно и то же время.
Чем вредит
Конкуренты видят ваши цены и корректируют свои в реальном времени. Ваш контент появляется на чужих сайтах и иногда обгоняет вас в поиске. Сервер платит за чужие запросы.
Как проверить у себя
- Загрузите access-лог в анализатор: он покажет долю ботов и сети с самым большим числом запросов.
- Подозрительный адрес проверьте через проверку IP и User-Agent: датацентр, обратный DNS, подделка поискового бота.
Что помогает
- Блокировка по User-Agent, сети и поведению: защита сайта от парсинга.
- Ограничение частоты запросов на уровне nginx.
- Закрыть самое ценное (оптовые цены, остатки) от неавторизованных.
robots.txt парсеры не соблюдают, он работает только для честных ботов.
Вопросы и ответы
Можно ли запретить парсинг через robots.txt?
Нет. Файл — просьба, а не защита. Его соблюдают поисковые роботы и ИИ-краулеры, которые уважают правила, парсеры конкурентов его игнорируют.
Опасно ли блокировать парсеры для SEO?
Нет, если сохранить доступ настоящим поисковым роботам. Они проверяются по обратному DNS и проходят.