Вы увидели в логах ZorkolosBot
Всё в порядке. Это исследовательский робот проекта zorkolos.ru. Он читает несколько публичных страниц сайта - так же, как это сделал бы обычный посетитель, - и уходит. Никакого вреда, никакой нагрузки, никаких попыток куда-то проникнуть.
Mozilla/5.0 (compatible; ZorkolosBot/1.0; +https://zorkolos.ru/bot)
Что бот делает и чего не делает
Робот собирает обезличенную сводку о сайтах: тематика, платёжные и рекламные системы в коде страниц. Ни персональных данных, ни содержимого сайта мы не храним и не публикуем.
Бот делает
- Обычные GET-запросы к страницам, которые и так открыты для всех.
- Сначала читает
robots.txtи подчиняется ему. - Заходит на главную и, если тема совпадает, на пару разделов из меню.
- Честно представляется в User-Agent и оставляет ссылку на эту страницу.
- Забирает только обезличенную сводку: общая тематика сайта, ничего личного.
Бот не делает
- Не отправляет формы, не регистрируется, не пытается войти в аккаунт.
- Не подбирает пароли и не ищет уязвимости - это не сканер безопасности.
- Не трогает закрытые разделы, админки и всё, что требует авторизации.
- Не копирует сайт, не делает зеркал и не публикует его содержимое.
- Не собирает персональные данные и не интересуется вашими посетителями.
Мы не хотим быть там, где нам не рады
Достаточно добавить правило в robots.txt в корне сайта -
ничего больше делать не нужно, писать нам тоже.
User-agent: ZorkolosBot
Disallow: /
Запрет вступает в силу с ближайшего визита. Можно закрыть и отдельные разделы:
бот читает robots.txt по общему стандарту (RFC 9309) и понимает
обычные правила Disallow.
robots.txt временно отдаёт ошибку 5xx, бот считает, что правила
есть, но прочесть их не удалось, и просто уходит до следующего раза. Обходить
запрет на аварии хостинга мы не будем.
Два признака, оба проверяемые
По User-Agent
В строке всегда есть токен ZorkolosBot и ссылка на эту страницу.
Мы не маскируемся под браузер и не подделываем заголовки.
По частоте запросов
Как правило, наши боты выполняют 1-2 запроса на сайт с интервалом 2-5 секунд. Если кто-то представляется как ZorkolosBot и нагружает ваш сайт - сообщите нам.
Остались вопросы?
Если бот повёл себя не так, как описано выше, или вы просто хотите, чтобы мы больше не приходили, - напишите нам. Внесём сайт в исключения вручную, без вопросов и объяснений с вашей стороны.