9.31 В журнале ошибок apache зачастую появляются сообщения о попытках запросить файл robots.txt. Кому и зачем он нужен?

Этот файл содержит правила (Robot Rules) исключений для различных роботов индексации, поиска или зеркалирования веб-серверов.

Стандарт, описывающий содержимое этого файла, можно найти по адресу http://info.webcrawler.com/mak/projects/robots/norobots.html

Этот, и другие документы, могут быть скачаны с ftp://ftp.FreeBSD.org/pub/FreeBSD/doc/.

По вопросам, связанным с FreeBSD, прочитайте документацию прежде чем писать в <questions@FreeBSD.org>.
По вопросам, связанным с этой документацией, пишите <doc@FreeBSD.org>.
По вопросам, связанным с русским переводом документации, пишите в рассылку <frdp@FreeBSD.org.ua>.
Информация по подписке на эту рассылку находится на сайте проекта перевода.