Цитата из книги «Создание сайтов»

Файл robot.txt, во-первых, должен в принципе существовать, а во-вторых, подлежит вдумчивому редактированию. В нем указывается, что на сайте индексировать, а что нет. Служебную информацию, включая результаты внутреннего поиска, серверные логи и административную панель, конечно же, надо закрыть от ботов.