Цитата из книги «SEO для бизнеса»

С помощью инструмента robots.txt, представляющего собой инструкцию для поис-ковых роботов, вы можете управлять их поведением: установить запрет на ска-чивание страниц, указать главный адрес сайта, до-бавить карту сайта