Это текстовый файл, который располагается в корневой составляющей сайта и дает информацию ПС, в какие разделы можно заходить поисковому роботу при индексации, а в какие нет.