Как увидеть robots. txt на сайте? Очень просто. В браузер вводим название сайта и после него ставим /, пишем фразу robots. txt и жмем на выдачу. Выдача покажет следующую картинку. Пример: site.com/robots. txt.