Цитата из книги «Интернет-маркетинг. Продвижение СЕО»

Просто не надо путать файл robots. txt и мета тэг robots – это два разных фактора.