Установка файла robots.txt
В этой статье мы рассмотрим установку файла robots.txt. Установка файла robots.txt необходима для, того, чтобы поисковые системы не сбивались и правильно их воспринимали и выдавали в топ. Файл нужен для индексации сайта / блога.