В этой статье мы рассмотрим установку файла robots.txt. Установка файла robots.txt необходима для, того, чтобы поисковые системы не сбивались и правильно их воспринимали и выдавали в топ. Файл нужен для индексации сайта / блога.
Для того, чтобы поисковые системы еще лучше видели наши ссылки, дополнительно к установленному файлу robots.txt, устанавливаем и настраиваем человека — понятные ссылки (ЧПУ) (подробнее об установке и настройке ЧПУ можно прочитать, в теме «Установка и настройка человеко — понятные ссылок (ЧПУ)».
Файл robots.txt устанавливается в ручную. Устанавливается он один раз и навсегда, в самом начале работы над сайтом / блогом.. Файл robots.txt забрасывается на хостинг.
Выглядит файл robots.txt следующим образом:
User-agent: * Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Allow: */uploads User-agent: GoogleBot Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php User-agent: Yandex Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign Clean-Param: openstat Sitemap: http://rimsy-partner.ru/sitemap.xml Sitemap: http://rimsy-partner.ru/sitemap.xml.gz Host: www.rimsy-partner.ru
Для своего сайта Вам нужно в блокноте записать этот файл и изменить только название сайта. Для этого, в строках, где выделены слова красным цветом, заменяете их на название своего сайта / блога. Внимательно все проверьте.
Так же можете скачать файл robots.txt наведя курсор на эту строчку.
Далее идем на свой хостинг. Нажимаем на кнопку файловый менеджер. Здесь мы выбираем, тот сайт с которым мы работаем . Кликаем по этому файлу и раскрываем его.
Проходим к папке public_ html. Кликая на папку public_ html, открываем ее.
Появилась раскрытая папка public_ html.
Нам в нее нужно загрузить файл robots.txt. Для этого, нажимаем на кнопку «Файл». Выбираем вкладку «Закачать». Появляется окно с вкладками «Выберите файл» и «Закачайте». Мы нажимаем на кнопку «Выберите файл». Система направляет нас на наш ноутбук для выбора файла robots.txt.
Мы выбираем на своем ноутбуке файл robots.txt, который записали в блокнот, и в который внесли изменения, касаемые непосредственно своего сайта / блока. После этого нажимает кнопку «открыть» на своем ноутбуке. После, чего в окне на хостинге нажимаем на кнопку «закачать». Все. Система закачала файл robots.txt на Ваш сайт / блог.
Мы видим, где файл robots.txt расположился. Этот файл закачивается один раз. Мы к нему больше не притрагиваемся.
Скачать файл robots.txt можно наведя курсор на эту строчку.
Все. По теме «Установка файла robots.txt», мы задачу выполнили. Установили на свой сайт / блок файл robots.txt.