Создать файл robots.txt и sitemap.xml

Дорогой читатель!

Приветствую в своем блоге!

В этой статье пойдет речь о таких файлах как robots.txt и sitemap.xml. Я расскажу вам для чего они нужны и как их создать.

Эти оба файла понадобятся для того чтобы Ваш сайт попал в поисковые системы и отображался в них корректно. Естественно после того, как вы выложили свой сайт в Интернет.

Sitemap.xml – так называемая карта сайта, потребуется для ускорения индексации, в этом файле создается упорядоченная структура вашего сайта. Вдаваться в более подробное описание думаю не стоит. Файл создается обычно с помощью плагина, лично я так и поступил, плагин «All In One SEO Pack». После того как установили плагин заходите в «Инструменты SEO» затем в «XML карта сайта» и создаете карту сайта. Только не путайте ее с картой сайта видимой, которую вы можете создать у себя на сайте для пользователей с помощью плагина «Dagon Design Sitemap Generator». Далее карту sitemap.xml мы включим в файл robots.txt.

Файл robots.txt как вы уже догадались, нужно создавать в текстовом редакторе. Этот файл служит для точных указаний роботу поисковику что индексировать, а что пропускать. Зачем пропускать страницы? – спросите Вы. Все очень просто, на сайте создается много дублей (повторений) страниц, для ускорения поиска и качественного отображения в поисковиках, Вам эти страницы нужно заблокировать, а к некоторым наоборот открыть доступ. Еще не советовал бы пользоваться плагинами по созданию этого файла, зачем нагружать свой сайт если это все можно сделать вручную.

В своему опыту скажу, возьмите самый простой файл robots.txt и посмотрите как будет проходить индексация. А после проверки можете что-то уже поменять. Вот пример файла который я изначально загрузил себе:

Вы можете его тоже использовать (скачать тут), но сделайте некоторые изменения: замените ссылку (www.blogvk.com.ua)  на свой сайт, если используете стандартные ссылки — уберите две строки (Disallow: /*?*).

Вот и все, смело можете загружать в корневой каталог и ждать индексации. Когда сайт проиндексируется, проверьте те ли страницы у вас добавились в поиск, что вам нужны, и если будет нужно внесите поправки.

Если возникли трудности или появились вопросы, то не стесняйтесь, задавайте их в комментариях, буду рад помочь.

С Уважением Владимир Колосов!