Правильная индексация с помощью robots.txt

Seo (Автор: admin)




Правильная индексация с помощью robots.txtВ продолжении прошлой статьи о индексации сайта, поговорим о файле robots.txt.

Файл имеет разрешение .txt, и он содержит правила для поисковых систем. Наличие данного файла обеспечит правильную индексацию вашего сайта. Ведь поисковые роботы, заходя на ваш сайт, сначала обращаются к файлу robots.txt, смотрят какие правила в нем прописаны, после чего начинают индексацию.

Но наличие самого файла robots.txt не означает, что ваш сайт будет правильно проиндексирован. Необходимо, чтобы правила в нем были составлены правильно. В противном случае это может привести к ненужным последствиям.

Создать файл можно в обычном блокноте. Размещать robots.txt необходимо в корневой папке вашего сайта.

Пример правильно составленного файла robots.txt

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /admin/
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /admin/
Sitemap: http://www.site.ru/sitemap.xml

User-Agent: *
Disallow: /

User-agent - указывает поисковым роботам инструкции. Наличие значка *, означает, что данные правила предписаны для всех поисковиков.

Disallow - запрещает индексацию отдельной папки или документа. Для запрещения индексации всего сайта, достаточно прописать «Disallow: /». Если не хотите запрещать индексацию, прописываете то же правило только без слеша - «Disallow:».

Host – указывает домен вашего сайта. Прописывайте домен с www, либо без. Это указывается в зависимости от того, как вы хотите, чтобы индексировался ваш сайт. Указывается без http://. Директиву Host учитывает только поисковой системой Яндекс.

Sitemap – необходим для указания расположения карты сайта.

Если вы хотите, чтобы поисковые роботы правильно индексировали ваш сайт, воспользуйтесь данными правилами.


Теги:
 (голосов: 0)
Категория: Seo | 24-03-2010 | Просмотров: 1852 | Комментарии (0)
Понравилась тема? Посмотрите эти:
Написать комментарий
Ваше Имя:


Ваш E-Mail:



Код:
Включите эту картинку для отображения кода безопасности
обновить, если не виден код


Введите код: