Шаблоны файла robots.txt

Настройка индексации сайта является неотъемлемой частью продвижения сайтов. Для ускорения процесса составления файла robots.txt, мы сделали 3 шаблона:

1. Запрещает индексировать весь сайт всем поисковым роботам.
 
2. Разрешает индексировать весь сайт и указывает адрес главного зеркала. 
В шаблоне необходимо заменить example.com на url главного зеркала вашего сайта в директиве Host. Его следует писать без аббревиатуры протокола передачи гипертекста, то есть без http:// и без закрывающего слеша /. Директива Host является корректной только для робота Яндекса.
 
3. Разрешает индексировать весь сайт, указывает адрес главного зеркала и карты сайта. В шаблоне необходимо заменить example.com на url главного зеркала вашего сайта в директиве Host. И засеменить адрес до карты сайта.
 
 
Проверить работу файла можно в Яндекс.Вебмастере webmaster.yandex.ru/robots.xml и в Google google.com/webmasters/tools/siteoverview?hl=ru