Шаблоны файла robots.txt
Настройка индексации сайта является неотъемлемой частью продвижения сайтов. Для ускорения процесса составления файла robots.txt, мы сделали 3 шаблона:
1. Запрещает индексировать весь сайт всем поисковым роботам.
1. Запрещает индексировать весь сайт всем поисковым роботам.
2. Разрешает индексировать весь сайт и указывает адрес главного зеркала.
В шаблоне необходимо заменить example.com на url главного зеркала вашего сайта в директиве Host. Его следует писать без аббревиатуры протокола передачи гипертекста, то есть без http:// и без закрывающего слеша /. Директива Host является корректной только для робота Яндекса.
3. Разрешает индексировать весь сайт, указывает адрес главного зеркала и карты сайта. В шаблоне необходимо заменить example.com на url главного зеркала вашего сайта в директиве Host. И засеменить адрес до карты сайта.
Скачать шаблоны (RAR, 1.4КБ)
Проверить работу файла можно в Яндекс.Вебмастере webmaster.yandex.ru/robots.xml и в Google google.com/webmasters/tools/siteoverview?hl=ru