Что такое «Robots.txt»?
Файл, используемый для управления поведением поисковых роботов, заходящих на сайт. При помощи этого файла можно задать те файлы, каталоги и страницы сайта, индексация которых поисковыми системами нежелательна. Robots.txt должен создаваться в текстовом файле в формате Unix.
Директивы robots.txt
Управление поисковыми ботами осуществляется посредством задания в файле robots.txt специальных директив.
User-agent
Имя поискового робота, к которому будут применены ниженаписанные правила. Самые популярные в Рунете роботы:
- Yandex — робот Яндекса;
- Googlebot — робот Google;
- StackRambler — робот Rambler;
- Aport — робот Апорта.
Если же требуется применить правило сразу ко всем роботам, то в качестве параметра для User-agent следует указать символ * (звездочка).
Disallow
В этом поле указывается какие именно разделы сайта требуется запретить для индексации роботами указанными в директиве User-agent. В каждой записи должно присутствовать как минимум одно поле Disallow. Если требуется разрешить для индексации все страницы на сайте, то поле Disallow нужно оставить пустым. Для запрета к индексации всего сайта, в качестве аргумента для Disallow необходимо использовать параметр / (слеш).
Crawl-delay
Нестандартная директива. Задает временной интервал, который должен выдерживать поисковый робот между загрузкой страниц сайта. Вводиться с целью профилактики излишней нагрузки на сервер. По-умолчанию у большинства роботов этот параметр задан в 1-2 секунды.
Allow
Директива, обратная директиве Disallow. Задает страницы и разделы сайта, предписываемые к индексации.
Функции robots.txt
Файл robots.txt может выполнять следующие функции:
Запрет к индексации страниц, файлов и каталогов
Для запрета необходимо указать, какому роботу запрещается индексация и какие именно разделы попадают под это правило.
- Запрещает ботам Яндекса посещать папку http://site.ru/test/ и файл http://site.ru/test.html
User-agent: Yandex
Disallow: /test/
Disallow: /test.html
- Запрещает ботам Google посещать папку http://site.ru/test/ и файл http://site.ru/test.html
User-agent: Googlebot
Disallow: /test/
Disallow: /test.html
- Запрещает посещение ботами Google и Апорт http://site.ru/temp/img/
User-agent: Aport
User-agent: Googlebot
Disallow: /temp/img/
- Запрещает всем роботам индексировать сайт в целом
User-agent: *
Disallow: /
Назначение основного зеркала
Для этого используется директива Host. Но она поддерживается только Яндексом.
- разрешено посещение всех страниц и папок на сайте, кроме http://site.ru/test/ основным зеркалом назначено http://site.ru/
User-agent: Yandex
Disallow: /test/
Host: site.ru
- Простое назничение сайта site.ru основным зеркалом текущего сайта
User-agent: Yandex
Host: site.ru
Если если вам понравилась эта статья, вы можете подписаться на материалы моего блога через 
RSS
email
Twitter
ВКонтакте
