Проблема создания файла Robots.txt встает рано или поздно перед каждым веб-мастером. Разбираться в синтаксисе и писать этот файл вручную — не очень интересное занятие, тем более что всегда есть риск ошибки, которая может привести к серьезным последствиям (например, сайт может просто перестать индексироваться каким-либо поисковиком).
Поэтому возникает вполне резонное желание как-то оптимизировать этот процесс. В этой статье вашему вниманию предлагаются несколько генераторов файла Robots.txt.
Генератор от Multitoolbox.com
Для начала хочу представить вам мою собственную разработку. Удобный конфигуратор, наличие русскоязычных поисковиков, генерация файла robots.txt "на лету" — примерно так можно описать этот генератор.
Генератор от 4seo.biz

Один из сервисов сайта-инструментария 4seo.biz. Помимо основных функции, поддерживает следующие опции:
- Crawl-delay (задержка индексирования в секундах);
- Запрет для картиночных ботов;
- Запреты программ скачивания сайтов;
- Указание главного сайта для Яндекса.
Генератор от seochat.com

Крайне простой генератор с очень ограниченными возможностями: разрешение к индексации только определенному поисковику, либо всем сразу и исключение указанных URL.
Генератор от mcanerin.com

Мощный генератор с возможностью настройки доступа индивидуально для каждого из поисковых систем. Также можно настраивать и доступ для поисковиков изображений. К сожалению, доступны лишь западные поисковики, всеми любимого Яндекса там нет.
Генератор от raskruty.ru

Организован довольно просто, но управление слегка нестандартно — при выборе поисковика из списка, он немедленно вставляется в форму. Впрочем, это можно стерпеть, учитывая, что этот генератор имеет поддержку Яндекс.
Набор функций бедноват — доступны только опции запрета индексации.
Заключение
К сожалению, идеального генератора robots.txt мне найти не удалось. Больше всех понравился образец от mcanerin.com, но и он поддерживает не все опции, которые хотелось бы. Прямо хоть садись и пиши свой Уже написал.
Тем не менее, даже эти сервисы способны значительно облегчить процесс создания файла robots.txt и уберечь от ряда критических ошибок.
Если если вам понравилась эта статья, вы можете подписаться на материалы моего блога через
RSS
email
Twitter
ВКонтакте
средняя ·
23 октября 2009 г. ·
seo
robots.txt














