Онлайн-генераторы Robots.txt

Проблема создания файла Robots.txt встает рано или поздно перед каждым веб-мастером. Разбираться в синтаксисе и писать этот файл вручную — не очень интересное занятие, тем более что всегда есть риск ошибки, которая может привести к серьезным последствиям (например, сайт может просто перестать индексироваться каким-либо поисковиком).

Поэтому возникает вполне резонное желание как-то оптимизировать этот процесс. В этой статье вашему вниманию предлагаются несколько генераторов файла Robots.txt.

Генератор от Multitoolbox.com

Для начала хочу представить вам мою собственную разработку. Удобный конфигуратор, наличие русскоязычных поисковиков, генерация файла robots.txt "на лету" — примерно так можно описать этот генератор.

Ссылка на генератор.

Генератор от 4seo.biz

Один из сервисов сайта-инструментария 4seo.biz. Помимо основных функции, поддерживает следующие опции:

• Crawl-delay (задержка индексирования в секундах);
• Запрет для картиночных ботов;
• Запреты программ скачивания сайтов;
• Указание главного сайта для Яндекса.

Ссылка на генератор.

Генератор от seochat.com

Крайне простой генератор с очень ограниченными возможностями: разрешение к индексации только определенному поисковику, либо всем сразу и исключение указанных URL.

Ссылка на генератор.

Генератор от mcanerin.com

Мощный генератор с возможностью настройки доступа индивидуально для каждого из поисковых систем. Также можно настраивать и доступ для поисковиков изображений. К сожалению, доступны лишь западные поисковики, всеми любимого Яндекса там нет.

Ссылка на генератор.

Генератор от raskruty.ru

Организован довольно просто, но управление слегка нестандартно — при выборе поисковика из списка, он немедленно вставляется в форму. Впрочем, это можно стерпеть, учитывая, что этот генератор имеет поддержку Яндекс.

Набор функций бедноват — доступны только опции запрета индексации.

Ссылка на генератор.

Заключение

К сожалению, идеального генератора robots.txt мне найти не удалось. Больше всех понравился образец от mcanerin.com, но и он поддерживает не все опции, которые хотелось бы. Прямо хоть садись и пиши свой Уже написал.

Тем не менее, даже эти сервисы способны значительно облегчить процесс создания файла robots.txt и уберечь от ряда критических ошибок.

Если если вам понравилась эта статья, вы можете подписаться на материалы моего блога через RSS или email, а также присоединиться ко мне в Twitter или ВКонтакте.

Ключевые слова от Google Adwords

Как подобрать ключевые слова для продвижения сайта

Как найти и исправить битые ссылки на сайте

40 SEO твиплов, которые никогда не надоедают

Акция: бесплатное размещение SEO статей на WestSEO

Где купить постовые для SEO блога

Важнейшие факторы поисковой оптимизации

средняя · 23 октября 2009 г. · seo  robots.txt