Проблема создания файла Robots.txt встает рано или поздно перед каждым веб-мастером. Разбираться в синтаксисе и писать этот файл вручную — не очень интересное занятие, тем более что всегда есть риск ошибки, которая может привести к серьезным последствиям (например, сайт может просто перестать индексироваться каким-либо поисковиком).
Поэтому возникает вполне резонное желание как-то оптимизировать этот процесс. В этой статье вашему вниманию предлагаются несколько генераторов файла Robots.txt.
подробнее…
23 октября 2009 г. ·
