На сегодняшний день встречается очень много проектов, в которых необходимо собирать определённую информацию с чужих сайтов. Этот процесс называется "граббингом" или "парсингом". Оставим в стороне вопросы этичности этого процесса, предполагается, что вы знаете, что такое хорошо и что такое плохо, и не будете применять сие знание во вред кому-либо.

В этой статье мы создадим простой парсер на популярном языке PHP.

Заранее извиняюсь перед своими читателями, которые не знакомы с программированием, но специфика SEO зачастую предполагает наличие и программерских навыков. Итак, приступим.

Что будем парсить? В качестве учебного примера предлагаю создать средство для сбора статей широкоизвестного технического журналиста Криса Касперски (популярного автора журнала "Хакер").

Getting started

Статьи Криса расположены по этому адресу: http://www.xakep.ru/post/35410/default.asp. Это и будет нашей отправной точкой. Скачивание страницы для парсинга будем выполнять, используя библиотеку cURL. Итак, инициализируем библиотеку и скачиваем нашу страницу:

$ch = curl_init (); // инициализация
curl_setopt ($ch , CURLOPT_URL , "http://www.xakep.ru/post/35410/default.asp");
curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0"); // каким браузером будем прикидываться
curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 ); // вывод страницы в переменную
$content = curl_exec($ch); // скачиваем страницу
curl_close($ch); // закрываем соединение 
multitoolbox syntax highlighter

Расчленение

В скачанной странице нас интересует ссылки на статьи и названия статей. Открываем код страницы в браузере и видим, что все ссылки и названия подчиняются следующему порядку расположения:

<p>Название статьи<br>
<a href="адрес_статьи">адрес_статьи</a></p>
multitoolbox syntax highlighter

Напишем регулярное выражение, которое будет "выдирать" интересующие нас названия и адреса из кода страницы:

preg_match_all("/
(.*)
\r\n\"(.*)\">.*<\/a><\/p>/isU", $content, $matches, PREG_PATTERN_ORDER); 
multitoolbox syntax highlighter

В рамки этой статьи не входит объяснение необъятной темы регулярных выражений, поэтому отсылаю вас к коротенькому справочнику по ним. Также рекомендую посмотреть информацию о функции preg_match_all для лучшего понимания кода.

Вырезка

Мы подошли к основному циклу программы. В нём мы будем скачивать странички со статьями и вырезать из них интересующую нас информацию.

Просматривая код страницы, можно обнаружить, что текст статьи всегда обрамлён следующими тегами

<hr width="200" size="1" noshade align="left">
..текст статьи..
<center><p><a href="../">Содержание</a>
multitoolbox syntax highlighter

На основе этого закона мы и постоим парсер. Все необходимые поянения даны в комментариях:

for ($i =  0; $i < count($matches[1]); $i++) // цикл по всем извлеченным адресам 
{
    echo "
".$matches[1][$i]."
"; // выводим название статьи как заголово
    flush(); // заставляем вывести текст немедленно
    $ch = curl_init (); // инициализация
    curl_setopt ($ch , CURLOPT_URL , $matches[2][$i]); // ссылка на текущую статью
    curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0 ");
    curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 );
    $content = curl_exec($ch);
    curl_close($ch);
 
    preg_match_all(
"/
\"200\" size=\"1\" noshade align=\"left\">(.*)
\"\.\.\/\">.*<\/a>/isU",
 $content, $matches_art, PREG_PATTERN_ORDER); // выдираем текст статьи
    echo $matches_art[1][ 0]; // выводим её
    flush(); // заставляем вывести текст немедленно
    sleep(2); // отдыхаем две секунды, чтобы не вызвать подозрение у сервера
} 
multitoolbox syntax highlighter

Finish

Ну вот, собственно, и всё! В итоге мы получим ленту статей Криса, без рекламы, оформления сайта и прочих радостей.

Полный код скрипта:

$ch = curl_init ();
curl_setopt ($ch , CURLOPT_URL , "http://www.xakep.ru/post/35410/default.asp");
curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0");
curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 );
$content = curl_exec($ch);
curl_close($ch);
 
preg_match_all("/
(.*)
\r\n\"(.*)\">.*<\/a><\/p>/isU", 
$content, $matches, PREG_PATTERN_ORDER);
 
for ($i =  0; $i < count($matches[1]); $i++)
{
    echo "
".$matches[1][$i]."
";
    flush();
    $ch = curl_init ();
    curl_setopt ($ch , CURLOPT_URL , $matches[2][$i]);
    curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0");
    curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 );
    $content = curl_exec($ch);
    curl_close($ch);
 
    preg_match_all(
"/
\"200\" size=\"1\" noshade align=\"left\">(.*)
\"\.\.\/\">.*<\/a>/isU",
$content, $matches_art, PREG_PATTERN_ORDER);
    echo $matches_art[1][ 0];
    flush();
    sleep(2);
}
multitoolbox syntax highlighter

Если если вам понравилась эта статья, вы можете подписаться на материалы моего блога через RSS или email, а также присоединиться ко мне в Twitter или ВКонтакте.

Ключевые слова от Google Adwords

Как подобрать ключевые слова для продвижения сайта

Пишем инструмент для проверки наличия ссылок

Как найти и исправить битые ссылки на сайте

40 SEO твиплов, которые никогда не надоедают

Акция: бесплатное размещение SEO статей на WestSEO

Где купить постовые для SEO блога

эксперт · 28 февраля 2010 г. · seo  php