Рады сообщить, что подходит к завершению работа над новой системой лицензирования системы импорта статей FDE Grabber, которая вступит в силу с новой версии FDE Grabber 4.0

Поэтому, в ближайшее время вы сможете приобрести/обновиться до версии FDE Grabber 4.0

Новая система лицензирования предусматривает проверку лицензий через наш сервер, а также ограничение на запуск системы импорта новостей с 10 IP адресов в рамках одной лицензии. Список IP адресов вы сможете скорректировать в личном кабинете на нашем сайте; Ограничений на запуск по доменам по прежнему не будет

Суть заключается в том, что теперь граббер при получении контента проверяет код http заголовка и при наличии редиректов обходит их сам, не прибегая к CURL опции CURLOPT_FOLLOWLOCATION

Примечательно, что нам удалось сделать обход редиректов при включенной опции open_basedir не только при получении контента, но и картинок

Проблему можно решить зайдя в DirectAdmin-панель в качестве администратора (Admin Level)

Далее находим раздел “PHP Safemode Configuration” и устанавливаем в нужные позиции значения PHP Safemode и open_basedir для нужного домена

Для вступления изменений в силу требуется перезагрузить Apache

Проблема в том, что разработчики ISPmanager, при запуске интерпретатора PHP как модуля Apache добавляют PHP параметр open_basedir, в результате чего граббер не будет полноценно обходить редиректы при граббинге.

Проблему можно решить в ISPmanager переключением запуска PHP как CGI.

При этом, open_basedir будет отключён и система импорта новостей FDE Grabber будет работать полноценно.

Модерация статей перед публикацией

если выбрать “ДА”, то получаемые статьи граббером будут складываться в Вашу CMS со статусом “требует модерации” и не будут появляться до тех пор на сайте, пока их не включить в админке CMS.

При этом можно проводить качественный, причём довольно комфортный рерайт статьи, а потом лиш её публиковать.

Итак, допустим мы определились с тем, что хотим грабить с сайта http://warezed.ru/

Что мы должны сделать в самом начале?

В начале мы должны перейти по одному из адресов полных статей, допустим: http://warezed.ru/news/12604-V_Katare_otkrylsya_21_iy_sammit_LAG.html

И заглянуть в HTML код статьи.

В категории источников системы импорта новостей FDE Grabber указываются настройки, согласно которым будет обрабатываться получаемый контент (содержимое).

Пожалуй самой значимой из настроек категории является настройка шаблона для парсинга.

Согласно данному шаблону будет после получения содержимого статьи (текста) производиться парсинг и извлечение полезного контента статьи.

В парсере FDE Grabber имеется возможность указать шаблон для двумя способами:

1. с помощью регулярного выражения (требуется знание регулярных выражений)
2. указать простой шаблон без регулярных выражений (обычно это наиболее оптимальный вариант указания шаблона. Поэтому рассмотрим только его)

допустим, что мы заглянули в HTML код каждой страницы со статьёй и увидели некоторую закономерность, а именно, шаблонность:

1-я статья:

http://warezed.ru/show_buisness/9276.html

код:

...<div class="w_content">
<div id='news-id-9276'>В IX международном фестивале балета "Мариинский" примут участие ...
</div>
</div>
</td></tr><tr><td>&nbsp;</td></tr></table>...

10-я статья:

http://warezed.ru/economic/9275.html

код:

...<div class="w_content">
<div id='news-id-9275'>Министры считают необходимой скорейшую активизацию новой модели...
</div>
</div>
</td></tr><tr><td>&nbsp;</td></tr></table>...

Исходя из приведённых данных можно заметить шаблонную структуру:

<div class="w_content">
<div id='news-id-{null}'>{description}</div>
</div></td></tr><tr><td>&nbsp;</td></tr></table>

Где {null} – это произвольно изменяющееся ненужное нам содержимое, а {description} – это как раз нужный нам контент.  Собственно, это и есть простой шаблон для категории граббера

Проверить правильность настройки шаблона категории можно в разделе “Тест категории”. Для этого требуется просто выбрать из списка нужную категорию для проведения теста, и указать адрес статьи, на которой будет проводиться тест, например http://warezed.ru/show_buisness/9276.html

Всё, категорию мы добавили, что дальше?

Когда мы добавили категорию с шаблоном для парсинга полезного контента – мы можем переходить к добавлению источника.

Источники могут быть трёх типов:

1. RSS источники, в данном случае списки статей будут импортироваться из RSS фидов, которые вещает сайт, с которого планируется получать контент
2. Atom источники, в данном случае списки статей будут импортироваться из Atom фидов, которые вещает сайт, с которого планируется получать контент
3. HTML источники, в данном случае списки статей будут импортироваться из обычных HTML страниц, на которых имеется список новостей

Для того чтобы получать полное содержимое статей, граббер должен из полученного списка новостей переходить по каждому адресу и парсить страницу.

Для того, чтобы получить лишь часть страницы, необходимо указать границы получения полезного контента. Они задаются, с помощью регулярных выражений.

Для того, чтобы не было проблем с кодировкой полученных статей, указывайте её явно. Для того, чтобы наша система правильно переводила одну кодировку в другую, необходимо, чтобы на вашем сервере была доступна библиотека iconv.
Список кодировок, для указания явно можно пополнять по своему усмотрению в файле ROOT/inc/charsets_list.php
Для того, чтобы просмотреть список доступных кодировок в UNIX доступна команда iconv -l
Библиотека iconv может быть доступна как системная и/или как модуль для PHP.
Если перекодирование работает при ручном тесте, но не работает из CRON, то кроновские скрипты граббера придётся запускать через wget

Для того, чтобы граббер логинился на сайт, и мог, например, читать скрытый текст, можно указать POST параметры для логина.
Пример: http://www.some-site.ru/index.php?username=ineedwarez&password=ineedwarez
Здесь параметры делятся на 2 части:

1. http://www.some-site.ru/index.php – адрес страницы, на которой будет производиться логин на сайт
2. username=ineedwarez&password=ineedwarez – непосредственно POST параметры

Рассмотрим RSS/Atom источник

Как можно импортировать контент с RSS или Atom источников? Каков прицип работы?

В двух словах имеем вот что:

имеется постоянно обновляющийся список новостей (feed, фид) в котором, обычно есть следующая информация по каждой статье (обычно в фиде представлены 10-20 последних статей):

1. адрес статьи
2. название статьи
3. краткое описание
4. дата

этого нам достаточно, чтобы добавить задание для граббинга с подобного RSS/Atom источника.

При добавлении источника нужно указать адрес RSS/Atom фида и связанную с ним категорию CMS (ранее мы добавили категорию, теперь при добавлении нашего источника просто выбираем её из списка), куда будут помещаться полученные новости, а также категорию граббера, согласно которой будет происходить парсинг полного содержимого статей по заданному шаблону.

Проверить, что получает граббер с определённого RSS/Atom источника можно в разделе “Пинг RSS/Atom источника”

HTML список новостей (HTML источник)

Только что мы с вами рассмотрели импорт новостей с RSS/Atom источников. Пришло время познакомиться с граббингом с HTML источников.

Но перед этим нам нужно выяснить, что же такое HTML источник.

Для граббера FDE Grabber источник – это просто обновляющийся список новостей, в котором можно выявить следующие данные по каждой статье:

1. адрес конечной статьи
2. название
3. краткое описание
4. возможно, некоторые другие дополнительные данные

Очевидно, что HTML источник – это тот же RSS или Atom фид, только с нестандартным шаблоном парсинга. Поэтому, при использовании HTML источника нам придётся указывать шаблон для его парсинга.

HTML шаблон для HTML источника выявляется совершенно аналогично описанному способу выявления шаблона для категории, за тем лишь исключением, что теперь у нас имеется больше переменных:

{date} – дата; {name} – название; {link} – адрес к полному описанию статьи; {description} – краткое описание; {category} – категория публикации; {null} – ненужный контент;

Проверить правильность указания шаблона для парсинга HTML источника можно в разделе “Тест HTML источника”
Хорошо, добавили источник, а дальше то что?

Дальше запускаем процесс граббинга

Пейджер происходит от английского слова page и означает нумерацию страниц в виде ссылок:

back  1  2  3  …  100 forward

Да – пейджер, это просто общее название разбиения на страницы большого списка новостей.

Очевидно, что каждая страница пейджера является для граббера HTML источником

Предположим, что адреса страниц в пейджере выглядят примерно так:

http://fdstar.com/page/1/

http://fdstar.com/page/2/

http://fdstar.com/page/3/

…

http://fdstar.com/page/100/

Тогда можно выявить некоторую закономерность и написать шаблон:

http://fdstar.com/page/{page}/

Для задействованиея этой функции в парсере новостей FDE Grabber требуется вместо обычного адреса HTML списка новостей указать шаблон вида http://fdstar.com/page/{page}/

И указать диапазон значений, который будет принимать переменная  {page}. Также можно указать как положительное приращение, так и отрицательное для переменной {page}. В случае положительного приращения обход будет идти так: 1  2  3  … 100. Ну а в случае отрицательного: 100  99  98  …  1

Но вот что делать, если Вы пока не готовы использовать выделенный или виртуальный сервер, но всё-же хотите полноценно работать с граббером?

- для этого просто нужно подобрать подходящий виртуальный хостинг.

Мы подготовили небольшой список хостинг-провайдеров, на которых была успешно испытана система парсинга новостей FDE Grabber:

http://peterhost.ru/

http://agava.ru/

http://masterhost.ru/

данный список будет, со временем пополняться, и вы можете в этом нам помочь

cron — демон-планировщик задач в UNIX-образных операционных системах, использующийся для периодического выполнения заданий в заданное время.

Подробнее о нём можно узнать здесь: http://ru.wikipedia.org/wiki/Cron

В парсере новостей FDE Grabber имеется 3 этапа импорта статей:

1. кроновский скрипт путь_к_грабберу/crontab_feeds.php определяет один из доступных источников получения статей (RSS/Atom/HTML источник) и обновляет его.
   Если, при этом, имеются новые статьи (уникальность статьи определяется по названию), то статьи будут добавлены в качестве задания для получения
   По мере запуска данного кроновского скрипта, источники обновляются по кругу
   Каждому запуску скрипта соответствует одно обновление одного из доступных источников
2. кроновский скрипт путь_к_грабберу/crontab_articles.php смотрит на задания для получения статей и получает статью.
   Одному запуску данного скрипта соответствует одно получение статьи
3. кроновский скрипт путь_к_грабберу/fde_grabber_3/crontab_publicate.php публикует полученные статьи в вашу CMS

наиболее оптимальными режимами обновления кроновских скриптом системы наполнения сайтов FDE Grabber являются такие:

crontab_feeds.php – обновляем каждые 5 минут

crontab_articles.php – обновляем каждые 2 минуты

crontab_publicate.php – обновляем каждые 4 минуты

Перед тем, как добавлять задания для запуска кроновских скриптов, нам потребуется выяснить путь к PHP интерпретатору на сервере.

Узнать этот путь можно несколькими способами:

1. посмотреть расположение файлов на диске, скорее всего потребуются права администратора сервера
2. пойти на поклон к хостеру и спросить
3. если имеется доступ через SSH – выполнить в командной строке: whereis php
4. выполнить один из следующих скриптов:

<?php echo `whereis php`; ?>

<?php echo exec(’whereis php’); ?>

<?php echo system(’whereis php’); ?>

Предположим, что мы выяснили путь к PHP интерпретатору на нашем сервере, и он выглядит так: /usr/bin/php

Тогда, задания для запуска скриптов будут выглядеть так:

*/5 * * * * /usr/bin/php путь_к_грабберу/crontab_feeds.php > /dev/null 2>&1
*/2  * * * * /usr/bin/php путь_к_грабберу/crontab_articles.php > /dev/null 2>&1
*/4 * * * * /usr/bin/php путь_к_грабберу/crontab_publicate.php > /dev/null 2>&1

Но эта функция в парсере новостей FDE Grabber оказалась как нельзя кстати. Дело в том, что многие люди хотят получить из своего сайта некое подобие новостного портала.

В новостных сайтах список кратких новостей обычно включает иллюстрации совершенно одинаковых размеров. Пример такого сайта: http://warezed.ru/

Мы видим, что все картинки обрезаны до определённого размера. Так вот, операция обрезки изображения называется кроппингом.

И если вы тоже хотите задействовать в своём граббере эту функцию, то следуйте приведённым ниже инструкциям.

Чтобы включить данную опцию в граббере, нужно перейти в раздел категорий и выбрать интересующую категорию. Среди настроек выбранной категории имеются:

“Что делать с картинками” - разумеется нам придётся сохранять картинки на сервер, поэтому указываем “сохранять картинки на сервер”

“Что делать с картинками больших размеров”

-  здесь есть, на самом деле, два варианта для кроппинга. Один из них: “Уменьшать, обрезая до заданных размеров и делать ссылку на большую картинку”, а другой: “Уменьшать физически картинку, обрезая до заданных размеров”

Также, нам потребуется указать размеры под которые будет производиться обрезка:

Максимальная ширина картинки и Максимальная высота картинки