FDE Grabber 7.6 - работа с PHP 7!

FDE Grabber доведён до совместимости с новой версией интерпретатора PHP 7

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.6

Новая версия системы импорта новостей доведена до совместимости с PHP 7

FDE Grabber доведён до совместимости с новой версией интерпретатора PHP, читать далее...

FDE Grabber 7.5 - мы экономим ваше время

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.5 В новую версию вошли следующие изменения и дополнения:

Изменена система получения недостающих картинок-иллюстраций для кратких и полных новостей

Теперь в настройках категории источников можно указать отдельно для краткой и отдельно для полной новости - откуда взять недостающую картинку-иллюстрацию: smart_enclosures Например если требуется по максимуму использовать возможности граббера и вы хотите, чтобы он искал картинки-иллюстрации для кратких новостей (в случае их отсутствия) везде где это возможно, то можно выбрать соответствующую опцию "Использовать варианты 1, 2, 3", что будет соответствовать поиску картинок в приложениях к RSS/Atom фиду *, метатегах полной статьи, а также полном содержимом статьи. Аналогично, если требуется, чтобы парсер искал картинки-иллюстрации для полных новостей (в случае их отсутствия) везде где это возможно, то можно выбрать соответствующую опцию "Использовать варианты 1, 2, 3", что будет соответствовать поиску картинок в приложениях к RSS/Atom фиду *, метатегах полной статьи, а также кратком содержимом статьи. * в случае использования HTML источника эта опция игнорируется.

Добавлена возможность массового изменения настроек сайтов

При просмотре списка сайтов в граббере, теперь можно выбрать интересующие и массово изменить их параметры: mass_sites_actionsЭта функция полностью аналогична уже существующим, для таких разделов граббера, как "категории источников", а также "источники". Исправлены недочёты и недоработки прошлых версий системы, оптимизирован функионал.

FDE Grabber 7.5 - мы экономим ваше время, читать далее...

FDE Grabber 7.4 - праздник seo-оптимизатора, возможность тонкой настройки тегов и ключевых слов

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.4 Рассмотрим, что было добавлено в новую версию:

Добавлен раздел для работы с тегами

В системе импорта новостей появился новый раздел для работы с тегами, которые могут сопоставляться с той или иной статьёй. При добавлении тега можно указать его название, ключевые слова, по которым статьи будут сопоставляться с данным тегом, а также возможность использования стеммера (что позволяет не склонять ключевые слова), а также сайт в системе, для которого этот тег будет доступен: tagsТак, если например мы укажем набор ключевых слов:
Ай-Петри, Алупка, Алушта, Армянск, Балаклава, Бахчисарай, Веселое, Гаспра, Гурзуф, Джанкой, Евпатория, Инкерман, Керчь, Клепинино, Коктебель, Кореиз, Красноперекопск, Ленино, Массандра, Мискхор, Нижнегорский, Орджоникидзе, Партенит, Раздольное, Саки, Севастополь, Симеиз, Симферополь, Старый Крым, Судак, Феодосия, Форос, Черноморское, Щёлкино, Ялта, Крым
и озаглавим его под обобщающим тегом "Крым", то данный тег будет сопоставляться со статьями, содержащими данные ключевые слова.

Добавлен раздел для работы с ключевыми словами

Также, в новой версии граббера добавлен модуль, аналогичный разделу для работы с тегами, только ориентированный на работу с ключевыми словами, которые могут указываться в теге meta:
<meta name="keywords" content="Прогноз погоды, погода, метеопрогноз, ...">
keywordsСледует отметить, что возможность указания ключевых слов доступна не для всех CMS/способов публикации, с которыми работает граббер, а лишь некоторых, например компонент для Joomla K2, DataLife Engine и т,д.

При работе с сайтом теперь можно указать способ получения тегов и ключевых слов

Ранее FDE Grabber мог получать теги и ключевые слова, сопоставляющиеся со статьёй только путём разбиения заголовка статьи на слова, например если заголовок статьи выглядел так "В Крыму проведут перепись населения", то ключевые слова/теги, которые он получал выглядели, как "Крыму", "проведут", "перепись", "населения", однако теперь есть возможность задействовать модули для работы с тегами и ключевыми словами и получать их более точно и гибко: sitesТеперь граббер способен получать теги и ключевые слова как из заголовка, так и из подготовленных заранее записей через модули для работы с тегами и ключевыми словами, а также путём комбинирования данных способов.

Исправлены недочёты и недоработки прошлых версий парсера

FDE Grabber 7.4 - праздник seo-оптимизатора, возможность тонкой настройки тегов и ключевых слов, читать далее...

FDE Grabber 7.3 - новые возможности при тестировании настроек

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.3 В новой версии мы добавили возможность при тестировании настроек категорий источников, источников (RSS/Atom, а также HTML источников), а также пинге фидов указывать то, через какой прокси-сервер должны проводиться тесты, а также возможность указать, от имени какого сетевого интерфейса или через какой IP адрес требуется провести тот или иной тест: proxy_and_interfaceТаким образом, если нам необходимо удостовериться, что статья получается через тот или иной прокси-сервер и/или IP адрес, то можно указать их явно во время проведения теста, что несомненно должно стать  весьма удобной и полезной функцией. При проведении визуального теста с показом картинок - они также получаются и показываются с учётом указанных настроек, а также с учётом полученных cookie и заголовков, полностью аналогично тому, как это делает обычный браузер. В настройках категорий источников добавлена возможность получения картинки-иллюстрации из метатегов (в случае полного отсутствия картинок в теле новости): images_by_the_metaТак, если в содержимом полученной статьи не найдено ни одной картинки, то при активации данной опции граббер попытается получить картинку-иллюстрацию из метатегов, вида:

<meta property="og:image" content="http://www.com.com/0063_11.jpg" />
<meta property="twitter:image" content="http://www.com.com/0063_11.jpg" />
<link rel="image_src" type="image/jpeg" href="http://www.com.com/0063_1" />
Следует отметить, что граббер и ранее получал картинки из метатегов, но делал это по умолчанию - теперь же это можно включить или отключить. В новой версии исправлено множество недочётов и недоработок прошлых версий, оптимизирован функционал.  

FDE Grabber 7.3 - новые возможности при тестировании настроек, читать далее...

FDE Grabber 7.2 - новые возможности при составлении шаблонов для парсинга, поддержка новых типов публикации

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.2 Среди новых возможностей и дополнений можно выделить следующие:

  • поддержка новых тегов при составлении шаблонов для парсинга
  • поддержка новой версии популярной российской системы управления сообществами InstantCMS 2.x.

Поддержка новых тегов при составлении шаблонов для парсинга

При составлении шаблонов, как при настройке категорий так и при настройке источников теперь имеется возможность наряду со старым способом указания в шаблоне полезного содержимого сделать это и новым способом. Рассмотрим простой пример. Допустим определённый нами шаблон имеет вид: usual_pattenВидно, что полезное содержимое будет собираться в {description}
Но что, если нам требуется производить захват и обрамляющего тега <div id="pageContent">...</div>?
- специально для таких случаев мы добавили новый способ указания шаблонов с помощью обрамляющих парных тегов, например {x_description}...{/x_description}: extended_patternЗдесь видно, что в полученном с помощью данного шаблона контенте будут содержаться и обрамляющие теги:  <div id="pageContent">...</div> Там, где контент изменяется произвольно и он нам не нужен, мы указали тег {null}

Поддержка новой версии InstantCMS 2.x

При добавлении сайта в граббер теперь можно выбрать несколько типов публикации, связанных с новой версией InstantCMS 2.x: instant_cms_2xxxВ данный момент доступны следующие типы публикации:
  • публикация в блоги
  • публикация в раздел новостей
  • публикация в раздел со статьями
Исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 7.2 - новые возможности при составлении шаблонов для парсинга, поддержка новых типов публикации, читать далее...

FDE Grabber 7.1 - возможность работы с разных IP адресов

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.1 Среди изменений и  дополнений в новой версии можно выделить следующие:

Возможность вести работу с разных IP адресов

Для этого, в настройках системы добавлено указание списка IPv4 адресов или имён сетевых интерфейсов, разделённых через запятую, через которые будет работать граббер (через которые будут производиться внешние запросы к сайтам). ipv4_external_queriesТаким, образом, если ваш сервер имеет несколько выделенных IP адресов, то можно указать их в настройках граббера, и он будет вести запросы через них по очереди.

Возможность указать IP адрес, через который  должна вестись проверка лицензии граббера

В настройках системы импорта новостей теперь имеется возможность указать явно IPv4 адрес или имя сетевого интерфейса через который будет вестись проверка лицензии граббера. ipv4_grabber_licenseЭто может понадобиться, когда ваш сервер имеет несколько выделенных IP адресов/сетевых карт.

Путь к папке с кешем системы импорта новостей вынесен в конфиг

Для более гибкой настройки граббера путь к папке кеша системы импорта новостей теперь можно указать/изменить в параметрах системы. cache_rootЭто важно в тех случаях, когда требуется например указать произвольный путь к папкам, например, если администратор хочет оптимизировать и ускорить работу путём использования RAM дисков (дисков, работающих в оперативной памяти компьютера), что, несомненно может значительно повлиять на производительность. На Unix/Linux системах можно использовать tmpfs, рекомендуемые статьи по теме: Использование tmpfs в MySQL, Using tmpfs for /tmp. На Windows системах можно воспользоваться условно бесплатной программой RAMDisk от компании Dataram (диски объёмом до 4 ГБ создаются в бесплатно).

Добавлена возможность экспорта/импорта настроек сайтов через датафайлы

Данная функция полностью аналогична уже полюбившейся многими пользователями возможности экспорта/импорта, которая есть в настройках источников и настройках категорий источников. sites_export_import

Исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 7.1 - возможность работы с разных IP адресов, читать далее...

FDE Grabber 7.0 - работа со списком юзер-агентов через админцентр, увеличение скорости работы

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия системы импорта новостей FDE Grabber 7.0 Новые функции и возможности:

Добавлена возможность работы через админцентр со списком юзер-агентов, от имени которых граббер обращается к сайтам-источникам .

Для этого в граббере создан отдельный раздел "Юзер-агенты": user_agents_moduleВ данном разделе можно добавить/отредактировать/удалить юзер-агенты, а также изменить их статус. Также доступны функции массового изменения активности и добавления списка юзер-агентов, разделённых через перенос строки.

В разделе "Фейковые пользователи" добавлена возможность импорта списка пользователей, разделённых, через перенос строки:

mass_users_additionТак, для того, чтобы добавить сразу несколько новых пользователей, достаточно указать их имена, через перенос строки:

mass_users_addition_2При редактировании категории источников добавлено указание юзер-агента, от имени которого граббер будет обращаться к сайту-источнику:

user_agentЕсли поле оставить пустым, то граббер случайно выберет один из активных юзер-агентов из раздела "Юзер-агенты" и будет работать от данного имени.

Оптимизирован функционал, увеличена скорость работы, исправлены мелкие недочёты прошлых версий.

FDE Grabber 7.0 - работа со списком юзер-агентов через админцентр, увеличение скорости работы, читать далее...

FDE Grabber 6.9 - Возможность обновлять опубликованные статьи

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и  бесплатного обновления новая версия системы импорта новостей FDE Grabber 6.9 В новой версии добавлена возможность обновления уже опубликованных статей. То есть, если например статья была получена и опубликована, то можно настроить граббер так, чтобы он проверял не обновилась ли она на сайте-источнике и если обновилась, то заново её получать и обновлять. Для этого, в настройках категории источников добавлены две новые опции:

  • Обновлять статьи при обновлении источников
Рассмотрим более подробно эти опции.

Проверка обновления статей при обновлении источников

source_updatesЕсли при обновлении источника, для уже опубликованной статьи, изменился заголовок или краткое содержание, то статья будет считаться изменившейся и граббер попытается её заново получить и обновить. В случае успешного парсинга он её заново опубликует на вашем сайте, но при этом не создаст новую запись, а обновит старую. Все сопутствующие файлы и иллюстрации также обновятся.

Дополнительная проверка обновления статей на изменение полного содержания

full_content_updateЕсли в данный момент нет заданий на получение новых статей, то граббер перейдёт в режим обновления старых (если это требуется). В настройках категории источников указываются дополнительно: "Период обновления, в часах" - это тот промежуток времени, на протяжении которого, с момента после публикации, статья будет обновляться; "" - это тот промежуток времени, через который граббер будет проверять, не обновилась ли данная статья. В данный момент обновление статей работает для следующих типов публикации: DLE (Data Life Engine), NGCMS, WordPress (кроме публикации через протокол XML-RPC), Joomla, а также публикация в компонент K2, E107, Drupal, Danneo, Slaed, InstantCMS, FDE CMS Также, исправлены мелкие недочёты и недоработки прошлых версий.  

FDE Grabber 6.9 - Возможность обновлять опубликованные статьи, читать далее...

FDE Grabber 6.8 - существенное увеличение скорости парсинга, возможность сброса пароля

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия системы импорта новостей FDE Grabber 6.8 Мы проделали большую работу по оптимизации работы системы, с большой гордостью и великим удовлетворением рады представить новую версию, с существенно увеличенной скоростью парсинга контента и сниженной нагрузкой на сервер. В среднем, на небольших новостях прирост в скорости составляет 1.5-2 раза, на больших - от 2 до 3 раз. Добавлен модуль для сброса забытого пароля: account_recoveryПроцесс сброса пароля состоит из двух этапов:

  • заполнение формы с указанием логина или e-mail адреса, отправка письма на связанный с аккаунтом электронный адрес для подтверждения операции;
  • переход по ссылке, пришедшей в письме на связанный с аккаунтом e-mail и сброс пароля;
Для повышения безопасности и исключения брутфорса пароля, добавлена возможность логина в админцентр граббера, с указанием каптчи. Для активации или отключения показа каптчи при логине следует зайти в настройки граббера, во вкладку "Основные настройки" и отметить или снять галочку "Использовать каптчу при логине": use_captcha_1 При включении режима показа каптчи при логине страница авторизации может выглядеть следующим образом: use_captcha_2Исправлено множество мелких недочётов и недоработок.

FDE Grabber 6.8 - существенное увеличение скорости парсинга, возможность сброса пароля, читать далее...

FDE Grabber 6.7 - лучшая производительность, большая стабильность

Дорогие друзья, с радостью сообщаем о выходе новой версии системы импорта новостей FDE Grabber 6.7 Новый функционал и изменения: В настройках системы (настройки->вкладка "граббинг") добавлена опция "Мягкое обновление источников". При её активации система будет пытаться, по возможности, обновлять источники, так, чтобы предотвратить последовательное (подряд) обращение к одному и тому же хосту сайта источника. Данная опция по умолчанию активирована и рекомендуется к дальнейшему применению: softy_feeds_recievingТакже, в настройках, добавлена новая опция "Получать следующий источник только после окончания обхода пейджера у предыдущего". При её активации, в случае, если в граббере, например, имеется источник, в котором включен обход пейджера (или обход по параметру), то он будут обновляться до тех пор, пока не будет полностью завершён обход пейджера, далее граббер перейдёт к обновлению следующего источника и т.д. В случае, если данную опцию, напротив, отключить, то граббер будет обновлять источники по очереди, и обновление следующего источника произойдёт не по окончанию обхода пейджера предыдущего источника, а лишь по окончанию единичной итерации: hard_paginationДобавлен функционал блокировки кронтабов граббера, с защитой от одновременного запуска, с помощью lock-файлов. Активировать использование блокировочных файлов можно в настройках системы (настройки->вкладка "граббинг"), с помощью опции: "Использовать блокировочные lock-файлы". В дальнейшем, рекомендуется использовать данный функционал: crontab_lock_filesВ настройках категории источников добавлена опция (рекомендуемая к использованию и включенная по умолчанию): "". При её активации граббер будет пытаться перед парсингом контента устранять ошибки, допущенные редактором сайта-источника: correct_tagsПри выводе списка полученных статей добавлено выделение цветом, соответствующее категориям источников граббера: colorizeИсправлены мелкие недочёты и недоработки прошлых версий.

FDE Grabber 6.7 - лучшая производительность, большая стабильность, читать далее...

FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом

Дорогие друзья, извещаем о том, что доступна для покупки и обновлений новая версия системы импорта новостей FDE Grabber 6.6 Среди новшеств и изменений можно выделить следующие:

Возможность указывать обычные замены, а также замены регулярными выражениями, которые будут применяться рекурсивно, до тех пор, пока не будет найдено соответствие

Теперь в граббере имеется возможность использовать замены регулярными выражениями, а также обычные замены рекурсивно, например если требуется изменить содержимое страницы так, чтобы все картинки были вынесены за пределы таблиц, то можно воспользоваться несложной рекурсивной заменой: #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is  на \2\1\3 Ранее это сделать можно было лишь с помощью специального хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).

recursive_preg_replaceВозможность в текстовых заменах, а также заменах регулярными выражениями игнорировать в сравнениях пробельные символы

Теперь не обязательно заботиться о том, чтобы в ваших заменах были соблюдены пробелы  и переносы строк - можно просто отметить галочку "не учитывать пробельные символы":

space_ignoreВозможность выделения категорий и групп источников цветом

Для этого, в настройках категории источников добавлена соответствующая настройка "": colorize Если выделение цветом используется, то списки категорий источников, а также источников могут выглядеть так: colorize2

Возможность группировки источников по категориям

Теперь при просмотре списков источников, для удобства восприятия, можно перегруппировать записи по категориям group_by_сategories

Исправлены недочёты и недоработки прошлых версий

FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом, читать далее...

FDE Grabber 6.5 - встроенный proxy checker и интерфейс для работы с прокси-серверами

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.5 Изменения и дополнения, вошедшие в новый релиз:

Добавлен web-интерфейс для работы с прокси-серверами

proxy_servers_interfaceИнтерфейс позволяет добавлять новые прокси сервера, редактировать, удалять, изменять их активность, а также имеется возможность массового добавления списка proxy-серверов:

add_new_proxy_server

добавление нового прокси-сервера

edit_proxy_serverредактирование прокси-сервера

mass_proxy_servers_additionмассовое добавление списка прокси-серверов

Добавлен (proxy-checker) прокси-чекер

Проверка прокси-серверов на доступность происходит непосредственно при граббинге (при работе кронтабов граббера). Так, если прокси-сервер окажется недоступным, то система его автоматически сделает неактивным. Для того, чтобы активировать эту функцию, потребуется зайти в настройки системы импорта новостей (вкладка "граббинг") и отметить галочку "Автоматически отключать прокси-сервер, если размер полученного через него контента при запуске кронтабов будет равен нулю": proxy_checker

Добавлены новые события, отвечающие за показ сообщений о доступности или недоступности прокси-серверов, а также исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 6.5 - встроенный proxy checker и интерфейс для работы с прокси-серверами, читать далее...

Разделы сайта

Форум web-разработчиков

Последние записи