• 25Авг

    Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.5

    В новую версию вошли следующие изменения и дополнения:

    Изменена система получения недостающих картинок-иллюстраций для кратких и полных новостей

    Теперь в настройках категории источников можно указать отдельно для краткой и отдельно для полной новости — откуда взять недостающую картинку-иллюстрацию:

    smart_enclosures

    Например если требуется по максимуму использовать возможности граббера и вы хотите, чтобы он искал картинки-иллюстрации для кратких новостей (в случае их отсутствия) везде где это возможно, то можно выбрать соответствующую опцию «Использовать варианты 1, 2, 3«, что будет соответствовать поиску картинок в приложениях к RSS/Atom фиду *, метатегах полной статьи, а также полном содержимом статьи. Аналогично, если требуется, чтобы парсер искал картинки-иллюстрации для полных новостей (в случае их отсутствия) везде где это возможно, то можно выбрать соответствующую опцию «Использовать варианты 1, 2, 3«, что будет соответствовать поиску картинок в приложениях к RSS/Atom фиду *, метатегах полной статьи, а также кратком содержимом статьи.

    * в случае использования HTML источника эта опция игнорируется.

    Добавлена возможность массового изменения настроек сайтов

    При просмотре списка сайтов в граббере, теперь можно выбрать интересующие и массово изменить их параметры:

    mass_sites_actionsЭта функция полностью аналогична уже существующим, для таких разделов граббера, как «категории источников«, а также «источники«.

    Исправлены недочёты и недоработки прошлых версий системы, оптимизирован функионал.

    Метки: ,

  • 17Июл

    Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.4

    Рассмотрим, что было добавлено в новую версию:

    Добавлен раздел для работы с тегами

    В системе импорта новостей появился новый раздел для работы с тегами, которые могут сопоставляться с той или иной статьёй. При добавлении тега можно указать его название, ключевые слова, по которым статьи будут сопоставляться с данным тегом, а также возможность использования стеммера (что позволяет не склонять ключевые слова), а также сайт в системе, для которого этот тег будет доступен:

    tagsТак, если например мы укажем набор ключевых слов:

    Ай-Петри, Алупка, Алушта, Армянск, Балаклава, Бахчисарай, Веселое, Гаспра, Гурзуф, Джанкой, Евпатория, Инкерман, Керчь, Клепинино, Коктебель, Кореиз, Красноперекопск, Ленино, Массандра, Мискхор, Нижнегорский, Орджоникидзе, Партенит, Раздольное, Саки, Севастополь, Симеиз, Симферополь, Старый Крым, Судак, Феодосия, Форос, Черноморское, Щёлкино, Ялта, Крым

    и озаглавим его под обобщающим тегом «Крым», то данный тег будет сопоставляться со статьями, содержащими данные ключевые слова.

    Добавлен раздел для работы с ключевыми словами

    Также, в новой версии граббера добавлен модуль, аналогичный разделу для работы с тегами, только ориентированный на работу с ключевыми словами, которые могут указываться в теге meta:

    <meta name=»keywords» content=»Прогноз погоды, погода, метеопрогноз, …»>

    keywordsСледует отметить, что возможность указания ключевых слов доступна не для всех CMS/способов публикации, с которыми работает граббер, а лишь некоторых, например компонент для Joomla K2, DataLife Engine и т,д.

    При работе с сайтом теперь можно указать способ получения тегов и ключевых слов

    Ранее FDE Grabber мог получать теги и ключевые слова, сопоставляющиеся со статьёй только путём разбиения заголовка статьи на слова, например если заголовок статьи выглядел так «В Крыму проведут перепись населения«, то ключевые слова/теги, которые он получал выглядели, как «Крыму«, «проведут«, «перепись«, «населения«, однако теперь есть возможность задействовать модули для работы с тегами и ключевыми словами и получать их более точно и гибко:

    sitesТеперь граббер способен получать теги и ключевые слова как из заголовка, так и из подготовленных заранее записей через модули для работы с тегами и ключевыми словами, а также путём комбинирования данных способов.

    Исправлены недочёты и недоработки прошлых версий парсера

    Метки: , ,

  • 23Июн

    Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.3

    В новой версии мы добавили возможность при тестировании настроек категорий источников, источников (RSS/Atom, а также HTML источников), а также пинге фидов указывать то, через какой прокси-сервер должны проводиться тесты, а также возможность указать, от имени какого сетевого интерфейса или через какой IP адрес требуется провести тот или иной тест:

    proxy_and_interfaceТаким образом, если нам необходимо удостовериться, что статья получается через тот или иной прокси-сервер и/или IP адрес, то можно указать их явно во время проведения теста, что несомненно должно стать  весьма удобной и полезной функцией.

    При проведении визуального теста с показом картинок — они также получаются и показываются с учётом указанных настроек, а также с учётом полученных cookie и заголовков, полностью аналогично тому, как это делает обычный браузер.

    В настройках категорий источников добавлена возможность получения картинки-иллюстрации из метатегов (в случае полного отсутствия картинок в теле новости):

    images_by_the_metaТак, если в содержимом полученной статьи не найдено ни одной картинки, то при активации данной опции граббер попытается получить картинку-иллюстрацию из метатегов, вида:

    <meta property="og:image" content="http://www.com.com/0063_11.jpg" />
    <meta property="twitter:image" content="http://www.com.com/0063_11.jpg" />
    
    <link rel="image_src" type="image/jpeg" href="http://www.com.com/0063_1" />

    Следует отметить, что граббер и ранее получал картинки из метатегов, но делал это по умолчанию — теперь же это можно включить или отключить.

    В новой версии исправлено множество недочётов и недоработок прошлых версий, оптимизирован функционал.

     

    Метки: ,

  • 27Май

    Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.2

    Среди новых возможностей и дополнений можно выделить следующие:

    • поддержка новых тегов при составлении шаблонов для парсинга
    • поддержка новой версии популярной российской системы управления сообществами InstantCMS 2.x.

    Поддержка новых тегов при составлении шаблонов для парсинга

    При составлении шаблонов, как при настройке категорий так и при настройке источников теперь имеется возможность наряду со старым способом указания в шаблоне полезного содержимого сделать это и новым способом.

    Рассмотрим простой пример. Допустим определённый нами шаблон имеет вид:

    usual_pattenВидно, что полезное содержимое будет собираться в {description}

    Но что, если нам требуется производить захват и обрамляющего тега <div id=»pageContent»>…</div>?

    — специально для таких случаев мы добавили новый способ указания шаблонов с помощью обрамляющих парных тегов, например {x_description}…{/x_description}:

    extended_patternЗдесь видно, что в полученном с помощью данного шаблона контенте будут содержаться и обрамляющие теги:  <div id=»pageContent»>…</div>

    Там, где контент изменяется произвольно и он нам не нужен, мы указали тег {null}

    Поддержка новой версии InstantCMS 2.x

    При добавлении сайта в граббер теперь можно выбрать несколько типов публикации, связанных с новой версией InstantCMS 2.x:

    instant_cms_2xxxВ данный момент доступны следующие типы публикации:

    • публикация в блоги
    • публикация в раздел новостей
    • публикация в раздел со статьями

    Исправлены мелкие недочёты и недоработки прошлых версий

    Метки: , ,

  • 25Апр

    Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.1

    Среди изменений и  дополнений в новой версии можно выделить следующие:

    Возможность вести работу с разных IP адресов

    Для этого, в настройках системы добавлено указание списка IPv4 адресов или имён сетевых интерфейсов, разделённых через запятую, через которые будет работать граббер (через которые будут производиться внешние запросы к сайтам).

    ipv4_external_queriesТаким, образом, если ваш сервер имеет несколько выделенных IP адресов, то можно указать их в настройках граббера, и он будет вести запросы через них по очереди.

    Возможность указать IP адрес, через который  должна вестись проверка лицензии граббера

    В настройках системы импорта новостей теперь имеется возможность указать явно IPv4 адрес или имя сетевого интерфейса через который будет вестись проверка лицензии граббера.

    ipv4_grabber_licenseЭто может понадобиться, когда ваш сервер имеет несколько выделенных IP адресов/сетевых карт.

    Путь к папке с кешем системы импорта новостей вынесен в конфиг

    Для более гибкой настройки граббера путь к папке кеша системы импорта новостей теперь можно указать/изменить в параметрах системы.

    cache_rootЭто важно в тех случаях, когда требуется например указать произвольный путь к папкам, например, если администратор хочет оптимизировать и ускорить работу путём использования RAM дисков (дисков, работающих в оперативной памяти компьютера), что, несомненно может значительно повлиять на производительность. На Unix/Linux системах можно использовать tmpfs, рекомендуемые статьи по теме: Использование tmpfs в MySQL, Using tmpfs for /tmp. На Windows системах можно воспользоваться условно бесплатной программой RAMDisk от компании Dataram (диски объёмом до 4 ГБ создаются в бесплатно).

    Добавлена возможность экспорта/импорта настроек сайтов через датафайлы

    Данная функция полностью аналогична уже полюбившейся многими пользователями возможности экспорта/импорта, которая есть в настройках источников и настройках категорий источников.

    sites_export_import

    Исправлены мелкие недочёты и недоработки прошлых версий

    Метки: , ,

  • 17Мар

    Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия системы импорта новостей FDE Grabber 7.0

    Новые функции и возможности:

    Добавлена возможность работы через админцентр со списком юзер-агентов, от имени которых граббер обращается к сайтам-источникам .

    Для этого в граббере создан отдельный раздел «Юзер-агенты«:

    user_agents_moduleВ данном разделе можно добавить/отредактировать/удалить юзер-агенты, а также изменить их статус. Также доступны функции массового изменения активности и добавления списка юзер-агентов, разделённых через перенос строки.

    В разделе «Фейковые пользователи» добавлена возможность импорта списка пользователей, разделённых, через перенос строки:

    mass_users_additionТак, для того, чтобы добавить сразу несколько новых пользователей, достаточно указать их имена, через перенос строки:

    mass_users_addition_2При редактировании категории источников добавлено указание юзер-агента, от имени которого граббер будет обращаться к сайту-источнику:

    user_agentЕсли поле оставить пустым, то граббер случайно выберет один из активных юзер-агентов из раздела «Юзер-агенты» и будет работать от данного имени.

    Оптимизирован функционал, увеличена скорость работы, исправлены мелкие недочёты прошлых версий.

    Метки: ,

  • 21Фев

    Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и  бесплатного обновления новая версия системы импорта новостей FDE Grabber 6.9

    В новой версии добавлена возможность обновления уже опубликованных статей. То есть, если например статья была получена и опубликована, то можно настроить граббер так, чтобы он проверял не обновилась ли она на сайте-источнике и если обновилась, то заново её получать и обновлять.

    Для этого, в настройках категории источников добавлены две новые опции:

    • Обновлять статьи при обновлении источников

    Рассмотрим более подробно эти опции.

    Проверка обновления статей при обновлении источников

    source_updatesЕсли при обновлении источника, для уже опубликованной статьи, изменился заголовок или краткое содержание, то статья будет считаться изменившейся и граббер попытается её заново получить и обновить. В случае успешного парсинга он её заново опубликует на вашем сайте, но при этом не создаст новую запись, а обновит старую. Все сопутствующие файлы и иллюстрации также обновятся.

    Дополнительная проверка обновления статей на изменение полного содержания

    full_content_updateЕсли в данный момент нет заданий на получение новых статей, то граббер перейдёт в режим обновления старых (если это требуется). В настройках категории источников указываются дополнительно: «Период обновления, в часах» — это тот промежуток времени, на протяжении которого, с момента после публикации, статья будет обновляться; «» — это тот промежуток времени, через который граббер будет проверять, не обновилась ли данная статья.

    В данный момент обновление статей работает для следующих типов публикации: DLE (Data Life Engine), NGCMS, WordPress (кроме публикации через протокол XML-RPC), Joomla, а также публикация в компонент K2, E107, Drupal, Danneo, Slaed, InstantCMS, FDE CMS

    Также, исправлены мелкие недочёты и недоработки прошлых версий.

     

    Метки: , ,

  • 13Янв

    Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия системы импорта новостей FDE Grabber 6.8

    Мы проделали большую работу по оптимизации работы системы, с большой гордостью и великим удовлетворением рады представить новую версию, с существенно увеличенной скоростью парсинга контента и сниженной нагрузкой на сервер. В среднем, на небольших новостях прирост в скорости составляет 1.5-2 раза, на больших — от 2 до 3 раз.

    Добавлен модуль для сброса забытого пароля:

    account_recoveryПроцесс сброса пароля состоит из двух этапов:

    • заполнение формы с указанием логина или e-mail адреса, отправка письма на связанный с аккаунтом электронный адрес для подтверждения операции;
    • переход по ссылке, пришедшей в письме на связанный с аккаунтом e-mail и сброс пароля;

    Для повышения безопасности и исключения брутфорса пароля, добавлена возможность логина в админцентр граббера, с указанием каптчи. Для активации или отключения показа каптчи при логине следует зайти в настройки граббера, во вкладку «Основные настройки» и отметить или снять галочку «Использовать каптчу при логине«:

    use_captcha_1

    При включении режима показа каптчи при логине страница авторизации может выглядеть следующим образом:

    use_captcha_2Исправлено множество мелких недочётов и недоработок.

    Метки: , ,

  • 23Дек

    Дорогие друзья, с радостью сообщаем о выходе новой версии системы импорта новостей FDE Grabber 6.7

    Новый функционал и изменения:

    В настройках системы (настройки->вкладка «граббинг») добавлена опция «Мягкое обновление источников«. При её активации система будет пытаться, по возможности, обновлять источники, так, чтобы предотвратить последовательное (подряд) обращение к одному и тому же хосту сайта источника. Данная опция по умолчанию активирована и рекомендуется к дальнейшему применению:

    softy_feeds_recievingТакже, в настройках, добавлена новая опция «Получать следующий источник только после окончания обхода пейджера у предыдущего«. При её активации, в случае, если в граббере, например, имеется источник, в котором включен обход пейджера (или обход по параметру), то он будут обновляться до тех пор, пока не будет полностью завершён обход пейджера, далее граббер перейдёт к обновлению следующего источника и т.д. В случае, если данную опцию, напротив, отключить, то граббер будет обновлять источники по очереди, и обновление следующего источника произойдёт не по окончанию обхода пейджера предыдущего источника, а лишь по окончанию единичной итерации:

    hard_paginationДобавлен функционал блокировки кронтабов граббера, с защитой от одновременного запуска, с помощью lock-файлов. Активировать использование блокировочных файлов можно в настройках системы (настройки->вкладка «граббинг»), с помощью опции: «Использовать блокировочные lock-файлы«. В дальнейшем, рекомендуется использовать данный функционал:

    crontab_lock_filesВ настройках категории источников добавлена опция (рекомендуемая к использованию и включенная по умолчанию): ««. При её активации граббер будет пытаться перед парсингом контента устранять ошибки, допущенные редактором сайта-источника:

    correct_tagsПри выводе списка полученных статей добавлено выделение цветом, соответствующее категориям источников граббера:

    colorizeИсправлены мелкие недочёты и недоработки прошлых версий.

    Метки: , ,

  • 21Ноя

    Дорогие друзья, извещаем о том, что доступна для покупки и обновлений новая версия системы импорта новостей FDE Grabber 6.6

    Среди новшеств и изменений можно выделить следующие:

    Возможность указывать обычные замены, а также замены регулярными выражениями, которые будут применяться рекурсивно, до тех пор, пока не будет найдено соответствие

    Теперь в граббере имеется возможность использовать замены регулярными выражениями, а также обычные замены рекурсивно, например если требуется изменить содержимое страницы так, чтобы все картинки были вынесены за пределы таблиц, то можно воспользоваться несложной рекурсивной заменой:

    #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is  на \2\1\3

    Ранее это сделать можно было лишь с помощью специального хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).

    recursive_preg_replaceВозможность в текстовых заменах, а также заменах регулярными выражениями игнорировать в сравнениях пробельные символы

    Теперь не обязательно заботиться о том, чтобы в ваших заменах были соблюдены пробелы  и переносы строк — можно просто отметить галочку «не учитывать пробельные символы«:

    space_ignoreВозможность выделения категорий и групп источников цветом

    Для этого, в настройках категории источников добавлена соответствующая настройка ««:

    colorize

    Если выделение цветом используется, то списки категорий источников, а также источников могут выглядеть так:

    colorize2

    Возможность группировки источников по категориям

    Теперь при просмотре списков источников, для удобства восприятия, можно перегруппировать записи по категориям

    group_by_сategories

    Исправлены недочёты и недоработки прошлых версий

    Метки: , , ,

  • 24Окт

    Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.5

    Изменения и дополнения, вошедшие в новый релиз:

    Добавлен web-интерфейс для работы с прокси-серверами

    proxy_servers_interfaceИнтерфейс позволяет добавлять новые прокси сервера, редактировать, удалять, изменять их активность, а также имеется возможность массового добавления списка proxy-серверов:

    add_new_proxy_server

    добавление нового прокси-сервера

    edit_proxy_serverредактирование прокси-сервера

    mass_proxy_servers_additionмассовое добавление списка прокси-серверов

    Добавлен (proxy-checker) прокси-чекер

    Проверка прокси-серверов на доступность происходит непосредственно при граббинге (при работе кронтабов граббера). Так, если прокси-сервер окажется недоступным, то система его автоматически сделает неактивным. Для того, чтобы активировать эту функцию, потребуется зайти в настройки системы импорта новостей (вкладка «граббинг«) и отметить галочку «Автоматически отключать прокси-сервер, если размер полученного через него контента при запуске кронтабов будет равен нулю«:

    proxy_checker

    Добавлены новые события, отвечающие за показ сообщений о доступности или недоступности прокси-серверов, а также исправлены мелкие недочёты и недоработки прошлых версий

    Метки: , ,

  • 23Сен

    Дорогие друзья, извещаем о том, что доступна для покупки/обновления новая версия системы импорта новостей FDE Grabber 6.4

    Мы проделали большую работу и основным нововведением в новой версии граббера стала возможность публикации статей и новостей, а также связанных с ними файлов по протоколу XML-RPC

    Так, в настройках сайта добавлено два новых типа поддерживаемых систем:

    • XML-RPC MetaWeblog API
    • XML-RPC WordPress API

    Среди данных, которые необходимо указать, при публикации по протоколу XML-RPC:

    xml-rpcСледует отметить, что данный протокол поддерживается многими CMS и системами, и является единственным возможным средством публикации тогда, когда нет возможности получить непосредственный доступ к файлам и папкам системы, в которую необходима публикация.

    Вот неполный список систем и CMS, поддерживающих публикацию по протоколу XML-RPC:

    • WordPress, WordPress MU, а также одноимённый сервис бесплатных блогов WordPress.com
    • Drupal
    • Joomla (при наличии специального модуля)
    • e107 (при наличии специального модуля)
    • DotNetNuke
    • TYPO3
    • и другие

    Также, были внесены изменения в системе работы с сайтами в граббере, теперь, в зависимости от специфики выбранного типа CMS или сервиса появляются/исчезают соответствующие настройки.

    Метки: , , ,

страница 1 из 512345