Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.5 В новую версию вошли следующие изменения и дополнения:

Изменена система получения недостающих картинок-иллюстраций для кратких и полных новостей

Теперь в настройках категории источников можно указать отдельно для краткой и отдельно для полной новости - откуда взять недостающую картинку-иллюстрацию: Например если требуется по максимуму использовать возможности граббера и вы хотите, чтобы он искал картинки-иллюстрации для кратких новостей (в случае их отсутствия) везде где это возможно, то можно выбрать соответствующую опцию "Использовать варианты 1, 2, 3", что будет соответствовать поиску картинок в приложениях к RSS/Atom фиду *, метатегах полной статьи, а также полном содержимом статьи. Аналогично, если требуется, чтобы парсер искал картинки-иллюстрации для полных новостей (в случае их отсутствия) везде где это возможно, то можно выбрать соответствующую опцию "Использовать варианты 1, 2, 3", что будет соответствовать поиску картинок в приложениях к RSS/Atom фиду *, метатегах полной статьи, а также кратком содержимом статьи. * в случае использования HTML источника эта опция игнорируется.

Добавлена возможность массового изменения настроек сайтов

При просмотре списка сайтов в граббере, теперь можно выбрать интересующие и массово изменить их параметры: Эта функция полностью аналогична уже существующим, для таких разделов граббера, как "категории источников", а также "источники". Исправлены недочёты и недоработки прошлых версий системы, оптимизирован функионал.

FDE Grabber 7.5 - мы экономим ваше время, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.4 Рассмотрим, что было добавлено в новую версию:

Добавлен раздел для работы с тегами

В системе импорта новостей появился новый раздел для работы с тегами, которые могут сопоставляться с той или иной статьёй. При добавлении тега можно указать его название, ключевые слова, по которым статьи будут сопоставляться с данным тегом, а также возможность использования стеммера (что позволяет не склонять ключевые слова), а также сайт в системе, для которого этот тег будет доступен: Так, если например мы укажем набор ключевых слов:

Ай-Петри, Алупка, Алушта, Армянск, Балаклава, Бахчисарай, Веселое, Гаспра, Гурзуф, Джанкой, Евпатория, Инкерман, Керчь, Клепинино, Коктебель, Кореиз, Красноперекопск, Ленино, Массандра, Мискхор, Нижнегорский, Орджоникидзе, Партенит, Раздольное, Саки, Севастополь, Симеиз, Симферополь, Старый Крым, Судак, Феодосия, Форос, Черноморское, Щёлкино, Ялта, Крым

и озаглавим его под обобщающим тегом "Крым", то данный тег будет сопоставляться со статьями, содержащими данные ключевые слова.

Добавлен раздел для работы с ключевыми словами

Также, в новой версии граббера добавлен модуль, аналогичный разделу для работы с тегами, только ориентированный на работу с ключевыми словами, которые могут указываться в теге meta:

<meta name="keywords" content="Прогноз погоды, погода, метеопрогноз, ...">

Следует отметить, что возможность указания ключевых слов доступна не для всех CMS/способов публикации, с которыми работает граббер, а лишь некоторых, например компонент для Joomla K2, DataLife Engine и т,д.

При работе с сайтом теперь можно указать способ получения тегов и ключевых слов

Ранее FDE Grabber мог получать теги и ключевые слова, сопоставляющиеся со статьёй только путём разбиения заголовка статьи на слова, например если заголовок статьи выглядел так "В Крыму проведут перепись населения", то ключевые слова/теги, которые он получал выглядели, как "Крыму", "проведут", "перепись", "населения", однако теперь есть возможность задействовать модули для работы с тегами и ключевыми словами и получать их более точно и гибко: Теперь граббер способен получать теги и ключевые слова как из заголовка, так и из подготовленных заранее записей через модули для работы с тегами и ключевыми словами, а также путём комбинирования данных способов.

Исправлены недочёты и недоработки прошлых версий парсера

FDE Grabber 7.4 - праздник seo-оптимизатора, возможность тонкой настройки тегов и ключевых слов, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.3 В новой версии мы добавили возможность при тестировании настроек категорий источников, источников (RSS/Atom, а также HTML источников), а также пинге фидов указывать то, через какой прокси-сервер должны проводиться тесты, а также возможность указать, от имени какого сетевого интерфейса или через какой IP адрес требуется провести тот или иной тест: Таким образом, если нам необходимо удостовериться, что статья получается через тот или иной прокси-сервер и/или IP адрес, то можно указать их явно во время проведения теста, что несомненно должно стать  весьма удобной и полезной функцией. При проведении визуального теста с показом картинок - они также получаются и показываются с учётом указанных настроек, а также с учётом полученных cookie и заголовков, полностью аналогично тому, как это делает обычный браузер. В настройках категорий источников добавлена возможность получения картинки-иллюстрации из метатегов (в случае полного отсутствия картинок в теле новости): Так, если в содержимом полученной статьи не найдено ни одной картинки, то при активации данной опции граббер попытается получить картинку-иллюстрацию из метатегов, вида:

<meta property="og:image" content="https://www.com.com/0063_11.jpg" />

<meta property="twitter:image" content="https://www.com.com/0063_11.jpg" />

<link rel="image_src" type="image/jpeg" href="https://www.com.com/0063_1" />

Следует отметить, что граббер и ранее получал картинки из метатегов, но делал это по умолчанию - теперь же это можно включить или отключить. В новой версии исправлено множество недочётов и недоработок прошлых версий, оптимизирован функционал.  

FDE Grabber 7.3 - новые возможности при тестировании настроек, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.2 Среди новых возможностей и дополнений можно выделить следующие:

• поддержка новых тегов при составлении шаблонов для парсинга
• поддержка новой версии популярной российской системы управления сообществами InstantCMS 2.x.

Поддержка новых тегов при составлении шаблонов для парсинга

При составлении шаблонов, как при настройке категорий так и при настройке источников теперь имеется возможность наряду со старым способом указания в шаблоне полезного содержимого сделать это и новым способом. Рассмотрим простой пример. Допустим определённый нами шаблон имеет вид: Видно, что полезное содержимое будет собираться в {description}

Но что, если нам требуется производить захват и обрамляющего тега <div id="pageContent">...</div>?

- специально для таких случаев мы добавили новый способ указания шаблонов с помощью обрамляющих парных тегов, например {x_description}...{/x_description}: Здесь видно, что в полученном с помощью данного шаблона контенте будут содержаться и обрамляющие теги:  <div id="pageContent">...</div> Там, где контент изменяется произвольно и он нам не нужен, мы указали тег {null}

Поддержка новой версии InstantCMS 2.x

При добавлении сайта в граббер теперь можно выбрать несколько типов публикации, связанных с новой версией InstantCMS 2.x: В данный момент доступны следующие типы публикации:

• публикация в блоги
• публикация в раздел новостей
• публикация в раздел со статьями

Исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 7.2 - новые возможности при составлении шаблонов для парсинга, поддержка новых типов публикации, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.1 Среди изменений и  дополнений в новой версии можно выделить следующие:

Возможность вести работу с разных IP адресов

Для этого, в настройках системы добавлено указание списка IPv4 адресов или имён сетевых интерфейсов, разделённых через запятую, через которые будет работать граббер (через которые будут производиться внешние запросы к сайтам). Таким, образом, если ваш сервер имеет несколько выделенных IP адресов, то можно указать их в настройках граббера, и он будет вести запросы через них по очереди.

Возможность указать IP адрес, через который  должна вестись проверка лицензии граббера

В настройках системы импорта новостей теперь имеется возможность указать явно IPv4 адрес или имя сетевого интерфейса через который будет вестись проверка лицензии граббера. Это может понадобиться, когда ваш сервер имеет несколько выделенных IP адресов/сетевых карт.

Путь к папке с кешем системы импорта новостей вынесен в конфиг

Для более гибкой настройки граббера путь к папке кеша системы импорта новостей теперь можно указать/изменить в параметрах системы. Это важно в тех случаях, когда требуется например указать произвольный путь к папкам, например, если администратор хочет оптимизировать и ускорить работу путём использования RAM дисков (дисков, работающих в оперативной памяти компьютера), что, несомненно может значительно повлиять на производительность. На Unix/Linux системах можно использовать tmpfs, рекомендуемые статьи по теме: Использование tmpfs в MySQL, Using tmpfs for /tmp. На Windows системах можно воспользоваться условно бесплатной программой RAMDisk от компании Dataram (диски объёмом до 4 ГБ создаются в бесплатно).

Добавлена возможность экспорта/импорта настроек сайтов через датафайлы

Данная функция полностью аналогична уже полюбившейся многими пользователями возможности экспорта/импорта, которая есть в настройках источников и настройках категорий источников.

Исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 7.1 - возможность работы с разных IP адресов, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия системы импорта новостей FDE Grabber 7.0 Новые функции и возможности:

Добавлена возможность работы через админцентр со списком юзер-агентов, от имени которых граббер обращается к сайтам-источникам .

Для этого в граббере создан отдельный раздел "Юзер-агенты": В данном разделе можно добавить/отредактировать/удалить юзер-агенты, а также изменить их статус. Также доступны функции массового изменения активности и добавления списка юзер-агентов, разделённых через перенос строки.

В разделе "Фейковые пользователи" добавлена возможность импорта списка пользователей, разделённых, через перенос строки:

Так, для того, чтобы добавить сразу несколько новых пользователей, достаточно указать их имена, через перенос строки:

При редактировании категории источников добавлено указание юзер-агента, от имени которого граббер будет обращаться к сайту-источнику:

Если поле оставить пустым, то граббер случайно выберет один из активных юзер-агентов из раздела "Юзер-агенты" и будет работать от данного имени.

Оптимизирован функционал, увеличена скорость работы, исправлены мелкие недочёты прошлых версий.

FDE Grabber 7.0 - работа со списком юзер-агентов через админцентр, увеличение скорости работы, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и  бесплатного обновления новая версия системы импорта новостей FDE Grabber 6.9 В новой версии добавлена возможность обновления уже опубликованных статей. То есть, если например статья была получена и опубликована, то можно настроить граббер так, чтобы он проверял не обновилась ли она на сайте-источнике и если обновилась, то заново её получать и обновлять. Для этого, в настройках категории источников добавлены две новые опции:

• Обновлять статьи при обновлении источников
• Обновлять статьи, проверяя на обновление полное содержание

Рассмотрим более подробно эти опции.

Проверка обновления статей при обновлении источников

Если при обновлении источника, для уже опубликованной статьи, изменился заголовок или краткое содержание, то статья будет считаться изменившейся и граббер попытается её заново получить и обновить. В случае успешного парсинга он её заново опубликует на вашем сайте, но при этом не создаст новую запись, а обновит старую. Все сопутствующие файлы и иллюстрации также обновятся.

Дополнительная проверка обновления статей на изменение полного содержания

Если в данный момент нет заданий на получение новых статей, то граббер перейдёт в режим обновления старых (если это требуется). В настройках категории источников указываются дополнительно: "Период обновления, в часах" - это тот промежуток времени, на протяжении которого, с момента после публикации, статья будет обновляться; "Минимальный интервал проверки, в минутах" - это тот промежуток времени, через который граббер будет проверять, не обновилась ли данная статья. В данный момент обновление статей работает для следующих типов публикации: DLE (Data Life Engine), NGCMS, WordPress (кроме публикации через протокол XML-RPC), Joomla, а также публикация в компонент K2, E107, Drupal, Danneo, Slaed, InstantCMS, FDE CMS Также, исправлены мелкие недочёты и недоработки прошлых версий.  

FDE Grabber 6.9 - Возможность обновлять опубликованные статьи, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия системы импорта новостей FDE Grabber 6.8 Мы проделали большую работу по оптимизации работы системы, с большой гордостью и великим удовлетворением рады представить новую версию, с существенно увеличенной скоростью парсинга контента и сниженной нагрузкой на сервер. В среднем, на небольших новостях прирост в скорости составляет 1.5-2 раза, на больших - от 2 до 3 раз. Добавлен модуль для сброса забытого пароля: Процесс сброса пароля состоит из двух этапов:

• заполнение формы с указанием логина или e-mail адреса, отправка письма на связанный с аккаунтом электронный адрес для подтверждения операции;
• переход по ссылке, пришедшей в письме на связанный с аккаунтом e-mail и сброс пароля;

Для повышения безопасности и исключения брутфорса пароля, добавлена возможность логина в админцентр граббера, с указанием каптчи. Для активации или отключения показа каптчи при логине следует зайти в настройки граббера, во вкладку "Основные настройки" и отметить или снять галочку "Использовать каптчу при логине": При включении режима показа каптчи при логине страница авторизации может выглядеть следующим образом: Исправлено множество мелких недочётов и недоработок.

FDE Grabber 6.8 - существенное увеличение скорости парсинга, возможность сброса пароля, читать далее...

Дорогие друзья, с радостью сообщаем о выходе новой версии системы импорта новостей FDE Grabber 6.7 Новый функционал и изменения: В настройках системы (настройки->вкладка "граббинг") добавлена опция "Мягкое обновление источников". При её активации система будет пытаться, по возможности, обновлять источники, так, чтобы предотвратить последовательное (подряд) обращение к одному и тому же хосту сайта источника. Данная опция по умолчанию активирована и рекомендуется к дальнейшему применению: Также, в настройках, добавлена новая опция "Получать следующий источник только после окончания обхода пейджера у предыдущего". При её активации, в случае, если в граббере, например, имеется источник, в котором включен обход пейджера (или обход по параметру), то он будут обновляться до тех пор, пока не будет полностью завершён обход пейджера, далее граббер перейдёт к обновлению следующего источника и т.д. В случае, если данную опцию, напротив, отключить, то граббер будет обновлять источники по очереди, и обновление следующего источника произойдёт не по окончанию обхода пейджера предыдущего источника, а лишь по окончанию единичной итерации: Добавлен функционал блокировки кронтабов граббера, с защитой от одновременного запуска, с помощью lock-файлов. Активировать использование блокировочных файлов можно в настройках системы (настройки->вкладка "граббинг"), с помощью опции: "Использовать блокировочные lock-файлы". В дальнейшем, рекомендуется использовать данный функционал: В настройках категории источников добавлена опция (рекомендуемая к использованию и включенная по умолчанию): "Корректировать теги перед парсингом". При её активации граббер будет пытаться перед парсингом контента устранять ошибки, допущенные редактором сайта-источника: При выводе списка полученных статей добавлено выделение цветом, соответствующее категориям источников граббера: Исправлены мелкие недочёты и недоработки прошлых версий.

FDE Grabber 6.7 - лучшая производительность, большая стабильность, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновлений новая версия системы импорта новостей FDE Grabber 6.6 Среди новшеств и изменений можно выделить следующие:

Возможность указывать обычные замены, а также замены регулярными выражениями, которые будут применяться рекурсивно, до тех пор, пока не будет найдено соответствие

Теперь в граббере имеется возможность использовать замены регулярными выражениями, а также обычные замены рекурсивно, например если требуется изменить содержимое страницы так, чтобы все картинки были вынесены за пределы таблиц, то можно воспользоваться несложной рекурсивной заменой: #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is  на \2\1\3 Ранее это сделать можно было лишь с помощью специального хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).

Возможность в текстовых заменах, а также заменах регулярными выражениями игнорировать в сравнениях пробельные символы

Теперь не обязательно заботиться о том, чтобы в ваших заменах были соблюдены пробелы  и переносы строк - можно просто отметить галочку "не учитывать пробельные символы":

Возможность выделения категорий и групп источников цветом

Для этого, в настройках категории источников добавлена соответствующая настройка "Выделение цветом": Если выделение цветом используется, то списки категорий источников, а также источников могут выглядеть так:

Возможность группировки источников по категориям

Теперь при просмотре списков источников, для удобства восприятия, можно перегруппировать записи по категориям

Исправлены недочёты и недоработки прошлых версий

FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом, читать далее...