Вышла новая версия граббера FDE Grabber 7.7
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.7
В новую версию вошли следующие изменения и дополнения:
- Улучшена система синонимайзинга - теперь можно указывать не только отдельные слова, но и фразы, включая знаки пунктуации.
- Значительно увеличена точность системы автоматического распознавания и определения категории (рубрики), к которой относится данный текст по набору ключевых слов.
- Добавлена поддержка xml-rpc публикации на сайты, работающие ТОЛЬКО по безопасному протоколу (например wordpress.com).
- Оптимизировано поведение граббера при неоднозначных настройках, например, если в настройках краткой новости указано получение из полной, путём обрезки, а картинка есть только в исходной краткой (а в полной нет), то граббер, теперь всё равно получит картинку.
- Добавлен хак, обеспечивающий корректировку заглавных букв. Так, если в результате каких-либо замен или ошибки на сайте-источнике слова в предложениях начинаются не с заглавных букв, то применив данный хак можно это исправить.
Исправлены недочёты и недоработки прошлых версий.
Обновлённый синонимайзер - ещё больше возможностей!, читать далее...
Внимание, цена упала!
FDE Grabber 7.6 - работа с PHP 7!
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.6
Новая версия системы импорта новостей доведена до совместимости с PHP 7
FDE Grabber доведён до совместимости с новой версией интерпретатора PHP, читать далее...
FDE Grabber 7.5 - мы экономим ваше время
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.5 В новую версию вошли следующие изменения и дополнения:
Изменена система получения недостающих картинок-иллюстраций для кратких и полных новостей
Теперь в настройках категории источников можно указать отдельно для краткой и отдельно для полной новости - откуда взять недостающую картинку-иллюстрацию:
Например если требуется по максимуму использовать возможности граббера и вы хотите, чтобы он искал картинки-иллюстрации для кратких новостей (в случае их отсутствия) везде где это возможно, то можно выбрать соответствующую опцию "Использовать варианты 1, 2, 3", что будет соответствовать поиску картинок в приложениях к RSS/Atom фиду *, метатегах полной статьи, а также полном содержимом статьи. Аналогично, если требуется, чтобы парсер искал картинки-иллюстрации для полных новостей (в случае их отсутствия) везде где это возможно, то можно выбрать соответствующую опцию "Использовать варианты 1, 2, 3", что будет соответствовать поиску картинок в приложениях к RSS/Atom фиду *, метатегах полной статьи, а также кратком содержимом статьи.
* в случае использования HTML источника эта опция игнорируется.
Добавлена возможность массового изменения настроек сайтов
При просмотре списка сайтов в граббере, теперь можно выбрать интересующие и массово изменить их параметры:
Эта функция полностью аналогична уже существующим, для таких разделов граббера, как "категории источников", а также "источники".
Исправлены недочёты и недоработки прошлых версий системы, оптимизирован функионал. FDE Grabber 7.4 - праздник seo-оптимизатора, возможность тонкой настройки тегов и ключевых слов
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.4 Рассмотрим, что было добавлено в новую версию:
Добавлен раздел для работы с тегами
В системе импорта новостей появился новый раздел для работы с тегами, которые могут сопоставляться с той или иной статьёй. При добавлении тега можно указать его название, ключевые слова, по которым статьи будут сопоставляться с данным тегом, а также возможность использования стеммера (что позволяет не склонять ключевые слова), а также сайт в системе, для которого этот тег будет доступен:
Так, если например мы укажем набор ключевых слов:
Ай-Петри, Алупка, Алушта, Армянск, Балаклава, Бахчисарай, Веселое, Гаспра, Гурзуф, Джанкой, Евпатория, Инкерман, Керчь, Клепинино, Коктебель, Кореиз, Красноперекопск, Ленино, Массандра, Мискхор, Нижнегорский, Орджоникидзе, Партенит, Раздольное, Саки, Севастополь, Симеиз, Симферополь, Старый Крым, Судак, Феодосия, Форос, Черноморское, Щёлкино, Ялта, Крыми озаглавим его под обобщающим тегом "Крым", то данный тег будет сопоставляться со статьями, содержащими данные ключевые слова.
Добавлен раздел для работы с ключевыми словами
Также, в новой версии граббера добавлен модуль, аналогичный разделу для работы с тегами, только ориентированный на работу с ключевыми словами, которые могут указываться в теге meta:<meta name="keywords" content="Прогноз погоды, погода, метеопрогноз, ...">
Следует отметить, что возможность указания ключевых слов доступна не для всех CMS/способов публикации, с которыми работает граббер, а лишь некоторых, например компонент для Joomla K2, DataLife Engine и т,д.
При работе с сайтом теперь можно указать способ получения тегов и ключевых слов
Ранее FDE Grabber мог получать теги и ключевые слова, сопоставляющиеся со статьёй только путём разбиения заголовка статьи на слова, например если заголовок статьи выглядел так "В Крыму проведут перепись населения", то ключевые слова/теги, которые он получал выглядели, как "Крыму", "проведут", "перепись", "населения", однако теперь есть возможность задействовать модули для работы с тегами и ключевыми словами и получать их более точно и гибко:
Теперь граббер способен получать теги и ключевые слова как из заголовка, так и из подготовленных заранее записей через модули для работы с тегами и ключевыми словами, а также путём комбинирования данных способов.
Исправлены недочёты и недоработки прошлых версий парсера
FDE Grabber 7.4 - праздник seo-оптимизатора, возможность тонкой настройки тегов и ключевых слов, читать далее...
FDE Grabber 7.2 - новые возможности при составлении шаблонов для парсинга, поддержка новых типов публикации
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.2 Среди новых возможностей и дополнений можно выделить следующие:
- поддержка новых тегов при составлении шаблонов для парсинга
- поддержка новой версии популярной российской системы управления сообществами InstantCMS 2.x.
Поддержка новых тегов при составлении шаблонов для парсинга
При составлении шаблонов, как при настройке категорий так и при настройке источников теперь имеется возможность наряду со старым способом указания в шаблоне полезного содержимого сделать это и новым способом. Рассмотрим простой пример. Допустим определённый нами шаблон имеет вид:
Видно, что полезное содержимое будет собираться в {description}
Но что, если нам требуется производить захват и обрамляющего тега <div id="pageContent">...</div>?- специально для таких случаев мы добавили новый способ указания шаблонов с помощью обрамляющих парных тегов, например {x_description}...{/x_description}:
Здесь видно, что в полученном с помощью данного шаблона контенте будут содержаться и обрамляющие теги: <div id="pageContent">...</div>
Там, где контент изменяется произвольно и он нам не нужен, мы указали тег {null}
Поддержка новой версии InstantCMS 2.x
При добавлении сайта в граббер теперь можно выбрать несколько типов публикации, связанных с новой версией InstantCMS 2.x:
В данный момент доступны следующие типы публикации:
- публикация в блоги
- публикация в раздел новостей
- публикация в раздел со статьями
FDE Grabber 7.2 - новые возможности при составлении шаблонов для парсинга, поддержка новых типов публикации, читать далее...
FDE Grabber 7.1 - возможность работы с разных IP адресов
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия системы импорта новостей FDE Grabber 7.1 Среди изменений и дополнений в новой версии можно выделить следующие:
Возможность вести работу с разных IP адресов
Для этого, в настройках системы добавлено указание списка IPv4 адресов или имён сетевых интерфейсов, разделённых через запятую, через которые будет работать граббер (через которые будут производиться внешние запросы к сайтам).
Таким, образом, если ваш сервер имеет несколько выделенных IP адресов, то можно указать их в настройках граббера, и он будет вести запросы через них по очереди.
Возможность указать IP адрес, через который должна вестись проверка лицензии граббера
В настройках системы импорта новостей теперь имеется возможность указать явно IPv4 адрес или имя сетевого интерфейса через который будет вестись проверка лицензии граббера.
Это может понадобиться, когда ваш сервер имеет несколько выделенных IP адресов/сетевых карт.
Путь к папке с кешем системы импорта новостей вынесен в конфиг
Для более гибкой настройки граббера путь к папке кеша системы импорта новостей теперь можно указать/изменить в параметрах системы.
Это важно в тех случаях, когда требуется например указать произвольный путь к папкам, например, если администратор хочет оптимизировать и ускорить работу путём использования RAM дисков (дисков, работающих в оперативной памяти компьютера), что, несомненно может значительно повлиять на производительность. На Unix/Linux системах можно использовать tmpfs, рекомендуемые статьи по теме: Использование tmpfs в MySQL, Using tmpfs for /tmp. На Windows системах можно воспользоваться условно бесплатной программой RAMDisk от компании Dataram (диски объёмом до 4 ГБ создаются в бесплатно).
Добавлена возможность экспорта/импорта настроек сайтов через датафайлы
Данная функция полностью аналогична уже полюбившейся многими пользователями возможности экспорта/импорта, которая есть в настройках источников и настройках категорий источников.
Исправлены мелкие недочёты и недоработки прошлых версий
FDE Grabber 7.1 - возможность работы с разных IP адресов, читать далее...
FDE Grabber 7.0 - работа со списком юзер-агентов через админцентр, увеличение скорости работы
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия системы импорта новостей FDE Grabber 7.0 Новые функции и возможности:
Добавлена возможность работы через админцентр со списком юзер-агентов, от имени которых граббер обращается к сайтам-источникам .
Для этого в граббере создан отдельный раздел "Юзер-агенты":
В данном разделе можно добавить/отредактировать/удалить юзер-агенты, а также изменить их статус. Также доступны функции массового изменения активности и добавления списка юзер-агентов, разделённых через перенос строки.
В разделе "Фейковые пользователи" добавлена возможность импорта списка пользователей, разделённых, через перенос строки:
Так, для того, чтобы добавить сразу несколько новых пользователей, достаточно указать их имена, через перенос строки:
При редактировании категории источников добавлено указание юзер-агента, от имени которого граббер будет обращаться к сайту-источнику:
Если поле оставить пустым, то граббер случайно выберет один из активных юзер-агентов из раздела "Юзер-агенты" и будет работать от данного имени.
Оптимизирован функционал, увеличена скорость работы, исправлены мелкие недочёты прошлых версий.
FDE Grabber 7.0 - работа со списком юзер-агентов через админцентр, увеличение скорости работы, читать далее...
FDE Grabber 6.9 - Возможность обновлять опубликованные статьи
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и бесплатного обновления новая версия системы импорта новостей FDE Grabber 6.9 В новой версии добавлена возможность обновления уже опубликованных статей. То есть, если например статья была получена и опубликована, то можно настроить граббер так, чтобы он проверял не обновилась ли она на сайте-источнике и если обновилась, то заново её получать и обновлять. Для этого, в настройках категории источников добавлены две новые опции:
- Обновлять статьи при обновлении источников
Проверка обновления статей при обновлении источников
Если при обновлении источника, для уже опубликованной статьи, изменился заголовок или краткое содержание, то статья будет считаться изменившейся и граббер попытается её заново получить и обновить. В случае успешного парсинга он её заново опубликует на вашем сайте, но при этом не создаст новую запись, а обновит старую. Все сопутствующие файлы и иллюстрации также обновятся.
Дополнительная проверка обновления статей на изменение полного содержания
Если в данный момент нет заданий на получение новых статей, то граббер перейдёт в режим обновления старых (если это требуется). В настройках категории источников указываются дополнительно: "Период обновления, в часах" - это тот промежуток времени, на протяжении которого, с момента после публикации, статья будет обновляться; "" - это тот промежуток времени, через который граббер будет проверять, не обновилась ли данная статья.
В данный момент обновление статей работает для следующих типов публикации: DLE (Data Life Engine), NGCMS, WordPress (кроме публикации через протокол XML-RPC), Joomla, а также публикация в компонент K2, E107, Drupal, Danneo, Slaed, InstantCMS, FDE CMS
Также, исправлены мелкие недочёты и недоработки прошлых версий.
FDE Grabber 6.9 - Возможность обновлять опубликованные статьи, читать далее...
FDE Grabber 6.8 - существенное увеличение скорости парсинга, возможность сброса пароля
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия системы импорта новостей FDE Grabber 6.8
Мы проделали большую работу по оптимизации работы системы, с большой гордостью и великим удовлетворением рады представить новую версию, с существенно увеличенной скоростью парсинга контента и сниженной нагрузкой на сервер. В среднем, на небольших новостях прирост в скорости составляет 1.5-2 раза, на больших - от 2 до 3 раз.
Добавлен модуль для сброса забытого пароля:
Процесс сброса пароля состоит из двух этапов:
- заполнение формы с указанием логина или e-mail адреса, отправка письма на связанный с аккаунтом электронный адрес для подтверждения операции;
- переход по ссылке, пришедшей в письме на связанный с аккаунтом e-mail и сброс пароля;
При включении режима показа каптчи при логине страница авторизации может выглядеть следующим образом:
Исправлено множество мелких недочётов и недоработок. FDE Grabber 6.8 - существенное увеличение скорости парсинга, возможность сброса пароля, читать далее...