FDE Grabber 6.7 - лучшая производительность, большая стабильность

Дорогие друзья, с радостью сообщаем о выходе новой версии системы импорта новостей FDE Grabber 6.7 Новый функционал и изменения: В настройках системы (настройки->вкладка "граббинг") добавлена опция "Мягкое обновление источников". При её активации система будет пытаться, по возможности, обновлять источники, так, чтобы предотвратить последовательное (подряд) обращение к одному и тому же хосту сайта источника. Данная опция по умолчанию активирована и рекомендуется к дальнейшему применению: softy_feeds_recievingТакже, в настройках, добавлена новая опция "Получать следующий источник только после окончания обхода пейджера у предыдущего". При её активации, в случае, если в граббере, например, имеется источник, в котором включен обход пейджера (или обход по параметру), то он будут обновляться до тех пор, пока не будет полностью завершён обход пейджера, далее граббер перейдёт к обновлению следующего источника и т.д. В случае, если данную опцию, напротив, отключить, то граббер будет обновлять источники по очереди, и обновление следующего источника произойдёт не по окончанию обхода пейджера предыдущего источника, а лишь по окончанию единичной итерации: hard_paginationДобавлен функционал блокировки кронтабов граббера, с защитой от одновременного запуска, с помощью lock-файлов. Активировать использование блокировочных файлов можно в настройках системы (настройки->вкладка "граббинг"), с помощью опции: "Использовать блокировочные lock-файлы". В дальнейшем, рекомендуется использовать данный функционал: crontab_lock_filesВ настройках категории источников добавлена опция (рекомендуемая к использованию и включенная по умолчанию): "". При её активации граббер будет пытаться перед парсингом контента устранять ошибки, допущенные редактором сайта-источника: correct_tagsПри выводе списка полученных статей добавлено выделение цветом, соответствующее категориям источников граббера: colorizeИсправлены мелкие недочёты и недоработки прошлых версий.

FDE Grabber 6.7 - лучшая производительность, большая стабильность, читать далее...

FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом

Дорогие друзья, извещаем о том, что доступна для покупки и обновлений новая версия системы импорта новостей FDE Grabber 6.6 Среди новшеств и изменений можно выделить следующие:

Возможность указывать обычные замены, а также замены регулярными выражениями, которые будут применяться рекурсивно, до тех пор, пока не будет найдено соответствие

Теперь в граббере имеется возможность использовать замены регулярными выражениями, а также обычные замены рекурсивно, например если требуется изменить содержимое страницы так, чтобы все картинки были вынесены за пределы таблиц, то можно воспользоваться несложной рекурсивной заменой: #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is  на \2\1\3 Ранее это сделать можно было лишь с помощью специального хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).

recursive_preg_replaceВозможность в текстовых заменах, а также заменах регулярными выражениями игнорировать в сравнениях пробельные символы

Теперь не обязательно заботиться о том, чтобы в ваших заменах были соблюдены пробелы  и переносы строк - можно просто отметить галочку "не учитывать пробельные символы":

space_ignoreВозможность выделения категорий и групп источников цветом

Для этого, в настройках категории источников добавлена соответствующая настройка "": colorize Если выделение цветом используется, то списки категорий источников, а также источников могут выглядеть так: colorize2

Возможность группировки источников по категориям

Теперь при просмотре списков источников, для удобства восприятия, можно перегруппировать записи по категориям group_by_сategories

Исправлены недочёты и недоработки прошлых версий

FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом, читать далее...

FDE Grabber 6.5 - встроенный proxy checker и интерфейс для работы с прокси-серверами

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.5 Изменения и дополнения, вошедшие в новый релиз:

Добавлен web-интерфейс для работы с прокси-серверами

proxy_servers_interfaceИнтерфейс позволяет добавлять новые прокси сервера, редактировать, удалять, изменять их активность, а также имеется возможность массового добавления списка proxy-серверов:

add_new_proxy_server

добавление нового прокси-сервера

edit_proxy_serverредактирование прокси-сервера

mass_proxy_servers_additionмассовое добавление списка прокси-серверов

Добавлен (proxy-checker) прокси-чекер

Проверка прокси-серверов на доступность происходит непосредственно при граббинге (при работе кронтабов граббера). Так, если прокси-сервер окажется недоступным, то система его автоматически сделает неактивным. Для того, чтобы активировать эту функцию, потребуется зайти в настройки системы импорта новостей (вкладка "граббинг") и отметить галочку "Автоматически отключать прокси-сервер, если размер полученного через него контента при запуске кронтабов будет равен нулю": proxy_checker

Добавлены новые события, отвечающие за показ сообщений о доступности или недоступности прокси-серверов, а также исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 6.5 - встроенный proxy checker и интерфейс для работы с прокси-серверами, читать далее...

FDE Grabber 6.4 - поддержка протокола XML-RPC для публикации материалов

Дорогие друзья, извещаем о том, что доступна для покупки/обновления новая версия системы импорта новостей FDE Grabber 6.4 Мы проделали большую работу и основным нововведением в новой версии граббера стала возможность публикации статей и новостей, а также связанных с ними файлов по протоколу XML-RPC Так, в настройках сайта добавлено два новых типа поддерживаемых систем:

  • XML-RPC MetaWeblog API
  • XML-RPC WordPress API
Среди данных, которые необходимо указать, при публикации по протоколу XML-RPC:
xml-rpcСледует отметить, что данный протокол поддерживается многими CMS и системами, и является единственным возможным средством публикации тогда, когда нет возможности получить непосредственный доступ к файлам и папкам системы, в которую необходима публикация. Вот неполный список систем и CMS, поддерживающих публикацию по протоколу XML-RPC:
  • WordPress, Wordpress MU, а также одноимённый сервис бесплатных блогов WordPress.com
  • Drupal
  • Joomla (при наличии специального модуля)
  • e107 (при наличии специального модуля)
  • DotNetNuke
  • TYPO3
  • и другие
Также, были внесены изменения в системе работы с сайтами в граббере, теперь, в зависимости от специфики выбранного типа CMS или сервиса появляются/исчезают соответствующие настройки.

FDE Grabber 6.4 - поддержка протокола XML-RPC для публикации материалов, читать далее...

Совместимость FDE Grabber с другими CMS и системами

Дорогие друзья, напоминаем о том, что по нашим правилам, в случае, если требуется доработка системы импорта новостей FDE Grabber до совместимости (возможности ведения публикации) с какими-либо CMS или системами, то, в зависимости от некоторых обстоятельств это может быть осуществлено нами, как на платной, так и на бесплатной основе:

  • Если вы ещё не являетесь нашим клиентом, но желаете им стать, то доработка системы импорта новостей для ведения публикации в какую-либо массовую* CMS или какую-либо другую систему может быть осуществлена нами бесплатно, в  течение 5-10 рабочих дней после приобретения лицензии для FDE Grabber. Заявку на доработку можно подавать заблаговременно до покупки, а также, в течение 5 рабочих дней после покупки.
  • Если вы уже являетесь нашим клиентом или CMS не является массовой*, то доработка осуществляется на платной основе, в среднем, стоимость такой доработки составляет 44 USD.
* Массовость CMS, а также возможность доработки как таковой, определяется и рассматривается нами индивидуально.

Совместимость FDE Grabber с другими CMS и системами, читать далее...

FDE Grabber 6.3 - Поддержка HTTP аутентификации, новые возможности для составления шаблонов

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая системы импорта новостей FDE Grabber 6.3, которая содержит в себе ещё больше полезных новшеств и улучшений. Мы проделали большую работу, подготавливая данную версию и сделали процесс настройки ещё более удобным и универсальным. А теперь о том, что было сделано:

Добавлена возможность получения дополнительного контента, такого как: заголовок новости, дата, категория, краткое описание из полного содержимого. Для этого, в настройках категории источников введены соответствующие дополнительные параметры

При составлении DOM шаблона добавлено указание того, какой контент ему соответствует: dom_pattern Доступны для указания:
  • Полное описание
  • Заголовок
  • Краткое описание
  • Дата
  • Имя категории
При составлении простого шаблона добавлены новые параметры: simple_pattern {name} - соответствует заголовку статьи/новости; {short} - соответствует краткому описанию; {date} - соответствует дате; {category} - соответствует названию категории; Переработан функционал тестирования категории источников, добавлен вывод новых данных: category_testИзменена и улучшена логика поведения граббера новостей при определении подходящего шаблона для парсинга. Так, например, полное описание он может получить из одного подходящего шаблона, а, например дату из другого.

В настройках категории, а также настройках источников добавлена возможность указания логина и пароля для HTTP аутентификации:

http_authenticationКроме логина и пароля можно также указать метод шифрования, в данный момент поддерживаются следующие:
  • Basic
  • Digest
  • GSS Negotiate
  • NTLM
  • Любой
  • Любой безопасный

При отсутствующей иллюстрации в полученном тексте, теперь, граббер попытается её получить из метатегов:

<meta property="og:image" content="http://www.com.com/0063_11.jpg" />
<meta property="twitter:image" content="http://www.com.com/0063_11.jpg" />
<link rel="image_src" type="image/jpeg" href="http://www.com.com/0063_11.jpg"/>

В настройках категории источников граббера добавлена возможность указания диапазона, из которого будет выбрано случайное количество публикуемых фейковых комментариев:

random_fake_comments_range

Исправлены недочёты и недоработки прошлых версий, а также оптимизирован процесс парсинга.

FDE Grabber 6.3 - Поддержка HTTP аутентификации, новые возможности для составления шаблонов, читать далее...

FDE Grabber 6.2 - свобода наложения вотермарков на картинки

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.2 Изменения и дополнения:

В настройках категории источников добавлена возможность указания минимальной длины полной новости

В том случае, когда длина текста новости (без учёта HTML форматирования) меньше заданной, то инициируется ошибка и новость удаляется

min_full_news_length

В настройках источников добавлена возможность указания минимальной длины краткой новости

В том случае, когда длина текста новости (без учёта HTML форматирования) меньше заданной, то инициируется ошибка и новость удаляется

min_short_news_length

В настройках категории источников добавлена возможность указания того, на какие картинки должны накладываться вотермарки (водяные знаки):

watermarks   Данная настройка доступна отдельно для краткой и отдельно для полной новости. Среди возможных значений, можно указать:
  • не накладывать
  • накладывать на все картинки
  • накладывать только на картинки-превью
  • накладывать только на полные версии картинок
Что позволяет гораздо гибче вести настройку указания наложения на изображения водяных знаков. Внимание! Разные настройки наложения вотермарков на изображения для краткой и полной новости могут потребовать создания дополнительных изображений, что отразится на размере, занимаемом картинками, на диске вашего сервера.

В настройках сайтов, добавлена возможность указания минимальной длины ключевых слов

keywords
В некоторых CMS есть возможность указания связанных с новостью ключевых слов для метатега META. Граббер автоматически определяет ключевые слова и отправляет их при публикации.
Данная настойка позволяет отфильтровывать слишком короткие слова и оставлять только нужной длины.

Исправлены мелкие ошибки и недочёты в работе системы импорта новостей

FDE Grabber 6.2 - свобода наложения вотермарков на картинки, читать далее...

FDE Grabber 6.1 - возможность фильтрации картинок по наименьшему размеру

Дорогие друзья, извещаем о том, что доступна для покупки и бесплатного обновления новая версия системы импорта новостей FDE Grabber 6.1 Изменения и дополнения, вошедшие в релиз:

В настройках категории источников добавлена возможность фильтрации изображений по наименьшему размеру:

Теперь можно указать минимальную ширину и/или высоту, по которым можно отфильтровывать ненужные картинки. Среди возможных действий, когда изображение оказывается меньшим указанных размеров, можно указать:
  • удалять такие картинки из кода статьи
  • удалять статью
  • ничего не делать
Фильтрацию картинок можно осуществлять в краткой и полной новости отдельно.

При скачивании файлов и картинок добавлен функционал докачки при обрывах связи или тогда, когда сервер отдаёт их по частям (206 Partial Content)

Теперь, если при скачивании файла реальный размер отличается от задекларированного в заголовках сервера, с которого идёт скачивание, то граббер попытается докачать данный файл. Это, несомненно, значительно повышает процент успешно скачиваемых граббером файлов.

Обновлены хаки машинного перевода

Внимание! С 1 июля 2013 года Yandex Translate API вводит доступ к сервису перевода по ключу разработчика. Получить этот ключ можно бесплатно, на странице http://api.yandex.ru/key/form.xml?service=trnsl Если вы пользуетесь хаками машинного перевода, то вам потребуется обновить граббер, получить ключ разработчика, и указать его в настройках системы импорта новостей FDE Grabber.

Исправлены  ошибки и мелкие недоработки прошлых версий, внесены корректировки в HTML верстку системы

FDE Grabber 6.1 - возможность фильтрации картинок по наименьшему размеру, читать далее...

FDE Grabber 6 - возможность ведения публикации файлов и картинок через FTP протокол

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.0 В новой версии мы существенно переработали систему публикации, и теперь у вас появилась новая возможность, позволяющая вести публикацию полученных граббером файлов и картинок через FTP протокол. Таким образом, теперь есть возможность вести публикацию файлов и картинок тремя способами:

  • напрямую, в указанную папку, этот способ работает тогда, когда система импорта новостей установлена на том же сервере, куда идёт публикация
  • с помощью транзитной системы граббера, данный способ применим тогда, когда система импорта новостей установлена на одном сервере, а сайт, в который идёт публикация на другом
  • с помощью FTP протокола. Этот способ подходит для публикации файлов и картинок и когда граббер установлен на том же сервере и тогда, когда он установлен на отличном сервере от того, на котором расположен сайт, в который идёт публикация
Для того, чтобы включить публикацию через FTP протокол требуется в настройках сайта отметить галочку "" и заполнить дополнительные поля: Также, в новой версии системы импорта новостей улучшен обход антилич защиты сайтов от скачивания изображений и исправлены мелкие недочёты и недоработки прошлых версий.

FDE Grabber 6 - возможность ведения публикации файлов и картинок через FTP протокол, читать далее...

FDE Grabber 5.9 - возможность одновременной работы с сайтами в разных часовых поясах

fde grabber
  Дорогие друзья, извещаем о том, что вышла и доступна для покупки/обновления новая версия системы импорта новостей FDE Grabber 5.9 1 - Добавлена полноценная поддержка публикации полученных новостей на сайты в разных часовых поясах В настройках категории источников добавлена опция для выбора часового пояса источника: Также, опция для выбора часового пояса добавлена и в настройках сайта для публикации: Таким образом, вы сможете легко настроить граббер под самые необычные задачи, например когда источник работает в одном часовом поясе, граббер в другом, а сайт, в который идёт публикация в третьем Напоминаем, что выбор часового пояса, который используется для отображения дат в самом граббере указывается в разделе настроек системы: 2 - В настройках категории источников системы импорта новостей добавлена опция, позволяющая включить повышение резкости у картинок, после изменения их размера: 3 - В настройках категории источников граббера добавлена возможность указания произвольного содержимого атрибутов alt и title у картинок: 4 - Исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 5.9 - возможность одновременной работы с сайтами в разных часовых поясах, читать далее...

Разделы сайта

Форум web-разработчиков

Последние записи