FDE Grabber 6.7 - лучшая производительность, большая стабильность
Дорогие друзья, с радостью сообщаем о выходе новой версии системы импорта новостей FDE Grabber 6.7
Новый функционал и изменения:
В настройках системы (настройки->вкладка "граббинг") добавлена опция "Мягкое обновление источников". При её активации система будет пытаться, по возможности, обновлять источники, так, чтобы предотвратить последовательное (подряд) обращение к одному и тому же хосту сайта источника. Данная опция по умолчанию активирована и рекомендуется к дальнейшему применению:
Также, в настройках, добавлена новая опция "Получать следующий источник только после окончания обхода пейджера у предыдущего". При её активации, в случае, если в граббере, например, имеется источник, в котором включен обход пейджера (или обход по параметру), то он будут обновляться до тех пор, пока не будет полностью завершён обход пейджера, далее граббер перейдёт к обновлению следующего источника и т.д. В случае, если данную опцию, напротив, отключить, то граббер будет обновлять источники по очереди, и обновление следующего источника произойдёт не по окончанию обхода пейджера предыдущего источника, а лишь по окончанию единичной итерации:
Добавлен функционал блокировки кронтабов граббера, с защитой от одновременного запуска, с помощью lock-файлов. Активировать использование блокировочных файлов можно в настройках системы (настройки->вкладка "граббинг"), с помощью опции: "Использовать блокировочные lock-файлы". В дальнейшем, рекомендуется использовать данный функционал:
В настройках категории источников добавлена опция (рекомендуемая к использованию и включенная по умолчанию): "". При её активации граббер будет пытаться перед парсингом контента устранять ошибки, допущенные редактором сайта-источника:
При выводе списка полученных статей добавлено выделение цветом, соответствующее категориям источников граббера:
Исправлены мелкие недочёты и недоработки прошлых версий.
FDE Grabber 6.7 - лучшая производительность, большая стабильность, читать далее...
FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом
Дорогие друзья, извещаем о том, что доступна для покупки и обновлений новая версия системы импорта новостей FDE Grabber 6.6 Среди новшеств и изменений можно выделить следующие:
Возможность указывать обычные замены, а также замены регулярными выражениями, которые будут применяться рекурсивно, до тех пор, пока не будет найдено соответствие
Теперь в граббере имеется возможность использовать замены регулярными выражениями, а также обычные замены рекурсивно, например если требуется изменить содержимое страницы так, чтобы все картинки были вынесены за пределы таблиц, то можно воспользоваться несложной рекурсивной заменой: #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is на \2\1\3 Ранее это сделать можно было лишь с помощью специального хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).
Возможность в текстовых заменах, а также заменах регулярными выражениями игнорировать в сравнениях пробельные символы
Теперь не обязательно заботиться о том, чтобы в ваших заменах были соблюдены пробелы и переносы строк - можно просто отметить галочку "не учитывать пробельные символы":
Возможность выделения категорий и групп источников цветом
Для этого, в настройках категории источников добавлена соответствующая настройка "":


Возможность группировки источников по категориям
Теперь при просмотре списков источников, для удобства восприятия, можно перегруппировать записи по категориям
Исправлены недочёты и недоработки прошлых версий
FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом, читать далее...
FDE Grabber 6.5 - встроенный proxy checker и интерфейс для работы с прокси-серверами
Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.5 Изменения и дополнения, вошедшие в новый релиз:
Добавлен web-интерфейс для работы с прокси-серверами

добавление нового прокси-сервера
массовое добавление списка прокси-серверов
Добавлен (proxy-checker) прокси-чекер
Проверка прокси-серверов на доступность происходит непосредственно при граббинге (при работе кронтабов граббера). Так, если прокси-сервер окажется недоступным, то система его автоматически сделает неактивным. Для того, чтобы активировать эту функцию, потребуется зайти в настройки системы импорта новостей (вкладка "граббинг") и отметить галочку "Автоматически отключать прокси-сервер, если размер полученного через него контента при запуске кронтабов будет равен нулю":
Добавлены новые события, отвечающие за показ сообщений о доступности или недоступности прокси-серверов, а также исправлены мелкие недочёты и недоработки прошлых версий
FDE Grabber 6.5 - встроенный proxy checker и интерфейс для работы с прокси-серверами, читать далее...
FDE Grabber 6.4 - поддержка протокола XML-RPC для публикации материалов
Дорогие друзья, извещаем о том, что доступна для покупки/обновления новая версия системы импорта новостей FDE Grabber 6.4 Мы проделали большую работу и основным нововведением в новой версии граббера стала возможность публикации статей и новостей, а также связанных с ними файлов по протоколу XML-RPC Так, в настройках сайта добавлено два новых типа поддерживаемых систем:
- XML-RPC MetaWeblog API
- XML-RPC WordPress API

- WordPress, Wordpress MU, а также одноимённый сервис бесплатных блогов WordPress.com
- Drupal
- Joomla (при наличии специального модуля)
- e107 (при наличии специального модуля)
- DotNetNuke
- TYPO3
- и другие
FDE Grabber 6.4 - поддержка протокола XML-RPC для публикации материалов, читать далее...
Совместимость FDE Grabber с другими CMS и системами
Дорогие друзья, напоминаем о том, что по нашим правилам, в случае, если требуется доработка системы импорта новостей FDE Grabber до совместимости (возможности ведения публикации) с какими-либо CMS или системами, то, в зависимости от некоторых обстоятельств это может быть осуществлено нами, как на платной, так и на бесплатной основе:
- Если вы ещё не являетесь нашим клиентом, но желаете им стать, то доработка системы импорта новостей для ведения публикации в какую-либо массовую* CMS или какую-либо другую систему может быть осуществлена нами бесплатно, в течение 5-10 рабочих дней после приобретения лицензии для FDE Grabber. Заявку на доработку можно подавать заблаговременно до покупки, а также, в течение 5 рабочих дней после покупки.
- Если вы уже являетесь нашим клиентом или CMS не является массовой*, то доработка осуществляется на платной основе, в среднем, стоимость такой доработки составляет 44 USD.
Совместимость FDE Grabber с другими CMS и системами, читать далее...
FDE Grabber 6.3 - Поддержка HTTP аутентификации, новые возможности для составления шаблонов
Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая системы импорта новостей FDE Grabber 6.3, которая содержит в себе ещё больше полезных новшеств и улучшений. Мы проделали большую работу, подготавливая данную версию и сделали процесс настройки ещё более удобным и универсальным. А теперь о том, что было сделано:
Добавлена возможность получения дополнительного контента, такого как: заголовок новости, дата, категория, краткое описание из полного содержимого. Для этого, в настройках категории источников введены соответствующие дополнительные параметры
При составлении DOM шаблона добавлено указание того, какой контент ему соответствует:
- Полное описание
- Заголовок
- Краткое описание
- Дата
- Имя категории


В настройках категории, а также настройках источников добавлена возможность указания логина и пароля для HTTP аутентификации:

- Basic
- Digest
- GSS Negotiate
- NTLM
- Любой
- Любой безопасный
При отсутствующей иллюстрации в полученном тексте, теперь, граббер попытается её получить из метатегов:
<meta property="og:image" content="https://www.com.com/0063_11.jpg" /><meta property="twitter:image" content="https://www.com.com/0063_11.jpg" /><link rel="image_src" type="image/jpeg" href="https://www.com.com/0063_11.jpg"/>
В настройках категории источников граббера добавлена возможность указания диапазона, из которого будет выбрано случайное количество публикуемых фейковых комментариев:
Исправлены недочёты и недоработки прошлых версий, а также оптимизирован процесс парсинга.
FDE Grabber 6.3 - Поддержка HTTP аутентификации, новые возможности для составления шаблонов, читать далее...
FDE Grabber 6.2 - свобода наложения вотермарков на картинки
Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.2 Изменения и дополнения:
В настройках категории источников добавлена возможность указания минимальной длины полной новости
В том случае, когда длина текста новости (без учёта HTML форматирования) меньше заданной, то инициируется ошибка и новость удаляетсяВ настройках источников добавлена возможность указания минимальной длины краткой новости
В том случае, когда длина текста новости (без учёта HTML форматирования) меньше заданной, то инициируется ошибка и новость удаляетсяВ настройках категории источников добавлена возможность указания того, на какие картинки должны накладываться вотермарки (водяные знаки):

- не накладывать
- накладывать на все картинки
- накладывать только на картинки-превью
- накладывать только на полные версии картинок
В настройках сайтов, добавлена возможность указания минимальной длины ключевых слов

В некоторых CMS есть возможность указания связанных с новостью ключевых слов для метатега META. Граббер автоматически определяет ключевые слова и отправляет их при публикации.Данная настойка позволяет отфильтровывать слишком короткие слова и оставлять только нужной длины.
Исправлены мелкие ошибки и недочёты в работе системы импорта новостей
FDE Grabber 6.2 - свобода наложения вотермарков на картинки, читать далее...
FDE Grabber 6.1 - возможность фильтрации картинок по наименьшему размеру
Дорогие друзья, извещаем о том, что доступна для покупки и бесплатного обновления новая версия системы импорта новостей FDE Grabber 6.1 Изменения и дополнения, вошедшие в релиз:
В настройках категории источников добавлена возможность фильтрации изображений по наименьшему размеру:

- удалять такие картинки из кода статьи
- удалять статью
- ничего не делать
При скачивании файлов и картинок добавлен функционал докачки при обрывах связи или тогда, когда сервер отдаёт их по частям (206 Partial Content)
Теперь, если при скачивании файла реальный размер отличается от задекларированного в заголовках сервера, с которого идёт скачивание, то граббер попытается докачать данный файл. Это, несомненно, значительно повышает процент успешно скачиваемых граббером файлов.Обновлены хаки машинного перевода
Внимание! С 1 июля 2013 года Yandex Translate API вводит доступ к сервису перевода по ключу разработчика. Получить этот ключ можно бесплатно, на странице https://api.yandex.ru/key/form.xml?service=trnsl Если вы пользуетесь хаками машинного перевода, то вам потребуется обновить граббер, получить ключ разработчика, и указать его в настройках системы импорта новостей FDE Grabber.Исправлены ошибки и мелкие недоработки прошлых версий, внесены корректировки в HTML верстку системы
FDE Grabber 6.1 - возможность фильтрации картинок по наименьшему размеру, читать далее...
FDE Grabber 6 - возможность ведения публикации файлов и картинок через FTP протокол
Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.0 В новой версии мы существенно переработали систему публикации, и теперь у вас появилась новая возможность, позволяющая вести публикацию полученных граббером файлов и картинок через FTP протокол. Таким образом, теперь есть возможность вести публикацию файлов и картинок тремя способами:
- напрямую, в указанную папку, этот способ работает тогда, когда система импорта новостей установлена на том же сервере, куда идёт публикация
- с помощью транзитной системы граббера, данный способ применим тогда, когда система импорта новостей установлена на одном сервере, а сайт, в который идёт публикация на другом
- с помощью FTP протокола. Этот способ подходит для публикации файлов и картинок и когда граббер установлен на том же сервере и тогда, когда он установлен на отличном сервере от того, на котором расположен сайт, в который идёт публикация

FDE Grabber 6 - возможность ведения публикации файлов и картинок через FTP протокол, читать далее...
FDE Grabber 5.9 - возможность одновременной работы с сайтами в разных часовых поясах






FDE Grabber 5.9 - возможность одновременной работы с сайтами в разных часовых поясах, читать далее...