Дорогие друзья, с радостью сообщаем о выходе новой версии системы импорта новостей FDE Grabber 6.7 Новый функционал и изменения: В настройках системы (настройки->вкладка "граббинг") добавлена опция "Мягкое обновление источников". При её активации система будет пытаться, по возможности, обновлять источники, так, чтобы предотвратить последовательное (подряд) обращение к одному и тому же хосту сайта источника. Данная опция по умолчанию активирована и рекомендуется к дальнейшему применению: Также, в настройках, добавлена новая опция "Получать следующий источник только после окончания обхода пейджера у предыдущего". При её активации, в случае, если в граббере, например, имеется источник, в котором включен обход пейджера (или обход по параметру), то он будут обновляться до тех пор, пока не будет полностью завершён обход пейджера, далее граббер перейдёт к обновлению следующего источника и т.д. В случае, если данную опцию, напротив, отключить, то граббер будет обновлять источники по очереди, и обновление следующего источника произойдёт не по окончанию обхода пейджера предыдущего источника, а лишь по окончанию единичной итерации: Добавлен функционал блокировки кронтабов граббера, с защитой от одновременного запуска, с помощью lock-файлов. Активировать использование блокировочных файлов можно в настройках системы (настройки->вкладка "граббинг"), с помощью опции: "Использовать блокировочные lock-файлы". В дальнейшем, рекомендуется использовать данный функционал: В настройках категории источников добавлена опция (рекомендуемая к использованию и включенная по умолчанию): "Корректировать теги перед парсингом". При её активации граббер будет пытаться перед парсингом контента устранять ошибки, допущенные редактором сайта-источника: При выводе списка полученных статей добавлено выделение цветом, соответствующее категориям источников граббера: Исправлены мелкие недочёты и недоработки прошлых версий.

FDE Grabber 6.7 - лучшая производительность, большая стабильность, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновлений новая версия системы импорта новостей FDE Grabber 6.6 Среди новшеств и изменений можно выделить следующие:

Возможность указывать обычные замены, а также замены регулярными выражениями, которые будут применяться рекурсивно, до тех пор, пока не будет найдено соответствие

Теперь в граббере имеется возможность использовать замены регулярными выражениями, а также обычные замены рекурсивно, например если требуется изменить содержимое страницы так, чтобы все картинки были вынесены за пределы таблиц, то можно воспользоваться несложной рекурсивной заменой: #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is  на \2\1\3 Ранее это сделать можно было лишь с помощью специального хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).

Возможность в текстовых заменах, а также заменах регулярными выражениями игнорировать в сравнениях пробельные символы

Теперь не обязательно заботиться о том, чтобы в ваших заменах были соблюдены пробелы  и переносы строк - можно просто отметить галочку "не учитывать пробельные символы":

Возможность выделения категорий и групп источников цветом

Для этого, в настройках категории источников добавлена соответствующая настройка "Выделение цветом": Если выделение цветом используется, то списки категорий источников, а также источников могут выглядеть так:

Возможность группировки источников по категориям

Теперь при просмотре списков источников, для удобства восприятия, можно перегруппировать записи по категориям

Исправлены недочёты и недоработки прошлых версий

FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.5 Изменения и дополнения, вошедшие в новый релиз:

Добавлен web-интерфейс для работы с прокси-серверами

Интерфейс позволяет добавлять новые прокси сервера, редактировать, удалять, изменять их активность, а также имеется возможность массового добавления списка proxy-серверов:

добавление нового прокси-сервера

редактирование прокси-сервера

массовое добавление списка прокси-серверов

Добавлен (proxy-checker) прокси-чекер

Проверка прокси-серверов на доступность происходит непосредственно при граббинге (при работе кронтабов граббера). Так, если прокси-сервер окажется недоступным, то система его автоматически сделает неактивным. Для того, чтобы активировать эту функцию, потребуется зайти в настройки системы импорта новостей (вкладка "граббинг") и отметить галочку "Автоматически отключать прокси-сервер, если размер полученного через него контента при запуске кронтабов будет равен нулю":

Добавлены новые события, отвечающие за показ сообщений о доступности или недоступности прокси-серверов, а также исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 6.5 - встроенный proxy checker и интерфейс для работы с прокси-серверами, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки/обновления новая версия системы импорта новостей FDE Grabber 6.4 Мы проделали большую работу и основным нововведением в новой версии граббера стала возможность публикации статей и новостей, а также связанных с ними файлов по протоколу XML-RPC Так, в настройках сайта добавлено два новых типа поддерживаемых систем:

• XML-RPC MetaWeblog API
• XML-RPC WordPress API

Среди данных, которые необходимо указать, при публикации по протоколу XML-RPC:

• URL XML-RPC сервера
• ID сайта (или блога)
• Логин пользователя
• Пароль пользователя

Следует отметить, что данный протокол поддерживается многими CMS и системами, и является единственным возможным средством публикации тогда, когда нет возможности получить непосредственный доступ к файлам и папкам системы, в которую необходима публикация. Вот неполный список систем и CMS, поддерживающих публикацию по протоколу XML-RPC:

• WordPress, Wordpress MU, а также одноимённый сервис бесплатных блогов WordPress.com
• Drupal
• Joomla (при наличии специального модуля)
• e107 (при наличии специального модуля)
• DotNetNuke
• TYPO3
• и другие

Также, были внесены изменения в системе работы с сайтами в граббере, теперь, в зависимости от специфики выбранного типа CMS или сервиса появляются/исчезают соответствующие настройки.

FDE Grabber 6.4 - поддержка протокола XML-RPC для публикации материалов, читать далее...

Дорогие друзья, напоминаем о том, что по нашим правилам, в случае, если требуется доработка системы импорта новостей FDE Grabber до совместимости (возможности ведения публикации) с какими-либо CMS или системами, то, в зависимости от некоторых обстоятельств это может быть осуществлено нами, как на платной, так и на бесплатной основе:

• Если вы ещё не являетесь нашим клиентом, но желаете им стать, то доработка системы импорта новостей для ведения публикации в какую-либо массовую* CMS или какую-либо другую систему может быть осуществлена нами бесплатно, в  течение 5-10 рабочих дней после приобретения лицензии для FDE Grabber. Заявку на доработку можно подавать заблаговременно до покупки, а также, в течение 5 рабочих дней после покупки.
• Если вы уже являетесь нашим клиентом или CMS не является массовой*, то доработка осуществляется на платной основе, в среднем, стоимость такой доработки составляет 44 USD.

* Массовость CMS, а также возможность доработки как таковой, определяется и рассматривается нами индивидуально.

Совместимость FDE Grabber с другими CMS и системами, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая системы импорта новостей FDE Grabber 6.3, которая содержит в себе ещё больше полезных новшеств и улучшений. Мы проделали большую работу, подготавливая данную версию и сделали процесс настройки ещё более удобным и универсальным. А теперь о том, что было сделано:

Добавлена возможность получения дополнительного контента, такого как: заголовок новости, дата, категория, краткое описание из полного содержимого. Для этого, в настройках категории источников введены соответствующие дополнительные параметры

При составлении DOM шаблона добавлено указание того, какой контент ему соответствует: Доступны для указания:

• Полное описание
• Заголовок
• Краткое описание
• Дата
• Имя категории

При составлении простого шаблона добавлены новые параметры: {name} - соответствует заголовку статьи/новости; {short} - соответствует краткому описанию; {date} - соответствует дате; {category} - соответствует названию категории; Переработан функционал тестирования категории источников, добавлен вывод новых данных: Изменена и улучшена логика поведения граббера новостей при определении подходящего шаблона для парсинга. Так, например, полное описание он может получить из одного подходящего шаблона, а, например дату из другого.

В настройках категории, а также настройках источников добавлена возможность указания логина и пароля для HTTP аутентификации:

Кроме логина и пароля можно также указать метод шифрования, в данный момент поддерживаются следующие:

• Basic
• Digest
• GSS Negotiate
• NTLM
• Любой
• Любой безопасный

При отсутствующей иллюстрации в полученном тексте, теперь, граббер попытается её получить из метатегов:

<meta property="og:image" content="https://www.com.com/0063_11.jpg" />

<meta property="twitter:image" content="https://www.com.com/0063_11.jpg" />

<link rel="image_src" type="image/jpeg" href="https://www.com.com/0063_11.jpg"/>

В настройках категории источников граббера добавлена возможность указания диапазона, из которого будет выбрано случайное количество публикуемых фейковых комментариев:

Исправлены недочёты и недоработки прошлых версий, а также оптимизирован процесс парсинга.

FDE Grabber 6.3 - Поддержка HTTP аутентификации, новые возможности для составления шаблонов, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.2 Изменения и дополнения:

В настройках категории источников добавлена возможность указания минимальной длины полной новости

В том случае, когда длина текста новости (без учёта HTML форматирования) меньше заданной, то инициируется ошибка и новость удаляется

В настройках источников добавлена возможность указания минимальной длины краткой новости

В том случае, когда длина текста новости (без учёта HTML форматирования) меньше заданной, то инициируется ошибка и новость удаляется

В настройках категории источников добавлена возможность указания того, на какие картинки должны накладываться вотермарки (водяные знаки):

  Данная настройка доступна отдельно для краткой и отдельно для полной новости. Среди возможных значений, можно указать:

• не накладывать
• накладывать на все картинки
• накладывать только на картинки-превью
• накладывать только на полные версии картинок

Что позволяет гораздо гибче вести настройку указания наложения на изображения водяных знаков. Внимание! Разные настройки наложения вотермарков на изображения для краткой и полной новости могут потребовать создания дополнительных изображений, что отразится на размере, занимаемом картинками, на диске вашего сервера.

В настройках сайтов, добавлена возможность указания минимальной длины ключевых слов

В некоторых CMS есть возможность указания связанных с новостью ключевых слов для метатега META. Граббер автоматически определяет ключевые слова и отправляет их при публикации.

Данная настойка позволяет отфильтровывать слишком короткие слова и оставлять только нужной длины.

Исправлены мелкие ошибки и недочёты в работе системы импорта новостей

FDE Grabber 6.2 - свобода наложения вотермарков на картинки, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и бесплатного обновления новая версия системы импорта новостей FDE Grabber 6.1 Изменения и дополнения, вошедшие в релиз:

В настройках категории источников добавлена возможность фильтрации изображений по наименьшему размеру:

Теперь можно указать минимальную ширину и/или высоту, по которым можно отфильтровывать ненужные картинки. Среди возможных действий, когда изображение оказывается меньшим указанных размеров, можно указать:

• удалять такие картинки из кода статьи
• удалять статью
• ничего не делать

Фильтрацию картинок можно осуществлять в краткой и полной новости отдельно.

При скачивании файлов и картинок добавлен функционал докачки при обрывах связи или тогда, когда сервер отдаёт их по частям (206 Partial Content)

Теперь, если при скачивании файла реальный размер отличается от задекларированного в заголовках сервера, с которого идёт скачивание, то граббер попытается докачать данный файл. Это, несомненно, значительно повышает процент успешно скачиваемых граббером файлов.

Обновлены хаки машинного перевода

Внимание! С 1 июля 2013 года Yandex Translate API вводит доступ к сервису перевода по ключу разработчика. Получить этот ключ можно бесплатно, на странице https://api.yandex.ru/key/form.xml?service=trnsl Если вы пользуетесь хаками машинного перевода, то вам потребуется обновить граббер, получить ключ разработчика, и указать его в настройках системы импорта новостей FDE Grabber.

Исправлены  ошибки и мелкие недоработки прошлых версий, внесены корректировки в HTML верстку системы

FDE Grabber 6.1 - возможность фильтрации картинок по наименьшему размеру, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.0 В новой версии мы существенно переработали систему публикации, и теперь у вас появилась новая возможность, позволяющая вести публикацию полученных граббером файлов и картинок через FTP протокол. Таким образом, теперь есть возможность вести публикацию файлов и картинок тремя способами:

• напрямую, в указанную папку, этот способ работает тогда, когда система импорта новостей установлена на том же сервере, куда идёт публикация
• с помощью транзитной системы граббера, данный способ применим тогда, когда система импорта новостей установлена на одном сервере, а сайт, в который идёт публикация на другом
• с помощью FTP протокола. Этот способ подходит для публикации файлов и картинок и когда граббер установлен на том же сервере и тогда, когда он установлен на отличном сервере от того, на котором расположен сайт, в который идёт публикация

Для того, чтобы включить публикацию через FTP протокол требуется в настройках сайта отметить галочку "Использовать FTP для публикаци файлов" и заполнить дополнительные поля: Также, в новой версии системы импорта новостей улучшен обход антилич защиты сайтов от скачивания изображений и исправлены мелкие недочёты и недоработки прошлых версий.

FDE Grabber 6 - возможность ведения публикации файлов и картинок через FTP протокол, читать далее...

  Дорогие друзья, извещаем о том, что вышла и доступна для покупки/обновления новая версия системы импорта новостей FDE Grabber 5.9 1 - Добавлена полноценная поддержка публикации полученных новостей на сайты в разных часовых поясах В настройках категории источников добавлена опция для выбора часового пояса источника: Также, опция для выбора часового пояса добавлена и в настройках сайта для публикации: Таким образом, вы сможете легко настроить граббер под самые необычные задачи, например когда источник работает в одном часовом поясе, граббер в другом, а сайт, в который идёт публикация в третьем Напоминаем, что выбор часового пояса, который используется для отображения дат в самом граббере указывается в разделе настроек системы: 2 - В настройках категории источников системы импорта новостей добавлена опция, позволяющая включить повышение резкости у картинок, после изменения их размера: 3 - В настройках категории источников граббера добавлена возможность указания произвольного содержимого атрибутов alt и title у картинок: 4 - Исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 5.9 - возможность одновременной работы с сайтами в разных часовых поясах, читать далее...