Дорогие друзья, извещаем о том, что доступна для покупки и обновлений новая версия системы импорта новостей FDE Grabber 6.6 Среди новшеств и изменений можно выделить следующие:

Возможность указывать обычные замены, а также замены регулярными выражениями, которые будут применяться рекурсивно, до тех пор, пока не будет найдено соответствие

Теперь в граббере имеется возможность использовать замены регулярными выражениями, а также обычные замены рекурсивно, например если требуется изменить содержимое страницы так, чтобы все картинки были вынесены за пределы таблиц, то можно воспользоваться несложной рекурсивной заменой: #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is  на \2\1\3 Ранее это сделать можно было лишь с помощью специального хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).

Возможность в текстовых заменах, а также заменах регулярными выражениями игнорировать в сравнениях пробельные символы

Теперь не обязательно заботиться о том, чтобы в ваших заменах были соблюдены пробелы  и переносы строк - можно просто отметить галочку "не учитывать пробельные символы":

Возможность выделения категорий и групп источников цветом

Для этого, в настройках категории источников добавлена соответствующая настройка "Выделение цветом": Если выделение цветом используется, то списки категорий источников, а также источников могут выглядеть так:

Возможность группировки источников по категориям

Теперь при просмотре списков источников, для удобства восприятия, можно перегруппировать записи по категориям

Исправлены недочёты и недоработки прошлых версий

FDE Grabber 6.6 - возможность использования рекурсивных замен, а также выделения групп источников цветом, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.5 Изменения и дополнения, вошедшие в новый релиз:

Добавлен web-интерфейс для работы с прокси-серверами

Интерфейс позволяет добавлять новые прокси сервера, редактировать, удалять, изменять их активность, а также имеется возможность массового добавления списка proxy-серверов:

добавление нового прокси-сервера

редактирование прокси-сервера

массовое добавление списка прокси-серверов

Добавлен (proxy-checker) прокси-чекер

Проверка прокси-серверов на доступность происходит непосредственно при граббинге (при работе кронтабов граббера). Так, если прокси-сервер окажется недоступным, то система его автоматически сделает неактивным. Для того, чтобы активировать эту функцию, потребуется зайти в настройки системы импорта новостей (вкладка "граббинг") и отметить галочку "Автоматически отключать прокси-сервер, если размер полученного через него контента при запуске кронтабов будет равен нулю":

Добавлены новые события, отвечающие за показ сообщений о доступности или недоступности прокси-серверов, а также исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 6.5 - встроенный proxy checker и интерфейс для работы с прокси-серверами, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки/обновления новая версия системы импорта новостей FDE Grabber 6.4 Мы проделали большую работу и основным нововведением в новой версии граббера стала возможность публикации статей и новостей, а также связанных с ними файлов по протоколу XML-RPC Так, в настройках сайта добавлено два новых типа поддерживаемых систем:

• XML-RPC MetaWeblog API
• XML-RPC WordPress API

Среди данных, которые необходимо указать, при публикации по протоколу XML-RPC:

• URL XML-RPC сервера
• ID сайта (или блога)
• Логин пользователя
• Пароль пользователя

Следует отметить, что данный протокол поддерживается многими CMS и системами, и является единственным возможным средством публикации тогда, когда нет возможности получить непосредственный доступ к файлам и папкам системы, в которую необходима публикация. Вот неполный список систем и CMS, поддерживающих публикацию по протоколу XML-RPC:

• WordPress, Wordpress MU, а также одноимённый сервис бесплатных блогов WordPress.com
• Drupal
• Joomla (при наличии специального модуля)
• e107 (при наличии специального модуля)
• DotNetNuke
• TYPO3
• и другие

Также, были внесены изменения в системе работы с сайтами в граббере, теперь, в зависимости от специфики выбранного типа CMS или сервиса появляются/исчезают соответствующие настройки.

FDE Grabber 6.4 - поддержка протокола XML-RPC для публикации материалов, читать далее...

Дорогие друзья, напоминаем о том, что по нашим правилам, в случае, если требуется доработка системы импорта новостей FDE Grabber до совместимости (возможности ведения публикации) с какими-либо CMS или системами, то, в зависимости от некоторых обстоятельств это может быть осуществлено нами, как на платной, так и на бесплатной основе:

• Если вы ещё не являетесь нашим клиентом, но желаете им стать, то доработка системы импорта новостей для ведения публикации в какую-либо массовую* CMS или какую-либо другую систему может быть осуществлена нами бесплатно, в  течение 5-10 рабочих дней после приобретения лицензии для FDE Grabber. Заявку на доработку можно подавать заблаговременно до покупки, а также, в течение 5 рабочих дней после покупки.
• Если вы уже являетесь нашим клиентом или CMS не является массовой*, то доработка осуществляется на платной основе, в среднем, стоимость такой доработки составляет 44 USD.

* Массовость CMS, а также возможность доработки как таковой, определяется и рассматривается нами индивидуально.

Совместимость FDE Grabber с другими CMS и системами, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая системы импорта новостей FDE Grabber 6.3, которая содержит в себе ещё больше полезных новшеств и улучшений. Мы проделали большую работу, подготавливая данную версию и сделали процесс настройки ещё более удобным и универсальным. А теперь о том, что было сделано:

Добавлена возможность получения дополнительного контента, такого как: заголовок новости, дата, категория, краткое описание из полного содержимого. Для этого, в настройках категории источников введены соответствующие дополнительные параметры

При составлении DOM шаблона добавлено указание того, какой контент ему соответствует: Доступны для указания:

• Полное описание
• Заголовок
• Краткое описание
• Дата
• Имя категории

При составлении простого шаблона добавлены новые параметры: {name} - соответствует заголовку статьи/новости; {short} - соответствует краткому описанию; {date} - соответствует дате; {category} - соответствует названию категории; Переработан функционал тестирования категории источников, добавлен вывод новых данных: Изменена и улучшена логика поведения граббера новостей при определении подходящего шаблона для парсинга. Так, например, полное описание он может получить из одного подходящего шаблона, а, например дату из другого.

В настройках категории, а также настройках источников добавлена возможность указания логина и пароля для HTTP аутентификации:

Кроме логина и пароля можно также указать метод шифрования, в данный момент поддерживаются следующие:

• Basic
• Digest
• GSS Negotiate
• NTLM
• Любой
• Любой безопасный

При отсутствующей иллюстрации в полученном тексте, теперь, граббер попытается её получить из метатегов:

<meta property="og:image" content="https://www.com.com/0063_11.jpg" />

<meta property="twitter:image" content="https://www.com.com/0063_11.jpg" />

<link rel="image_src" type="image/jpeg" href="https://www.com.com/0063_11.jpg"/>

В настройках категории источников граббера добавлена возможность указания диапазона, из которого будет выбрано случайное количество публикуемых фейковых комментариев:

Исправлены недочёты и недоработки прошлых версий, а также оптимизирован процесс парсинга.

FDE Grabber 6.3 - Поддержка HTTP аутентификации, новые возможности для составления шаблонов, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.2 Изменения и дополнения:

В настройках категории источников добавлена возможность указания минимальной длины полной новости

В том случае, когда длина текста новости (без учёта HTML форматирования) меньше заданной, то инициируется ошибка и новость удаляется

В настройках источников добавлена возможность указания минимальной длины краткой новости

В том случае, когда длина текста новости (без учёта HTML форматирования) меньше заданной, то инициируется ошибка и новость удаляется

В настройках категории источников добавлена возможность указания того, на какие картинки должны накладываться вотермарки (водяные знаки):

  Данная настройка доступна отдельно для краткой и отдельно для полной новости. Среди возможных значений, можно указать:

• не накладывать
• накладывать на все картинки
• накладывать только на картинки-превью
• накладывать только на полные версии картинок

Что позволяет гораздо гибче вести настройку указания наложения на изображения водяных знаков. Внимание! Разные настройки наложения вотермарков на изображения для краткой и полной новости могут потребовать создания дополнительных изображений, что отразится на размере, занимаемом картинками, на диске вашего сервера.

В настройках сайтов, добавлена возможность указания минимальной длины ключевых слов

В некоторых CMS есть возможность указания связанных с новостью ключевых слов для метатега META. Граббер автоматически определяет ключевые слова и отправляет их при публикации.

Данная настойка позволяет отфильтровывать слишком короткие слова и оставлять только нужной длины.

Исправлены мелкие ошибки и недочёты в работе системы импорта новостей

FDE Grabber 6.2 - свобода наложения вотермарков на картинки, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и бесплатного обновления новая версия системы импорта новостей FDE Grabber 6.1 Изменения и дополнения, вошедшие в релиз:

В настройках категории источников добавлена возможность фильтрации изображений по наименьшему размеру:

Теперь можно указать минимальную ширину и/или высоту, по которым можно отфильтровывать ненужные картинки. Среди возможных действий, когда изображение оказывается меньшим указанных размеров, можно указать:

• удалять такие картинки из кода статьи
• удалять статью
• ничего не делать

Фильтрацию картинок можно осуществлять в краткой и полной новости отдельно.

При скачивании файлов и картинок добавлен функционал докачки при обрывах связи или тогда, когда сервер отдаёт их по частям (206 Partial Content)

Теперь, если при скачивании файла реальный размер отличается от задекларированного в заголовках сервера, с которого идёт скачивание, то граббер попытается докачать данный файл. Это, несомненно, значительно повышает процент успешно скачиваемых граббером файлов.

Обновлены хаки машинного перевода

Внимание! С 1 июля 2013 года Yandex Translate API вводит доступ к сервису перевода по ключу разработчика. Получить этот ключ можно бесплатно, на странице https://api.yandex.ru/key/form.xml?service=trnsl Если вы пользуетесь хаками машинного перевода, то вам потребуется обновить граббер, получить ключ разработчика, и указать его в настройках системы импорта новостей FDE Grabber.

Исправлены  ошибки и мелкие недоработки прошлых версий, внесены корректировки в HTML верстку системы

FDE Grabber 6.1 - возможность фильтрации картинок по наименьшему размеру, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия системы импорта новостей FDE Grabber 6.0 В новой версии мы существенно переработали систему публикации, и теперь у вас появилась новая возможность, позволяющая вести публикацию полученных граббером файлов и картинок через FTP протокол. Таким образом, теперь есть возможность вести публикацию файлов и картинок тремя способами:

• напрямую, в указанную папку, этот способ работает тогда, когда система импорта новостей установлена на том же сервере, куда идёт публикация
• с помощью транзитной системы граббера, данный способ применим тогда, когда система импорта новостей установлена на одном сервере, а сайт, в который идёт публикация на другом
• с помощью FTP протокола. Этот способ подходит для публикации файлов и картинок и когда граббер установлен на том же сервере и тогда, когда он установлен на отличном сервере от того, на котором расположен сайт, в который идёт публикация

Для того, чтобы включить публикацию через FTP протокол требуется в настройках сайта отметить галочку "Использовать FTP для публикаци файлов" и заполнить дополнительные поля: Также, в новой версии системы импорта новостей улучшен обход антилич защиты сайтов от скачивания изображений и исправлены мелкие недочёты и недоработки прошлых версий.

FDE Grabber 6 - возможность ведения публикации файлов и картинок через FTP протокол, читать далее...

  Дорогие друзья, извещаем о том, что вышла и доступна для покупки/обновления новая версия системы импорта новостей FDE Grabber 5.9 1 - Добавлена полноценная поддержка публикации полученных новостей на сайты в разных часовых поясах В настройках категории источников добавлена опция для выбора часового пояса источника: Также, опция для выбора часового пояса добавлена и в настройках сайта для публикации: Таким образом, вы сможете легко настроить граббер под самые необычные задачи, например когда источник работает в одном часовом поясе, граббер в другом, а сайт, в который идёт публикация в третьем Напоминаем, что выбор часового пояса, который используется для отображения дат в самом граббере указывается в разделе настроек системы: 2 - В настройках категории источников системы импорта новостей добавлена опция, позволяющая включить повышение резкости у картинок, после изменения их размера: 3 - В настройках категории источников граббера добавлена возможность указания произвольного содержимого атрибутов alt и title у картинок: 4 - Исправлены мелкие недочёты и недоработки прошлых версий

FDE Grabber 5.9 - возможность одновременной работы с сайтами в разных часовых поясах, читать далее...

Дорогие друзья, извещаем о том, что доступна для покупки и скачивания новая версия системы импорта новостей FDE Grabber 5.8 Изменения и дополнения:

Возможность изменить права на необходимые файлы и папки из админцентра

В разделе "Утилиты" добавлена возможность исправления неправильно выставленных прав на необходимые файлы и папки:

"Попытаться исправить неправильно выставленные права на нужные файлы и папки"

В том случае, если скрипты системы импорта новостей запускаются от того же пользователя, которым были записаны на сервер файлы и папки граббера, то попытка исправления неправильно выставленных прав на файлы и папки будет успешной, в противном случае вам придётся выставить необходимые права вручную. При тестировании настроек сайта, в случае обнаружения неправильно выставленных прав на необходимые файлы и папки, граббер попытается их исправить.

Возможность скачивания прикреплённых к новостям файлов

В настройках системы импорта новостей добавлено указание списка разрешённых для загрузки на сервер типов файлов: Следует отметить, что в этом списке указывать расширения файлов jpeg, jpg, gif, png не нужно  - их граббер учитывает самостоятельно В настройках категории добавлена опция, включающая скачивание разрешённых типов  файлов на сервер Если её включить, то при необходимости можно также указать дополнительные опции: В том случае, когда ссылки на скачивание файлов не имеют расширений и невозможно заранее определить нужно ли скачивать файл по данной ссылке или нет, например https://test.com/download/3612783, то можно указать дополнительные шаблоны в виде регулярных выражений для распознавания ссылок на скачивание, например: #/download/\d+#i Расширения скачиваемых файлов граббер пробует определить по:

• непосредственно расширению скачиваемого файла
• заголовкам, отправляемым сервером
• кроме того, при указании дополнительного сопоставления ссылок по шаблону можно указать расширение файла, которое будет использоваться, если его никаким другим способом определить не удалось

Для скачивания файлов был создан дополнительный кронтаб crontab_downloads.php, поэтому в разделе ручной крон появилась соответствующая кнопка: При включенной опции скачивания файлов, статья, после того, как будет получено её основное содержимое, не изменит свой статус на "ожидает публикации" до тех пор, пока не будут получены все прикреплённые файлы - только после скачивания последнего прикреплённого файла статью можно будет опубликовать.

Исправлены мелкие недочёты и недоработки прошлых версий

 

FDE Grabber 5.8 - возможность скачивать прикреплённые к новости файлы, читать далее...

Дорогие друзья, извещаем о том, что нам была прислана взломанная версия (null) программного продукта FDE Grabber 5.7, с которой незаконно была снята защита и добавлен вредоносный код, после чего бесплатно выложена на одном из "варезных" форумов. Настоятельно рекомендуем воздержаться от скачивания подобных скриптов, в большинстве случаев они окажутся неработоспособными и со встроенными бекдорами (backdoor), шелл-кодами и уязвимостями. "Сэкономив" единожды копейку на покупке лицензии и установив пиратскую версию можно  нанести себе несоизмеримо больший по объёмам ущерб. Подумайте, хотите ли вы устроить из своего сервера или хостингового аккаунта, за который платите реальные деньги площадку по рассылке спама, DDoS атак и других незаконных действий, которые будет осуществлять тот самый "Робин Гуд", "подаривший" вам пиратскую, взломанную версию скриптов, и постоянно переезжать с хостинга на хостинг за непомерную нагрузку, которую создаёт, всё тот же добрый  "Робин Гуд", за действия которого будете расплачиваться и нести ответственность вы. Хотите ли вы предоставить человеку с улицы полный контроль за своим сервером/хостинговым аккаунтом и разрешить ему делать всё что заблагорассудится? Согласно лицензионному соглашению, лицензия клиента, дистрибутив которой был выложен как null аннулирована. В любом случае, если вам действительно необходимо использовать нашу систему, то её демократичная стоимость абсолютно никак не отразится на вашем финансовом благополучии, зато при покупке вы получите не только возможность бесплатных консультаций, возможность использования на 10 серверах*, список которых всегда можно изменить в личной панели управления на нашем сайте, но и пожизненные бесплатные обновления, конечно, при условии соблюдения лицензионного соглашения. * в рамках одного сервера можно устанавливать неограниченное число копий FDE Grabber

Взломанная nulled версия программного продукта FDE Grabber 5.7, читать далее...

Дорогие друзья, извещаем вас о том, что доступна для покупки и скачивания новая версия системы импорта новостей FDE Grabber 5.7 Новые возможности:

Добавлены хаки для перевода новостей на другие языки:

• Немецко-русский переводчик [Яндекс.Перевод]
• Англо-русский переводчик [Яндекс.Перевод]
• Испанско-русский переводчик [Яндекс.Перевод]
• Французско-русский переводчик [Яндекс.Перевод]
• Итальянско-русский переводчик [Яндекс.Перевод]
• Украинско-русский переводчик [Яндекс.Перевод]
• Русско-немецкий переводчик [Яндекс.Перевод]
• Русско-английский переводчик [Яндекс.Перевод]
• Русско-испанский переводчик [Яндекс.Перевод]
• Русско-французский переводчик [Яндекс.Перевод]
• Русско-итальянский переводчик [Яндекс.Перевод]
• Русско-украинский переводчик [Яндекс.Перевод]

Указанные хаки используют бесплатное на данный момент API компании Yandex: Yandex Translate API. Перед использованием данных хаков необходимо ознакомиться с правилами использования API. В частности, Yandex позволяет переводить текст, в объёме 1 миллион символов в день, включая HTML разметку и пробелы. В граббере встроен счётчик, не допускающий превышение установленного лимита. Для оптимизации и сокращения количества запросов к Yandex Translate API настоятельно рекомендуется использовать хаки для перевода исключительно после основных преобразований контента, и применять одновременно к заголовку, полной и краткой новости: Пример новости без использования переводчика: Пример новости с использованием переводчика: P.S.: Google Translate API уже почти два года является платным решением, поэтому его использование мы даже не рассматривали.

В настройках источника граббера добавлена опция, позволяющая ограничить количество получаемых новостей в указанную единицу времени:

Так, теперь есть возможность указать, что мы желаем получать с определённого источника, например, не более 3 новостей в час.

В настройках сайта, для большего удобства, список доступных CMS теперь группируется по блокам:

FDE Grabber 5.7 - перевод новостей на другие языки, читать далее...