Дорогие друзья, извещаем о том, что доступна для покупки и скачивания новая версия системы импорта новостей FDE Grabber 5.8 Изменения и дополнения:

Возможность изменить права на необходимые файлы и папки из админцентра

В разделе "Утилиты" добавлена возможность исправления неправильно выставленных прав на необходимые файлы и папки:

"Попытаться исправить неправильно выставленные права на нужные файлы и папки"

В том случае, если скрипты системы импорта новостей запускаются от того же пользователя, которым были записаны на сервер файлы и папки граббера, то попытка исправления неправильно выставленных прав на файлы и папки будет успешной, в противном случае вам придётся выставить необходимые права вручную. При тестировании настроек сайта, в случае обнаружения неправильно выставленных прав на необходимые файлы и папки, граббер попытается их исправить.

Возможность скачивания прикреплённых к новостям файлов

В настройках системы импорта новостей добавлено указание списка разрешённых для загрузки на сервер типов файлов: Следует отметить, что в этом списке указывать расширения файлов jpeg, jpg, gif, png не нужно  - их граббер учитывает самостоятельно В настройках категории добавлена опция, включающая скачивание разрешённых типов  файлов на сервер Если её включить, то при необходимости можно также указать дополнительные опции: В том случае, когда ссылки на скачивание файлов не имеют расширений и невозможно заранее определить нужно ли скачивать файл по данной ссылке или нет, например https://test.com/download/3612783, то можно указать дополнительные шаблоны в виде регулярных выражений для распознавания ссылок на скачивание, например: #/download/\d+#i Расширения скачиваемых файлов граббер пробует определить по:

• непосредственно расширению скачиваемого файла
• заголовкам, отправляемым сервером
• кроме того, при указании дополнительного сопоставления ссылок по шаблону можно указать расширение файла, которое будет использоваться, если его никаким другим способом определить не удалось

Для скачивания файлов был создан дополнительный кронтаб crontab_downloads.php, поэтому в разделе ручной крон появилась соответствующая кнопка: При включенной опции скачивания файлов, статья, после того, как будет получено её основное содержимое, не изменит свой статус на "ожидает публикации" до тех пор, пока не будут получены все прикреплённые файлы - только после скачивания последнего прикреплённого файла статью можно будет опубликовать.

Исправлены мелкие недочёты и недоработки прошлых версий

 

FDE Grabber 5.8 - возможность скачивать прикреплённые к новости файлы, читать далее...

Дорогие друзья, извещаем о том, что нам была прислана взломанная версия (null) программного продукта FDE Grabber 5.7, с которой незаконно была снята защита и добавлен вредоносный код, после чего бесплатно выложена на одном из "варезных" форумов. Настоятельно рекомендуем воздержаться от скачивания подобных скриптов, в большинстве случаев они окажутся неработоспособными и со встроенными бекдорами (backdoor), шелл-кодами и уязвимостями. "Сэкономив" единожды копейку на покупке лицензии и установив пиратскую версию можно  нанести себе несоизмеримо больший по объёмам ущерб. Подумайте, хотите ли вы устроить из своего сервера или хостингового аккаунта, за который платите реальные деньги площадку по рассылке спама, DDoS атак и других незаконных действий, которые будет осуществлять тот самый "Робин Гуд", "подаривший" вам пиратскую, взломанную версию скриптов, и постоянно переезжать с хостинга на хостинг за непомерную нагрузку, которую создаёт, всё тот же добрый  "Робин Гуд", за действия которого будете расплачиваться и нести ответственность вы. Хотите ли вы предоставить человеку с улицы полный контроль за своим сервером/хостинговым аккаунтом и разрешить ему делать всё что заблагорассудится? Согласно лицензионному соглашению, лицензия клиента, дистрибутив которой был выложен как null аннулирована. В любом случае, если вам действительно необходимо использовать нашу систему, то её демократичная стоимость абсолютно никак не отразится на вашем финансовом благополучии, зато при покупке вы получите не только возможность бесплатных консультаций, возможность использования на 10 серверах*, список которых всегда можно изменить в личной панели управления на нашем сайте, но и пожизненные бесплатные обновления, конечно, при условии соблюдения лицензионного соглашения. * в рамках одного сервера можно устанавливать неограниченное число копий FDE Grabber

Взломанная nulled версия программного продукта FDE Grabber 5.7, читать далее...

Дорогие друзья, извещаем вас о том, что доступна для покупки и скачивания новая версия системы импорта новостей FDE Grabber 5.7 Новые возможности:

Добавлены хаки для перевода новостей на другие языки:

• Немецко-русский переводчик [Яндекс.Перевод]
• Англо-русский переводчик [Яндекс.Перевод]
• Испанско-русский переводчик [Яндекс.Перевод]
• Французско-русский переводчик [Яндекс.Перевод]
• Итальянско-русский переводчик [Яндекс.Перевод]
• Украинско-русский переводчик [Яндекс.Перевод]
• Русско-немецкий переводчик [Яндекс.Перевод]
• Русско-английский переводчик [Яндекс.Перевод]
• Русско-испанский переводчик [Яндекс.Перевод]
• Русско-французский переводчик [Яндекс.Перевод]
• Русско-итальянский переводчик [Яндекс.Перевод]
• Русско-украинский переводчик [Яндекс.Перевод]

Указанные хаки используют бесплатное на данный момент API компании Yandex: Yandex Translate API. Перед использованием данных хаков необходимо ознакомиться с правилами использования API. В частности, Yandex позволяет переводить текст, в объёме 1 миллион символов в день, включая HTML разметку и пробелы. В граббере встроен счётчик, не допускающий превышение установленного лимита. Для оптимизации и сокращения количества запросов к Yandex Translate API настоятельно рекомендуется использовать хаки для перевода исключительно после основных преобразований контента, и применять одновременно к заголовку, полной и краткой новости: Пример новости без использования переводчика: Пример новости с использованием переводчика: P.S.: Google Translate API уже почти два года является платным решением, поэтому его использование мы даже не рассматривали.

В настройках источника граббера добавлена опция, позволяющая ограничить количество получаемых новостей в указанную единицу времени:

Так, теперь есть возможность указать, что мы желаем получать с определённого источника, например, не более 3 новостей в час.

В настройках сайта, для большего удобства, список доступных CMS теперь группируется по блокам:

FDE Grabber 5.7 - перевод новостей на другие языки, читать далее...

Дорогие друзья, извещаем вас о том, что доступна новая версия системы парсинга новостей FDE Grabber 5.6 О том, что было сделано и изменено в новой версии читайте ниже.

Изменён интерфейс редактора простых шаблонов, он стал ещё удобнее:

При настройке категории источников: При настройке источника:

Переписан движок простого парсинга, теперь он позволят полностью забыть о пробелах и переносах строк при составлении простого шаблона, а также предоставляет ряд удобных дополнительных возможностей:

• Теперь можно использовать новые переменные:
  • {a} - соответствует ненужному, динамически изменяющемуся значению атрибута HTML дескриптора (соответствует регулярному выражению [^<>]*?)
  • {d} - соответствует ненужному, динамически изменяющемуся числу (соответствует регулярному выражению \d+)
• При указании в шаблоне для простого парсинга переменной, например {description} теперь можно добавлять уточнения того, какой контент должен сохраниться в данную переменную, с помощью регулярных выражений: {переменная[регулярное выражение]}.
  • Пример 1: {description[[a-z\d\s\.]+]} означает, что в description может содержаться только текст, состоящий из латинских символов, цифр, пробельных символов и точки, иначе шаблон не подойдёт.
  • Пример 2: {null[\d+]} - ненужный контент, состоящий из последовательности цифр, аналог {d}
  • Пример 3: {null[[a-z]+]} - ненужный контент, состоящий из последовательности латинских символов (от регистра не зависит)

В настройках категории добавлено указание списка разрешённых хостов в ссылках исходной статьи

Эта важная и удобная функция даёт возможность фильтровать новостные статьи и оставлять только авторские. Принцип её работы заключается в том, что если в новостной статье содержатся ссылки на чужие сайты, то с большой долей вероятности, она не является авторской. Пример: пусть, нам требуется импортировать какие-либо новостные статьи с какого-либо сайта, для определённости его адрес: https://www.test.com/. И нам нужны только авторские новости с этого сайта, а не перепечатанные, то есть в которых не содержатся ссылки на третьи сайты-источники. В большинстве случаев авторские новости могут или вообще не содержать никаких ссылок или содержать ссылки на внутренние статьи, которые расположены в пределах хоста сайта-источника test.com или его поддоменов *.test.com, поэтому в настройках категории для осуществления фильтрации по данному принципу мы указываем список разрешённых хостов в ссылках исходной статьи: test.com, *.test.com Любая статья, содержащая в ссылках чужие хосты не будет сохранена граббером.

В настройках источника теперь можно конкретизировать какие адреса ссылок на статьи нам нужны, с помощью регулярного выражения

Пример: пусть нам требуется распарсить источник, в котором ссылки на статьи имеют вид https://test.com/news/* и https://test.com/articles/*. И нас интересуют только те статьи, адреса которых начинаются с https://test.com/news/, поэтому в настройках источника граббера, мы можем указать соответствующее уточнение, с помощью регулярного выражения: #^https://test\.com/news/#i Все статьи, адрес которых начинается с  https://test.com/news/ граббер сохранит, а остальные, например адрес которых начинается с  https://test.com/articles/ отбросит

В настройках категории источников добавлены новые поля, отвечающие за название сайта источника и за его адрес

Эти поля используются при простановке ссылок в статьях на сайты-источники:

Добавлен новый хак для простановки ссылок на сайт-источник в первом абзаце текста

Некоторые сайты позволяют перепечатку новостей, но при условии указания обратной ссылки, причём не где-либо, а именно не ниже первого абзаца статьи. Новый хак позволяет это сделать. Текст статьи без использования хака: Текст статьи с использованием хака:

FDE Grabber 5.6 - отбираем только самое лучшее!, читать далее...

Дорогие друзья, извещаем вас о том,что вышла новая версия системы импорта новостей FDE Grabber 5.5 Новые возможности:

• В разделе настроек, во вкладке настроек файлов и картинок добавлено новое свойство "Максимальное количество символов в имени файла, без учёта префиксов и суффиксов":

Данное свойство отвечает за количество символов, которое будет отводиться под имена сохраняемых граббером файлов: Аналогичное свойство добавлено при добавлении и редактировании сайта, которое отвечает за количество символов в адресах статей:

• Добавлена мультиязычная таблица транслитерации, которая включает в себя в данный момент кириллицу и латиницу
• В настройках граббера добавлена новая вкладка "Почта", отвечающая за отправляемые через систему импорта новостей почтовые сообщения:
• В настройках граббера добавлена новая вкладка "Уведомление об ошибках", отвечающая за нотификацию о возникающих при работе граббера проблемах

В данный момент система нотификации поддерживает следующие виды событий:

1. Невозможность получить статьи, согласно указанному шаблону в настройках категории источников
2. Невозможность получить список статей, согласно указанному шаблону в настройках источника

Когда может пригодиться данная система? Предположим, что вы настроили парсинг статей или новостей с определённого источника, но со временем на сайте источнике поменялся шаблон и указанный шаблон в настройках граббера перестал работать. Узнать об этом можно только лишь зайдя в граббер. Поскольку многие пользователи настроив граббер благополучно о нём забывают, со временем может сложиться ситуация, что новости перестают получаться. Для того, чтобы оперативнее реагировать на такие события и создана система нотификации о возникающих ошибках, связанных с парсингом статей. Для того, чтобы активировать систему нотификации в граббере требуется: 1 - настроить отправку почтовых сообщений во вкладке "Почта" 2 - включить галочку "Включить регулярное уведомление об ошибках" во вкладке "Уведомления об ошибках", а также указать почтовый ящик, на который будут отправляться данные уведомления 3 - поставить на крон запуск скрипта граббера "crontab_notification.php", с интервалом, например, каждый час  

FDE Grabber 5.5 - нотификация о событиях, читать далее...

Дорогие друзья, с радостью сообщаем вам о том, что доступна для покупки и скачивания новая версия системы импорта новостей FDE Grabber 5.4 Изменения и дополнения:

• В настройках граббера добавлен выбор временной зоны (часового пояса), в которой должна работать система:

Список доступен на всех поддерживаемых языках граббера: русский, английский, украинский

• Добавлена возможность публикации в форум XenForo (https://xenforo.com/)

• Добавлены хаки, позволяющие преобразовывать HTML код в BB коды. Данное преобразование работает не путём простой замены, а последовательности действий:

1. построение на основе HTML кода DOM дерева
2. произведение обратных преобразований, но не в HTML код, а в BB коды, на основе сопоставления HTML дескрипторов, их стилей и атрибутов BB кодам

Благодаря чему достигается наилучший результат.

Данные хаки можно выбирать при настройке категории:

• При проведении теста категорий источников и источников теперь рядом с выбранным пунктом, для удобства пользователя отображается небольшая ссылка, позволяющая перейти к настройкам записи:

• Исправлены мелкие недочёты и недоработки прошлых версий

Новая версия системы импорта новостей FDE Grabber 5.4, читать далее...

Дорогие друзья, извещаем вас о том, что доступна для покупки и скачивания новая версия системы импорта новостей FDE Grabber 5.3 Изменения и нововведения:

• Добавлен модуль для тестирования регулярных выражений. В нём вы можете указать текст, указать какую замену регулярным выражением к нему применить, и посмотреть результат
• Изменена система обновлений. Для того, чтобы обновиться до последней версии с любой из версий граббера, начиная с версии 4.0 достаточно всего лишь обновить файлы дистрибутива граббера, кроме конфига и запустить файл update.php.
• В настройках путей граббера теперь можно указывать переменную {root}, которая определяется автоматически и соответствует полному пути к грабберу на  сервере. Так, вам теперь не потребуется узнавать полный путь к грабберу на сервере, чтобы его установить и  настроить
• Исправлены мелкие недоработки и недочёты прошлых версий

Модуль для тестирования регулярных выражений Для тестирования замен в тексте, с помощью регулярных выражений требуется

1. указать текст, на котором будем проводить тест, например www.test.ru
2. указать регулярное выражение, например #test.ru#i
3. указать замену, на что мы хотим заменить найденные вхождения текста; если  их требуется удалить, то это поле нужно оставить пустым
4. нажать на кнопку "тестировать"
5. в поле "Текст после замены" отобразится результат

 

FDE Grabber 5.3 - возможность тестирования регулярных выражений, читать далее...

Дорогие друзья, извещаем вас о том что доступна для покупки и скачивания новая версия системы импорта новостей и парсера контента FDE Grabber 5.2 Новый функционал и изменения:

• Улучшена система работы с картинками - теперь граббер просчитывает все действия, которые будет производить с картинками наперёд, что позволяет более экономно расходовать серверные ресурсы.

• Добавлена возможность четырёхсторонней обрезки (кроппинга) исходных сохраняемых изображений (например для обрезки вотермарков, более подробно читайте ниже)

• При автоматическом определении кодировки статей теперь принимаются во внимание не только данные из HTML тега <META>, но и отправляемые сервером заголовки
• Улучшен интерфейс настройки категорий источников, источников и сайтов - добавлены логические разделители
• При тестировании настроек категории теперь, если не указать категорию источников, а только адрес статьи, которая уже находится в списке полученных статей, то категория выберется автоматически
• При просмотре списка статей, а также самих статей в граббере сайтов добавлены кнопки теста категории источников

Четырёхсторонний кроппинг картинок

  При настройке категории источников теперь можно указать по сколько пикселей должен обрезать граббер у каждой из сторон исходного изображения. Обрезку можно назначить только если изображение превышает опорные размеры: Обрезка картинок в краткой новости и полной настраивается отдельно.

Зачем нужна обрезка изображений

  Когда сайт-донор добавляет на картинки вотермарки - небольшие картинки, наложенные на исходные, то это выглядит примерно следующим образом: В правом нижнем углу на картинке находится вотермарк. Если вотермарки нежелательны, то для их удаления единственным возможным решением может быть только обрезка изображений. Если обрезать картинку снизу на высоту вотермарка, то картинка будет выглядеть так:  Следует отметить, что FDE Grabber четырёхстороннюю обрезку производит у исходных картинок, а уже потом производит иные преобразования, манипулируя уже обрезанными картинками.  

FDE Grabber 5.2 - импорт новостей с возможностью четырёхсторонней обрезки изображений, читать далее...

Доступна для покупки и скачивания новая версия системы импорта новостей FDE Grabber 5.1

• Новый механизм работы с динамическими списками

Полностью переработан и улучшен механизм для работы с динамическими списками. Для удобства теперь каждый элемент списка выделяется чередующимся цветом (зеброй). При изменении порядка/удалении/добавлении нового элемента зебра автоматически перерисовывается. Добавлены кнопки для удаления выбранных элементов списка: Добавлены области захвата элементов списка для последующего перетаскивания мышью на новое место, с целью изменения порядка следования элементов и их сортировки:

• Поддержка импорта и сохранения изображений, внедрённых непосредственно в тело HTML документа

Теперь, если в статье, которую необходимо импортировать находится картинка, встроенная в тело документа, с помощью метода Base64 - FDE Grabber автоматически распознает картинку и сохранит. Пример такой картинки:

<img
src="data:image/gif;base64,R0lGODdhMAAwAPAAAAAAAP///ywAAAAAMAAw
AAAC8IyPqcvt3wCcDkiLc7C0qwyGHhSWpjQu5yqmCYsapyuvUUlvONmOZtfzgFz
ByTB10QgxOR0TqBQejhRNzOfkVJ+5YiUqrXF5Y5lKh/DeuNcP5yLWGsEbtLiOSp
a/TPg7JpJHxyendzWTBfX0cxOnKPjgBzi4diinWGdkF8kjdfnycQZXZeYGejmJl
ZeGl9i2icVqaNVailT6F5iJ90m6mvuTS4OK05M0vDk0Q4XUtwvKOzrcd3iq9uis
F81M1OIcR7lEewwcLp7tuNNkM3uNna3F2JQFo97Vriy/Xl4/f1cf5VWzXyym7PH
hhx4dbgYKAAA7"
alt="Good girl" />

• Добавлена полноценная поддержка импорта контента с сайтов, расположенных в доменах, содержащих символы национальных алфавитов

Теперь FDE Grabber может полноценно импортировать контент с сайтов, находящихся в доменах вида россия.рф, москва.ru  и т.д.

• Адреса, начинающиеся с // теперь автоматически воспринимаются как начинающиеся с https://

 

Новая версия парсера контента FDE Grabber 5.1, читать далее...

Дорогие друзья, извещаем вас о том, что доступна для скачивания  и покупки новая версия системы импорта новостей FDE Grabber 5 Новые возможности:

• добавлена система умного выравнивания картинок (в настройках категории источников), о том, как её использовать читайте далее
• в настройках источников добавлена опция, в зависимости от которой краткую новость можно получить как из источника, так и из полной новости, путём обрезки по заданному количеству абзацев/символов/предложений
• в настройках категории добавлена опция указания вставки в атрибуты alt и title изображений содержимого заголовка статьи (для SEO оптимизации)
• в настройках категории добавлена возможность для картинок указать отступы от текста по вертикали и горизонтали (отдельно для кратких и полных новостей)
• добавлена система подсказок для удобного и правильного указания кодировок сайтов
• добавлена система проверки настроек сайтов, в которые планируется публиковать полученные статьи
• добавлена система ограничения доступа по IP/подсетям
• добавлена система транзитных ключей, позволяющая повысить безопасность при удалённой публикации

Теперь обо всём более подробно...  

Система умного выравнивания картинок

Данная система позволяет в зависимости от заданного опорного размера указывать разное выравнивание картинок в кратких и полных новостях. Пример: опорный размер задан как 300X300 (ширина 300 пикселов, высота 300 пикселов). При размере изображения меньше указанного размера мы можем указать выравнивание, например по левому краю. А при превышении заданного размера выравнивание, например поставить по центру. Таким образом получаемые новости будут смотреться гораздо красивее.  

Возможность получать краткую новость как из источника так и путём обработки полной новости

При настройке источника теперь можно указать как вы желаете получать краткую новость. По умолчанию она будет получаться из источника, но можно и переключить логику так, чтобы система импорта новостей получала её из полной новости. Кроме того, можно указать обрезку краткой новости по заданному количеству символов/параграфов/предложений. При любом типе обрезки система автоматически закрывает открытые HTML теги.    

Система подсказок при настройке сайта

При указании кодировки сайта система сама предложит варианты правильных кодировок, что позволит избежать досадных ошибок при настройке сайта. При выборе кодировки,  подсказанной системой все остальные поля кодировок заполнятся автоматически (если они были пустыми).  

Возможность проверки настроек сайта до использования

Возможности ограничения доступа к системе по заданным IP адресам/подсетям

Значения указываются через пробел. Если необходимо указать подсеть, то используется звёздочка, например: 46.8.2.* Параметр, в конфиге граббера config/dynamic.php, отвечающий за список разрешённых IP называется ALLOWED_IP. Если у вас изменится IP адрес, то для восстановления доступа можно отредактировать данный параметр.   В случае попытки доступа к системе с IP, не входящего в список доступ будет запрещён.

Возможность повысить безопасность, используя транзитные ключи

При транзитной публикации теперь можно указать секретный ключ при настройке сайта: И транзитный ключ при настройке самого граббера: В конфиге граббера config/dynamic.php параметр, отвечающий за транзитный ключ называется TRANSIT_KEY В случае, если ключи, указанные в настройках сайта и в настройках транзитной системы граббера не совпадут, то доступ к публикации будет заблокирован.  

При использовании граббера теперь необходимо обязательно сменить дефолтный пароль, иначе система откажется работать.

   

FDE Grabber 5: ещё умнее, надёжнее, безопаснее, читать далее...