Выпущена новая версия парсера контента FDE Grabber 4.8

Дорогие друзья, уведомляем вас о том, что доступна для скачивания новая версия системы импорта новостей, парсера контента, граббера сайтов FDE Grabber 4.8 Новые возможности:

  • Введена полноценная система перелинковки (о том что это такое и для чего она нужна читайте далее)
  • В DOM шаблоны для получения контента в настройках категории источников граббера добавлена возможность указания номеров не уникальных элементов, но подходящих под указанный шаблон, из которых будет получаться полезный контент. Так, например, если вы указали DOM шаблон в виде BODY TABLE DIV, а на странице элементов, подходящих под этот шаблон больше одного, то теперь есть возможность указать порядковые номера этих элементов (через запятую или пробел), из которых граббер будет получать контент. Если соответствующее поле не заполнять, то граббер будет получать контент сразу из всех элементов, подходящих под указанный шаблон.
  • исправлены мелкие недочёты прошлых версий

Система перелинковки

В случае, если для вашего сайта активирована система перелинковки: То при публикации статей на него граббер будет её использовать. Система работает следующим образом:
  • Указывается адрес ссылки и возможные подписи к ней (через запятую). Кроме того, указывается сайт (добавленный  в граббер через раздел "сайты"), для которого будут проставляться ссылки.
  • В момент публикации, если в тексте статьи встречаются указанные текстовые подписи, то они будут замены на соответствующие ссылки.
При добавлении ссылки можно указать применение стеммера - таким образом отпадёт необходимость склонять по падежам указанные подписи. Кто-то предпочтёт потратить лишние 2-3 минуты и просклоняет подписи к ссылкам, а кто-то может включить использование стеммера.

Выпущена новая версия парсера контента FDE Grabber 4.8, читать далее...

Удалённая публикация в парсере контента FDE Grabber

Бывает, что необходимо поставить граббер на сервер, отличный от того, на котором находится сайт, куда требуется публиковать получаемые граббером статьи. Причины могут быть разные - желание централизовать управление наполнением сайтов, разгрузка ресурсов сервера, на котором находится сайт и т.д. В FDE Grabber публикацию полученных статей можно осуществлять как локальную так и удалённую. Локальная публикация — это такой режим работы граббера, когда он установлен на том же сервере, что и сайт, в который требуется публиковать полученные статьи. Удалённая публикация — это такой режим работы граббера, когда он установлен на другом сервере, отличном от того, на котором работает сайт, в который требуется публиковать полученные статьи. Если в случае локальной публикации всё понятно - ставится граббер рядом с сайтом, который требуется наполнять и поехали, то в случае удалённой публикации могут возникнуть вопросы. Для осуществления удалённой публикации нам потребуется при настройке сайта (в разделе граббера "сайты") отметить опцию «Удалённая публикация» и заполнить поле «URL транзитного файла». URL транзитного файла — это адрес транзитного файла копии граббера, которую потребуется установить на тот же сервер, где находится ваш сайт. Так, если ваш сайт, например, находится по адресу https://test.com/ и вы установили транзитную копию граббера в директорию fde, так, что URL граббера получился https://test.com/fde/. Тогда URL транзитного файла будет выглядеть так: https://test.com/fde/transit_publication.php Транзитную копию граббера не обязательно устанавливать полностью, запуская инсталлятор install.php. Если копия граббера будет использоваться только в транзитных целях, то достаточно отредактировать его конфигурационный файл /путь_к_корню_папки_системы_импорта_новостей_на_сервере/config/dynamic.php следующим образом: ‘FILES_DIR’ => ‘/путь_к_грабберу_на_сервере/uploads/files/’, ‘TMP_DIR’ => ‘/путь_к_грабберу_на_сервере/uploads/tmp/’, указав реальные пути и проставив на соответствующие папки права на запись. Больше ничем удалённая публикация не отличается от локальной - все остальные параметры сайта указываются так, как если бы граббер осуществлял локальную публикацию.

Удалённая публикация в парсере контента FDE Grabber, читать далее...

FDE Grabber на сервере с динамическим IP

Можно ли запускать FDE Grabber на сервере с динамическим IP? - ответ да. В рамках одной лицензии вы вправе запускать FDE Grabber на 10 разных IP, а также с основного домена. Это означает, что если вы привязали к своему серверу с динамическим IP какой-либо домен, то если указать этот домен, как основной в свойствах лицензии на систему импорта новостей, то вы сможете запускать на таком сервере FDE Grabber:

FDE Grabber на сервере с динамическим IP, читать далее...

FDE Grabber 4.7

Дорогие друзья, уведомляем вас о том, что вышла новая версия системы импорта новостей FDE Grabber 4.7 Новые возможности:

  • Добавлен модуль редактирования языковых файлов системы импорта новостей (о том как им пользоваться и зачем он вообще нужен читайте ниже)
  • Добавлен новый хак обхода редиректов (перенаправлений) в ссылках. Так, например, если в контенте существует ссылка, вида https://site.ru/?id=23123217, при переходе через которую вы перенаправляетесь например на страницу https://fdstar.net/,  то при активации хака система перейдёт по ссылке и заменит адрес на конечный результат: https://fdstar.net/ вместо того, который был вначале (https://site.ru/?id=23123217). Данный хак работает только с редиректами, отправляемыми через HTTP заголовки - если сайт использует другой тип перенаправления, например через метатег или с помощью javascript, то его использование не поможет.
  • Теперь при работе удалённой публикации файлы во временной папке на удалённом сервере не накапливаются, а сразу удаляются.
  • Добавлена поддержка нового типа движка DataLife Engine 9.6, (после выхода новой версии DLE старый файл публикации больше не подходит).
Что такое модуль для редактирования языковых файлов граббера Данный модуль нужен для коррекции возможных ошибок и недочётов в подписях и текстах FDE Grabber, а также как средство удобного перевода системы на другие языки. Если вы хотите помочь развитию системы, перевёв её на новый язык, то данный модуль поможет это сделать. Языковые файлы граббера находятся в папке languages. Под каждый поддерживаемый язык выделена отдельная подпапка, так например для русского языка выделена директория languages/russian, а для английского languages/english. При работе с модулем редактирования языковых файлов требуется проставить права на запись (например 0777) как на сами языковые папки, так и на их содержимое - языковые файлы. При создании нового языка требуется создать внутри папки languages новую директорию, в которой будут храниться языковые файлы нового языка. Например для украинского языка мы можем создать пустую папку languages/ukranian и выставить на неё права на запись, после чего воспользоваться модулем редактирования и переводов. Как пользоваться модулем редактирования и переводов языковых файлов системы импорта новостей FDE Grabber Для того, чтобы отредактировать какой либо язык или языки требуется зайти на главную страницу модуля, выбрать требуемый язык, при необходимости добавить для редактирования дополнительный язык, воспользовавшись кнопками "+" и "-". После чего нажать на кнопку "применить". Для редактирования какого либо файла требуется перейти, кликнув по соответствующей ссылке: После проведения перевода или редактирования сохранить результат, нажав на кнопку "изменить": Для того, чтобы увидеть свой перевод среди списка возможных для выбора языков: Потребуется очистить папку граббера "cache", сделав это или напрямую через файловую систему или с помощью функции "очистки кеша" в разделе "утилиты" граббера. Перед тем как это сделать убедитесь в том, что переведены все языковые файлы граббера иначе вы можете увидеть сообщения об ошибках.  

FDE Grabber 4.7, читать далее...

Разделы сайта

Форум web-разработчиков

Последние записи