NullSEO 

Club

В нашем клубе Вы найдете:
       - уникальные софт, скрипты, базы, которых нет в открытом доступе;
       - всегда лучшие и рабочие версии, "вылеченные", контент постоянно обновляется и проверяется
         участниками клуба;
       - гарантированную техподдержку по VIP контенту, а также помощь в работе
         с другими материалами клуба, форум и отзывы;

Купить аккаунт и получить доступ к скачиванию файлов с закрытых разделов клуба
Закрыть
Логин:
Пароль:
Забыли свой пароль?
Регистрация
  Войти      Регистрация

Система импорта новостей FDE Grabber 5.9 (автоматический парсер и публикатор уникального контента в разные CMS)


Форумы
Список тем
Новые темы
Поиск
Пользователи 
Правила
Помощь
Авторизация: 
Регистрация

  Просмотров: 2890Тема: «Система импорта новостей FDE Grabber 5.9 (автоматический парсер и публикатор уникального контента в разные CMS)» в форуме: Обсуждение контента клуба
#1
Система импорта новостей FDE Grabber 5.9 (автоматический парсер и публикатор уникального контента в разные CMS)

FDE Grabber 5.9 (fde-grabber.ru) - это не модуль к какой-либо CMS, а отдельная система, RSS/Atom клиент-граббер, HTML парсер, способный импортировать новостной контент, включая изображения, уникализировать его, и публиковать полученные новости в различные CMS, а также комментарии к ним. FDE Grabber 5.9 может работать и как простой безшаблонный парсер (граббер) для импорта статей/новостей, и как полностью настраиваемый до мелочей профессиональный инструмент для граббинга сайтов. Скрипт также позволяет вести удалённую публикацию: когда граббер стоит и работает на одном сервере, а публикует на другой.


По сути, FDE Grabber 5.9 является аналогом скрипта Мультикомплекс 4.0 и работает со следующими движками (CMS), публикуя в них полученные новости:

- DLE (Data Life Engine), NG, Wordpress, Joomla 1.5.x/1.6.x/2.5.x/3.0.x (поддерживается работа только с MySQL базами данных), E107, Drupal, Danneo, Open Slaed (поддерживается и коммерческая версия), InstantCMS, FDE CMS.



Возможности FDE Grabber 5.9:

- импорт полного контента с RSS/Atom фидов, а также граббинг с HTML страниц со списками новостей;
- возможность логина на сайт, с которого идёт граббинг (например, для чтения скрытого от гостей текста);
- самая совершенная система настройки шаблонов для парсинга (1 - простая, без регулярных выражений; 2 - с использованием регулярных выражений; 3 - с использованием технологии DOM парсинга; 4 - а также технология бесшаблонного парсинга);
- разнообразные фильтры и замены слов (1 - простые, без регулярных выражений; 2 - с использованием регулярных выражений; 3 - по указанному DOM шаблону в паре с заменой);
- полноценная система перелинковки;
- поддержка изображений, внедрённых в тело HTML документа, закодированных, с помощью Base64 схемы;
- поддержка импорта данных с сайтов, расположенных в доменах, содержащих символы национальных алфавитов;
- возможность создания превью для картинок;
- возможность получения краткой новости (статьи, анонса) как из источника, так и путём обрезки полной новости по заданному количеству символов/абзацев/предложен­ий с автоматической корректировкой незакрытых HTML тегов (дескрипторов);
- умная система выравнивания картинок в статьях (в зависимости от размера изображения);
- возможность наложения на картинки вотермарков;
- настраиваемая обрезка каждой из сторон изображений (например, справа обрезать на столько-то пикселей, а слева на столько-то);
- возможность предварительного тестирования правильности настроек;
- встроенный синонимайзер (в комплекте 2 базы: русскоязычная и англоязычная);
- редактирование синонимов и стоп-слов через администраторский интерфейс;
- экспорт/импорт настроек граббера;
- экспорт/импорт баз синонимайзера;
- корректная работа с известными кодировками;
- возможность автоматического определения кодировки страницы по данным HTML тега META, а также отправляемому сервером заголовку Content-Type;
- возможность работы через прокси;
- ведение лога событий;
- поддержка фейковых пользователей и комментариев;
- возможность парсить ленты которые работают через FeedBurner;
- возможность парсить ленты, получать картинки, сохранять статьи, обходя редиректы;
- возможность публикации полученного контента на все указанные сайты или случайно в один из указанных;
- возможность выкачивания полностью всех новостей с сайта, в случае использования HTML источников (это достигается путём задействования обхода пейджера: http://site.com/page/{page}/, где {page} будет принимать значения номеров страниц пейджера сайта с указанным интервалом);
- возможность обхода по параметру, в случае использования HTML источников: http://site.com/param/{param}/, где {param} будет принимать указанные значения;
- корректная работа с тегом base;
- возможность использовать собственные хаки (микропрограммы для обработки контента). На данный момент, в стандартный дистрибутив входит порядка 10 хаков;
- отдельная настройка размеров изображений для краткой и полной новости;
- возможность не только уменьшать картинки, но и производить операцию обрезки (crop image);
- мультиязычность администраторского интерфейса (в данный момент доступны языки: русский, английский; язык сменяется через конфигурационный файл граббера);
- разграничение прав пользователей в админке граббера. Возможность назначать пользователям группу. Возможность создавать новые группы, с указанием прав доступа;
- возможность устанавливать лимит публикуемых статей за день;
- возможность автоматического клонирования категорий и источников;
- возможность массового изменения каких-либо параметров у выбранных категорий и источников;
- возможность автоматического определения категории, к которой относится данная статья на основе обработанных стеммером ключевых слов;
- возможность распознавания русских дат;
- возможность указания нескольких шаблонов для парсинга через теги логического ИЛИ: {or}, а также логического И: {and};
- возможность автоматического переименования получаемых картинок путём транслитерации заголовка статьи для получения псевдо SEF (ЧПУ) адресов;
- возможность настройки расположения вотермарка: левый верхний угол/правый верхний угол/левый нижний угол/ правый нижний угол/по центру/случайно из перечисленных вариантов;
- возможность указания случайной флуктуации дат публикации статей, которая устанавливается на уровне настройки категории источников;
- возможность указания фиксированного смещения даты новостей, которая устанавливается на уровне настройки категории источников;
- возможность универсальной настройки получаемых дат статей при граббинге: a) из источника б) дата, на момент граббинга источника в) дата, на момент граббинга статьи д) дата, на момент публикации.



Требования к хостингу, на котором может располагаться транзитная система публикации граббера в CMS (для удалённых, remote публикаций):

- PHP 4.3.0 и выше (рекомендуется от 5.2.5 и выше);
- MySQL 4 и выше;
- библиотеки PHP: pcre, mysql, iconv, gd, mb.
Отредактировано: Администратор 17.10.2013 10:35:34
Исправлена ошибка верстки
Профиль
#2
Жму добавить категорию - ничего не происходит.
Профиль
#3
Alexey Shustov, как обстоят дела - разобрались или нет?
Профиль
#4
Да, всё окей.
Профиль

Читают тему
гостей: 1, пользователей: 0, из них скрытых: 0

Самое популярное

Новости клуба


04.04.20
Юбилей!!!
Нам 10 лет! В честь юбилея...

23.12.19
Новогодняя акция "30% бонуса"
Традиционно, в честь Нового Года...

02.04.19
Скидки 20% в честь 9-летия клуба!
Сверхвыгодное предложение!..

Подписка на рассылку


 


Copyright © 2010 - 2020 NullSEO Club. All Rights Reserved.