Импорт RSS-лент и контента в Drupal. Модуль Feeds

посмотреть

Ситуация простая: есть некий сайт, rss-ленты с других сайтов, и желание заполнить сайт контентом. Но есть небольшая проблема: в лентах лишь анонс материала, а за полной версией нужно идти по ссылке в rss-ленте. Значит нам нужно импортировать rss-ленту, заменив анонсы материалов на полные версии страниц.

На помощь нам спешит модуль Feeds. Он позволяет:

  • импортировать RSS-ленты, CSV, OPML файлы
  • создавать материалы, категории, пользователей на основе импортированных данных
  • выполнять регулярный импорт
  • позволяет осуществлять маппинг полей источника и полей конечного материала

Кроме этого есть большое количество модулей, позволяющих расширить функциональность Feeds.

Извлечь полные версии материалов в рамках модуля feeds и его расширений у меня не получилось. В поисках я случайно наткнулся на сервис Pipes от Yahoo.

Он предоставляет огромные возможности по обработке rss-лент и сбора контента в сайтов. Наличие ленты не является обязательным требованием. Кроме того вы сможете производить манипуляции с полученными данными: фильтровать записи, удалять или заменять фрагменты, выбирать записи по критерям, и также создавать свои rss-ленты.

Идея простая: импортируем rss-ленту в Pipes, обрабатываем и аггрегируем на нашем сайте с помощью модуля Feeds. Вот что получилось в pipes:

Нам пригодилось три основных инструмента: Fetch Feed (для чтеня ленты), Loop (для обхода по каждому материалу ленты), Fetch Page (получение страницы по ссылке в материале ленты).

Обратите внимание, что содержимое полученной страницы отсекается.

Следует говориться, что не любую ленту можно переработать таким образом. Работа с модулем Feeds интуитивно понятно. Порядок:

  • устанавливаем модуль Feeds
  • создаем новый импортер
  • прикрепляем его к отдельному типу материала. Каждый раз, когда нам нужно импортировать новую ленту мы создаем отдельный материал этого типа, и в поле RSS пишем адрес ленты.
  • указывает тип материала приемника и устанавливаем соотвествие полей источнка и приемника
  • импортируем)

По каким-то причинам импорт по крону не выполняется. Возможно это лишь у меня, и у Вас ошибка не повторится.

 

вернуться назад

Комментарии

крон

поправка. с импортом по расписанию все в порядке.