Импорт из фидов (MRSS, RSS, CSV, JSON)
Подключайте внешние фиды и автоматически загружайте новые видео по расписанию.
Импорт фидов (иногда называемый грабберами) обеспечивает автоматический рост вашей библиотеки. Вы один раз подписываетесь на удалённый фид, и TubePress проверяет его по расписанию, загружает новые видео и пропускает уже добавленные.
Раздел находится в виде вкладки на экране импорта — откройте /admin/import и переключитесь на вкладку Feeds (URL /admin/feeds перенаправляет туда). В отличие от разовой загрузки файла, фид продолжает пополнять ваш сайт по мере того, как источник публикует новый контент.
Что делает импорт фидов
Каждый источник — это URL фида плюс несколько настроек. По расписанию TubePress получает фид, нормализует каждую запись и ставит новые в очередь; на втором этапе элементы очереди превращаются в видео. Вы выбираете способ хранения медиафайлов:
- Embed — сохранить ссылку на плеер. Быстро, не занимает место в хранилище, видео воспроизводится из источника.
- Download — загрузить файл в ваше хранилище или CDN и перекодировать в нужные форматы.
Для каждого источника также задаётся тип видео (straight, gay или hentai) и режим добавления новых видео: автопубликация или сохранение как черновик для проверки.
Поддерживаемые форматы фидов
Поддерживаются четыре формата, автоматически определяемых кнопкой Detect & Preview:
| Формат | Сопоставление | Примечания |
|---|---|---|
| MRSS | Автоматически | Media RSS — наиболее богатый вариант; поля сопоставляются автоматически. |
| RSS | Автоматически | Стандартные элементы RSS. |
| CSV | Вручную | CSV по URL; вы сопоставляете столбцы. |
| JSON | Вручную | Массив JSON по URL; вы сопоставляете ключи. |
Добавление источника фида
- Откройте вкладку Feeds. Перейдите в
/admin/import, выберите Feeds, затем нажмите Add Feed Source. - Введите URL фида. URL должен начинаться с
http://илиhttps://. Нажмите Detect & Preview для автоопределения формата и предварительного просмотра первых записей. - Назовите источник и подтвердите тип. Укажите название источника и проверьте определённый формат (MRSS, RSS, CSV или JSON) и тип видео.
- Выберите режим. Embed — для сохранения ссылок на плеер, или Download — для загрузки и перекодирования файлов.
- Сопоставьте столбцы при необходимости. MRSS и RSS сопоставляются автоматически; для CSV/JSON перетащите каждый столбец в соответствующее поле.
- Задайте расписание и параметры. Выберите интервал обновления, правило обработки дубликатов, автопубликацию и количество страниц для обхода.
- Сохраните. Используйте Fetch now для немедленного получения или дождитесь выполнения по расписанию. Run queue обрабатывает ожидающие элементы по запросу.
Сопоставление полей
Фиды нормализуют записи в те же канонические поля, которые использует импортёр. Для MRSS/RSS это происходит автоматически; для CSV/JSON вы сопоставляете столбцы со следующими полями:
video_url используется как ссылка для встраивания, если вы не указали embed_url, — поэтому минимальный фид требует лишь названия и одного URL.Расписание и автоматизация
Фоновая задача feed_import запускается через псевдо-cron примерно каждые 30 секунд — системный crontab не требуется. Каждый источник опрашивается только по истечении собственного интервала:
- Manual only — автоматически не опрашивается; используйте Fetch now.
- Каждые 15 минут, каждый час, каждые 6 часов или каждый день.
Эта же задача опустошает очередь импорта: элементы Embed обрабатываются по несколько одновременно, загрузки — по одной, чтобы большой файл не блокировал остальные. Параметр Max pages (1–50) ограничивает глубину обхода пагинированного фида за один запрос.
Дедупликация и фильтры
Дедупликация выполняется автоматически на двух уровнях:
- На уровне источника.
guidкаждого элемента запоминается, поэтому повторный запрос добавляет в очередь только действительно новые записи (уже виденные подсчитываются и пропускаются). - На уровне сайта. В режиме Download идентификатор элемента сохраняется в видео, поэтому один и тот же клип из двух разных фидов не скачивается дважды.
Параметр On duplicate определяет действие при наличии элемента: Skip (рекомендуется) или Update existing.
Устранение неполадок с фидами
- «Could not recognise the feed format.» URL не вернул корректный MRSS/RSS/CSV/JSON. Откройте его в браузере и убедитесь, что отображается сырой фид, а не HTML-страница.
- Элементы застряли в статусе «importing». Они восстанавливаются самостоятельно примерно через 30 минут и повторяются; временные сбои повторяются до трёх раз, после чего помечаются как неудачные.
- Неудачные элементы. Используйте Reprocess, чтобы повторно поставить в очередь все неудачные элементы источника. Для каждого источника отображается последний статус и сообщение.
- Режим Download не работает. Для Download требуется прямой URL видео (не страница просмотра); приватные или внутренние хосты блокируются, максимальный размер файла — 5 ГБ.
- Ничего не импортируется. Убедитесь, что расписание не установлено в Manual only, источник включён и сайт получает трафик для запуска cron.
Следующие шаги
Остались вопросы?
Откройте заявку в панели управления, и наша команда поможет.