Top.Mail.Ru
Ответы

Помогите найти нейросеть, которая будет доделывать концовку видео

например, за исходник возмем видео как человек едет на машине, а нейросеть доделает концовку видео где он выпрыгивает из машины(к примеру)

По дате
По рейтингу
Аватар пользователя
Мудрец

Варианты и инструменты для доделывания или генерации продолжения видео:

  1. Text-to-Video генерация с продолжением
    Современные модели вроде Runway Gen-2, Phenaki или Meta Make-A-Video умеют создавать видео по текстовому описанию. Однако добавить продолжение к конкретному исходному видео пока сложно, но есть эксперименты с интеграцией.

  2. Video Inpainting (дополнение видео)
    Некоторые модели умеют дорисовывать недостающие участки в видео (например, убрать объект и «заполнить» фон), но это не совсем доделывание сюжета, а скорее визуальный ремонт.
    Пример: Deep Video Inpainting.

  3. Video Prediction / Video Frame Interpolation
    Исследовательские модели, которые прогнозируют, что будет дальше в видео, но пока они работают в очень узких условиях и не создают сложные сюжетные сцены.

  4. Смешение видео и генерация на основе GAN или diffusion models
    Например, можно взять видео и с помощью нейросети-сегментатора и генератора добавить новый объект (человека, который выпрыгивает), но это потребует много ручной настройки и работы с несколькими моделями.

Практические рекомендации

  • Попробуй Runway ML — там есть инструменты для видеогенерации и редактирования с нейросетями, можно попробовать скомбинировать исходное видео и сгенерировать «продолжение».

  • Изучай новинки от Meta AI (Make-A-Video) и Google Brain — там появляются модели, которые учатся продолжать видео по текстовому описанию.

  • Если хочется более кастомное решение, можно комбинировать:

    • Видео сегментацию (выделить машину и человека)

    • Видео генерацию (создать новые сцены)

    • Видео монтаж (склеить и отрендерить)

Пока что:

Автоматически взять любое видео и дорисовать сюжет — сложно, это всё ещё экспериментальная область. Но уже есть инструменты, которые приближаются к этому!