Помогите найти нейросеть, которая будет доделывать концовку видео
например, за исходник возмем видео как человек едет на машине, а нейросеть доделает концовку видео где он выпрыгивает из машины(к примеру)
Варианты и инструменты для доделывания или генерации продолжения видео:
Text-to-Video генерация с продолжением
Современные модели вроде Runway Gen-2, Phenaki или Meta Make-A-Video умеют создавать видео по текстовому описанию. Однако добавить продолжение к конкретному исходному видео пока сложно, но есть эксперименты с интеграцией.Video Inpainting (дополнение видео)
Некоторые модели умеют дорисовывать недостающие участки в видео (например, убрать объект и «заполнить» фон), но это не совсем доделывание сюжета, а скорее визуальный ремонт.
Пример: Deep Video Inpainting.Video Prediction / Video Frame Interpolation
Исследовательские модели, которые прогнозируют, что будет дальше в видео, но пока они работают в очень узких условиях и не создают сложные сюжетные сцены.Смешение видео и генерация на основе GAN или diffusion models
Например, можно взять видео и с помощью нейросети-сегментатора и генератора добавить новый объект (человека, который выпрыгивает), но это потребует много ручной настройки и работы с несколькими моделями.
Практические рекомендации
Попробуй Runway ML — там есть инструменты для видеогенерации и редактирования с нейросетями, можно попробовать скомбинировать исходное видео и сгенерировать «продолжение».
Изучай новинки от Meta AI (Make-A-Video) и Google Brain — там появляются модели, которые учатся продолжать видео по текстовому описанию.
Если хочется более кастомное решение, можно комбинировать:
Видео сегментацию (выделить машину и человека)
Видео генерацию (создать новые сцены)
Видео монтаж (склеить и отрендерить)
Пока что:
Автоматически взять любое видео и дорисовать сюжет — сложно, это всё ещё экспериментальная область. Но уже есть инструменты, которые приближаются к этому!