Ссылка: https://phenaki.video
Модель для генерации видео из текста.
Fenaki – это модель ИИ для генерации видео, которые могут длиться несколько минут прямо из текста. Вы также можете генерировать видео с неподвижного изображения и подсказки. Предлагаемый видео-энкодер-декодер превзойдет все базовые показатели на раму, которые в настоящее время используются в литературе с точки зрения пространственно-временного качества и количества жетонов на видео. Чтобы сгенерировать видео токены из текста, они используют двунаправленные трансформатор в масках, кондиционированные на предварительно вычисленных токенах. Сгенерированные токены видео впоследствии раздаются для создания реального видео.