Видеокарты с 6 ГБ видеопамяти стали чуть более полезны. Новая ИИ-модель позволяет использовать их для генерации видео

Видеокарты менее чем с 8 ГБ памяти постепенно становятся всё менее полезными и в играх, но теперь их можно использовать для работы с нейросетями. 

фото GitHub

Разработчик Lvmin Zhang в сотрудничестве с Манишем Агравалой (Maneesh Agrawala) из Стэнфордского университета представили архитектуру FramePack.

FramePack предлагает практическую реализацию диффузии видео с использованием временного контекста фиксированной длины для более эффективной обработки, что позволяет создавать более длинные и качественные видео. Модель с 13 млрд параметров, созданная с использованием архитектуры FramePack, может генерировать 60-секундный клип, задействуя всего с 6 ГБ видеопамяти видеокарты. 

Обычно модели диффузии обрабатывают данные из ранее сгенерированных шумных кадров для прогнозирования следующего, немного менее шумного кадра. Количество входных кадров, рассматриваемых для каждого прогноза, называется длиной временного контекста, которая растет с размером видео. Стандартные модели диффузии видео …