VideoCrafter – це набір інструментів для генерації відео з текстового запиту. Перебуває у стадії тестування, дистрибутив виклали в GitHub.
тиць
github.com/VideoCrafter/VideoCrafter
VideoCrafter – це інструментарій для створення та редагування відео з відкритим вихідним кодом для створення відеоконтенту.
Наразі він включає наступні ТРИ типи моделей:
- Базова T2V: загальне перетворення тексту у відео. Ми пропонуємо базову модель перетворення тексту у відео (T2V), засновану на моделях латентної дифузії відео (LVDM). Вона може синтезувати реалістичні відео на основі вхідних текстових описів.
- VideoLoRA: персоналізоване перетворення тексту у відео за допомогою ШІ LoRA. На основі попередньо навченої LVDM ми можемо створювати власні моделі генерації відео, доопрацьовуючи її на наборі відеокліпів або зображень, що описують певну концепцію. Ми використовуємо LoRA для реалізації доналаштування, оскільки він простий у навчанні та вимагає менше обчислювальних ресурсів. Надаючи речення, що описує відеоконтент, разом із ключовим словом LoRA (заданим під час навчання LoRA), вона може генерувати відео з потрібним стилем (або темою/концепцією).
- VideoControl: Генерація відео з більшою кількістю контролів умов. Щоб розширити можливості керування моделлю T2V, ми розробили умовний адаптер, натхненний T2I-адаптером. Підключивши легкий модуль адаптера до моделі T2V, ми можемо отримати результати генерації з більш детальними контрольними сигналами, такими як глибина.