Для мене, як дослідника і розробника ШІ, робота з маскованим генеративним відеотрансформатором, або MAGVIT, виявилася захоплюючим викликом і зміною правил гри в галузі відеосинтезу.
MAGVIT – це єдине модельне рішення, призначене для вирішення цілого ряду завдань відеосинтезу. Основною метою MAGVIT є забезпечення якості, ефективності та гнучкості. Його реалізація є унікальною, оскільки використовує 3D токенізатор, який здатен квантувати відео у просторово-часові візуальні токени. Такий підхід дозволяє полегшити багатозадачне навчання.
Я використовував офіційну JAX-реалізацію MAGVIT, доступну на GitHub. Що я ціную в цій платформі, так це її вичерпну документацію, яка описує, як використовувати код. Хоча наразі на платформі немає жодного конкретного програмного релізу, можливості моделі вражають, і я з нетерпінням чекаю, як вона розвиватиметься.
Особливістю, яка привернула мою увагу, була інтелектуальна інтерполяція кадрів MAGVIT. Ця функція має потенціал для значного вдосконалення відеоконтенту, створеного за допомогою штучного інтелекту. Завдяки інтелектуальній інтерполяції кадрів можна згенерувати відеопослідовність з двох нерухомих зображень, наприклад, персонаж сидить на одному зображенні, а той самий персонаж йде по кімнаті на другому зображенні. Потім MAGVIT може згенерувати відео, де персонаж встає і йде до цієї точки.
Моя робота з MAGVIT стала трансформаційним досвідом. Я не тільки зміг досягти значних успіхів у дослідженні синтезу відео, але й отримав привілей використовувати програмне забезпечення, розроблене командою кваліфікованих дослідників з Google Research та таких поважних установ, як Університет Карнегі-Меллона та Технологічний інститут Джорджії.
Я з нетерпінням чекаю на майбутнє MAGVIT. Заглиблюючись у його можливості та досліджуючи різні способи його використання для синтезу відео, я постійно нагадую собі про інновації, які рухають сферу досліджень у галузі ШІ.