Сервіс, про який йде мова, називається “zeroscope_v2_XL”, його розробив користувач на ім’я cerspense на Hugging Face Model Hub. По суті, цей сервіс є моделлю, яка генерує високоякісні відео з роздільною здатністю 1024 x 576 без жодних водяних знаків. Вона була навчена на 9 923 кліпах і 29 769 тегованих кадрах з роздільною здатністю 24 кадри, 1024×576.
Основне призначення цієї моделі – збільшувати масштаб контенту, створеного за допомогою іншої моделі під назвою “zeroscope_v2_576w”, за допомогою методу, відомого як vid2vid у розширенні 1111 text2video від kabachuha. Ідея полягає у створенні композицій з низькою роздільною здатністю для швидшого вивчення перед переходом до рендерингу з високою роздільною здатністю. Такий підхід дозволяє отримати чудову загальну композицію з високою роздільною здатністю.
Щоб використовувати цю модель з розширенням 1111 text2video, вам потрібно завантажити файли з папки zs2_XL і замінити відповідні файли в каталозі ‘stable-diffusion-webui\models\ModelScope\t2v’. Модель використовує 15.3 ГБ оперативної пам’яті при рендерингу 30 кадрів з роздільною здатністю 1024×576.
Репозиторій zeroscope_v2_XL на Hugging Face включає різні файли та каталоги, серед яких файли open_clip_pytorch_model.bin та text2video_pytorch_model.pth у каталозі zs2_XL. Ці файли, схоже, є невід’ємною частиною функціональності моделі, а їхні розміри свідчать про те, що модель досить велика: open_clip_pytorch_model.bin має розмір 1,97 Гб, а text2video_pytorch_model.pth – 2,82 Гб.
На жаль, через технічні труднощі не вдалося належним чином проаналізувати твіттер-стрічки та інший супутній контент про zeroscope_v2_XL. Однак, виходячи з наявної інформації, зрозуміло, що zeroscope_v2_XL є потужною і складною моделлю для генерації та масштабування високоякісного відео.