Video Retalking – нейромережа говорить за вас. Ще один ШІ, здатний змінювати артикуляцію і слова людей на відео за запитом користувача. Просто завантажуєте вихідне відео з промовою – і на виході отримуєте ролик, де наговорюється інший текст.
Щоправда, тут синтезований голос явно відрізняється від оригіналу, однак це можна виправити за допомогою інших сервісів. Відкритий код Video Retalking лежить на GitHub.
Що таке VideoReTalking?
VideoReTalking – це передова система, призначена для редагування виразу обличчя людей у реальних відео з балакучою головою на основі вхідного аудіо. Феноменальною є її здатність створювати високоякісні вихідні відео з синхронізацією губ, які навіть можуть відображати різні емоції!
Система VideoReTalking розбиває свій процес на три послідовні завдання:
- Генерація відео з канонічним виразом обличчя: Кожен кадр наданого відео з балакучою головою модифікується відповідно до стандартного шаблону виразу обличчя за допомогою мережі редагування виразів. Результатом є відео, яке зберігає послідовний вираз обличчя протягом усього відео.
- Синхронізація губ під звуковий супровід: Модифіковане відео разом із наданим звуком пропускається через мережу синхронізації по губах. Результат? Відео, яке ідеально синхронізує рухи губ з вхідним звуком.
- Поліпшення обличчя для фотореалізму: На останньому етапі ми покращуємо якість синтезованих облич. Завдяки мережі покращення облич з урахуванням ідентичності та додатковій постобробці, візуальна якість облич у відео значно покращується, забезпечуючи фотореалістичні результати.
- Однією з особливостей VideoReTalking є підхід, що повністю базується на навчанні. На всіх трьох етапах використовуються передові методи машинного навчання, і весь процес може бути виконаний послідовно без будь-якого ручного втручання з боку користувача.
Як використовувати VideoReTalking?
Почати роботу з VideoReTalking дуже просто. Виконуйте наступні кроки:
- Клонуйте репозиторій з GitHub.
- Налаштуйте середовище. Це передбачає створення спеціального середовища Python та встановлення необхідних залежностей. Для зручності надаються спеціальні команди.
- Завантажте попередньо навчені моделі та збережіть їх у директорії “checkpoints”.
- Запустіть скрипт виведення! Цей сценарій включає кроки попередньої обробки даних і підтримує тестування будь-яких відео з обличчями, що розмовляють, без ручного вирівнювання. Для більшої гнучкості користувачі можуть навіть контролювати вираз обличчя суб’єкта відео, використовуючи попередньо визначені шаблони, такі як “нейтральний” або “посмішка”. Існує навіть можливість змінювати вираз верхньої частини обличчя за допомогою таких опцій, як “здивування” або “злість”.
На закінчення
VideoReTalking – це значний стрибок уперед у світі редагування відео з балакучими головами. Його потенційне застосування охоплює різні сектори, від індустрії розваг до онлайн-освіти. Завдяки зручному налаштуванню та широким можливостям VideoReTalking готовий переосмислити стандарти редагування відеоконтенту.