Відеомонтажерам на замітку. Заощаджуйте свій час і нерви. З цим вам допоможе All-In-One-Deflicker. Це нейромережа видаляє всілякі відблиски, мерехтіння, плями, смуги і всю іншу нечисть. Дуже корисний ШІ, особисто мені заощадив багато часу.
Багато відео містять артефакти мерехтіння; поширеними причинами мерехтіння є алгоритми обробки відео, алгоритми генерації відео та захоплення відео в певних ситуаціях. Попередня робота зазвичай вимагає конкретних вказівок, таких як частота мерехтіння, ручні анотації або додаткові послідовні відео для усунення мерехтіння. У цій роботі ми пропонуємо загальний фреймворк для усунення мерехтіння, який отримує на вхід лише одне відео з мерехтінням без додаткових вказівок.
Оскільки він не реагує на певний тип мерехтіння або наведення, ми називаємо його “сліпим дефлікерінгом”. В основі нашого підходу лежить використання нейронного атласу у співпраці зі стратегією нейронної фільтрації. Нейронний атлас – це уніфіковане представлення для всіх кадрів відео, яке забезпечує часову узгодженість, але в багатьох випадках є недосконалим.
Для цього нейронну мережу навчають імітувати фільтр, щоб вивчити послідовні ознаки (наприклад, колір, яскравість) і уникнути внесення артефактів в атлас. Для перевірки нашого методу ми створили набір даних, який містить різноманітні реальні відео з мерехтінням. Широкі експерименти показують, що наш метод досягає задовільної якості дефлікера і навіть перевершує базові лінії, які використовують додаткові вказівки щодо публічного еталону.
- Необроблені відео з мерехтінням. Необроблені відео можуть містити мерехтіння з різних причин. Наприклад, яскравість старих фільмів може бути дуже нестабільною, оскільки деякі старі камери не можуть встановити однаковий час експозиції для кожного кадру через низьку якість обладнання. Крім того, освітлення в приміщенні змінюється з певною частотою, і високошвидкісні камери можуть зафіксувати швидкі зміни освітлення в приміщенні.
- Згенеровані мерехтливі відео. Відео, отримані методами генерації відео, можуть бути непослідовними в часі. Наш підхід може бути використаний для покращення часової узгодженості методів генерації відео (наприклад, Make-a-Video та MagicVideo) шляхом видалення мерехтливих артефактів.
- Оброблене мерехтливе відео. Узгоджене в часі необроблене відео може страждати від артефактів мерехтіння після обробки алгоритмами. Наприклад, алгоритм розфарбовування може спричинити мерехтіння, коли його застосовують до відео, як це обговорювалося в Deep Video Prior. Наш підхід може покращити часову узгодженість для відео, оброблених різними алгоритмами обробки.