Відеолокалізовані наративи – нова форма мультимодальних відеоанотацій, що поєднують зір і мову. Нова модель від Google дає змогу генерувати анотації до відео, фіксуючи навіть складні події.
Автори вже анотували 20 тис. відео з датасетів OVIS, UVO і Oops, загалом 1,7 млн слів.
Github:
Paper:
Dataset :
Від авторів
Тут ми надаємо офіційний код для публікації “Connecting Vision and Language with Video Localized Narratives” (“Поєднуючи зір і мову з відеолокалізованими наративами”). Код можна використовувати для завантаження та візуалізації анотацій до відеонаративів (VidLN). Крім того, ми надаємо код для оцінювання завдань “Обґрунтування відеооповіді” (VNG) та “Відеозапитання-відповідь” (VideoQA) з підзавданнями “Питання з виведенням тексту” та “Питання з виведенням місцевості”.
Ми пропонуємо Video Localized Narratives – нову форму мультимодальних відеоанотацій, що поєднують зір і мову. В оригінальних локалізованих оповіданнях анотатори говорять і одночасно рухають мишею по зображенню, таким чином підкріплюючи кожне слово сегментом сліду миші. Однак це складно зробити на відео.
Наш новий протокол дає змогу анотаторам розповідати історію відео за допомогою локалізованих наративів, фіксуючи навіть складні події за участю кількох акторів, які взаємодіють один з одним і з кількома пасивними об’єктами. Ми анотували 20 тис. відео з наборів даних OVIS, UVO та Oops, загальним обсягом 1,7 млн слів. На основі цих даних ми також побудували нові еталони для обґрунтування відеооповіді та відеозадач із запитаннями-відповідями, а також надали еталонні результати, отримані на основі потужних базових моделей.
Відео та фрейми
Ми не надаємо відео або їхні кадри. Будь ласка, завантажте необроблені набори даних з відповідних веб-сайтів. Для вилучення кадрів ви можете скористатися скриптом, що входить до набору даних UVO.
Локалізовані відеооповідання
Тут ви можете завантажити повний набір анотацій до локалізованих відео (опис формату).
Зверніть увагу, що деякі відео мають більше ніж одну анотацію відеолокалізованого наративу. Оригінальний набір даних UVO має підмножини з розрідженими і щільними анотаціями, ми зберегли цей поділ і надаємо окремі завантаження для розріджених і щільних підмножин.