Японська студія Qosmo розробила дуже незвичайну нейромережу Imaginary Soundscape. Вона відтворює звук, що відповідає тому чи іншому зображенню.
Як джерело інформації ви можете вказати посилання на будь-яку картинку в Інтернеті, завантажити свій файл або вибрати випадкову локацію на Google Maps.
Досить кумедна розвага. Можете спробувати озвучити за допомогою ШІ фотографію з вашим вихованцем або намальованим персонажем.
Концепція
Ми, люди, можемо уявити звуки, глянувши на фотографію: Пейзаж пляжу може викликати в уяві шум хвиль, що розбиваються об берег. Ви можете почути звуки клаксонів і вуличної реклами, коли дивитеся на фотографію жвавого перехрестя. “Уявний звуковий пейзаж” – це веб-звукова інсталяція, що фокусується на цій несвідомій поведінці, де глядачі можуть вільно ходити по Google Street View і занурюватися в уявні звукові пейзажі, згенеровані за допомогою моделей глибокого навчання.
Ця робота ґрунтується на нещодавній розробці крос-модальної техніки пошуку інформації, такої як зображення-аудіо, текст-зображення, з використанням глибокого навчання.
На основі вхідних відеоданих система навчалася за допомогою двох моделей: одна добре відома, попередньо навчена модель розпізнавання зображень обробляє кадри, тоді як інша згорткова нейронна мережа зчитує аудіо як зображення спектрограми, розвиваючись таким чином, щоб розподіл її вихідних даних був якомога ближчим до розподілу першої мережі.
Після навчання обидві мережі дозволяють нам отримати найкраще відповідний звуковий файл для сцени з нашого величезного набору звукових даних навколишнього середовища.
Звукові ландшафти, згенеровані штучним інтелектом, іноді вражають нас тим, що відповідають нашим очікуванням, але іноді ігнорують культурний та географічний контекст (наприклад, звук хвиль на крижаному полі Гренландії). Ці відмінності та помилки змушують нас замислитися над тим, як працює уява і наскільки плідним є звукове середовище, що нас оточує. Екстерналізуючи наше синестезійне мислення, ми намагалися пролити світло на силу уяви, яку ми всі поділяємо.
Qosmo, Inc. надає ліцензію на цю технологію, img2sound Engine, компаніям, які хочуть використовувати її у своїх продуктах та послугах. Будь ласка, зв’яжіться з нами за контактним посиланням нижче.