SoundStorm – це неавторегресійна модель генерації звуку, розроблена Google Research. Її основна мета – ефективно генерувати аудіо. Модель покладається на семантичні токени AudioLM як вхідні дані і використовує двонаправлену увагу та паралельне декодування на основі довіри для генерації токенів нейронного аудіокодека.
Модель вирізняється тим, що здатна генерувати аудіо тієї ж якості та з більшою узгодженістю з голосом і акустичними умовами порівняно з авторегресійним підходом до генерації AudioLM. Крім того, її швидкість також значно вища, вона здатна генерувати 30 секунд звуку всього за півсекунди на TPU-v4.
SoundStorm є частиною ширшої екосистеми ШІ аудіо-моделей, розроблених Google Research, яка включає інші проекти, такі як AudioLM, MusicLM, SEANet, MicAugment та інші, кожен з яких слугує унікальній меті в обробці та генерації аудіо.
В контексті цих моделей, SoundStorm представляє значний прогрес в ефективній, високоякісній генерації звуку, надаючи інструмент, який може генерувати довгі відрізки послідовного звуку швидко і точно. Це відкриває двері для широкого спектру можливих застосувань, від автоматизованого озвучення та дикторського тексту до рендерингу звуку в реальному часі для інтерактивних медіа, серед іншого.