MSPrior – це експериментальна програмна модель, розроблена Антуаном Каййоном для темпорального навчання в реальному часі. Вона призначена для обробки декількох шкал і потоків даних і призначена для використання в поєднанні з RAVE, варіаційним автокодером аудіо в реальному часі. Антуан Кайон (Antoine Caillon) – дослідник в IRCAM в Парижі, де він займається нейронним аудіосинтезом, використовуючи ряд моделей глибокого навчання, включаючи GAN, VAE, трансформатори, нормалізуючі потоки та моделі дифузії.
Процес інсталяції MSPrior простий, пакет доступний для встановлення за допомогою pip, менеджера пакетів для Python. Після встановлення MSPrior припускає, що користувач має попередньо навчену модель RAVE, експортовану у вигляді файлу torchscript (.ts), та набір даних, на якому було проведено навчання RAVE, зазвичай у вигляді папки з аудіофайлами.
Використання ШІ MSPrior передбачає кілька ключових кроків, насамперед, попередню обробку та навчання. Під час попередньої обробки MSPrior оперує з латентним представленням, отриманим від RAVE, де він починає з кодування всього набору аудіоданих у латентний набір даних. Фактичний код для попередньої обробки знаходиться у файлі сценарію з назвою preprocess.py, який використовує декілька важливих бібліотек Python, таких як numpy, torch та absl.
Після завершення етапу попередньої обробки користувач може перейти до навчання моделі. MSPrior має кілька можливих конфігурацій, а конфігурація за замовчуванням – це ALiBi-трансформатор з бекендом передбачення пропусків.
MSPrior має можливості як для умовної, так і для безумовної генерації в реальному часі. У майбутній функції попередня модель може бути обумовлена поверх семантичного представлення, витягнутого за допомогою самоконтрольованої моделі. Антуан протестував це налаштування на наборі даних, що складається із записів зі швидкістю 78 об/хв, і поєднав його з відстеженням рухів рук у реальному часі для інтуїтивно зрозумілого методу керування генерацією звуку.
Однак важливо зазначити, що станом на червень 2023 року MSPrior все ще залишається експериментальним проектом і, ймовірно, зазнає значних змін.