Audiocraft – це бібліотека з відкритим вихідним кодом для обробки та генерації аудіо, яка використовує методи глибокого навчання. Вона була викладена на GitHub дослідницьким підрозділом Facebook, Meta Research. Бібліотека включає в себе ряд інноваційних інструментів, в тому числі найсучасніший аудіокомпресор/токенізатор, відомий як EnCodec і MusicGen, керовану мовну модель генерації музики (LM), обумовлену текстом і мелодією.
MusicGen, одна з ключових особливостей Audiocraft, привернула увагу дослідників і користувачів завдяки своїй здатності генерувати музику на основі текстових даних та існуючих мелодій. Ця модель виділяється у сфері генерації музики тим, що використовує одноступеневу авторегресивну архітектуру трансформатора, на відміну від багатьох існуючих моделей.
Вона не покладається на самоконтрольоване семантичне представлення і працює на токенізаторі EnCodec з частотою 32 кГц та 4 кодовими книгами з частотою дискретизації 50 Гц. Модель генерує всі 4 кодові книги за один прохід, що дозволяє здійснювати одночасне прогнозування та зменшити крок авторегресії.
Крім того, ще одним вражаючим аспектом Audiocraft є те, що він не вимагає значних обчислювальних ресурсів. Він розроблений для роботи на апаратному забезпеченні споживчого класу, що робить його доступним для ширшого кола користувачів. Цей аспект може бути дуже корисним для ентузіастів, дослідників або малих підприємств, які не мають доступу до високопродуктивної апаратної інфраструктури.
Підсумовуючи, Audiocraft є важливим досягненням у галузі обробки та створення аудіо завдяки глибокому навчанню, що сприяє демократизації створення музики ШІ і відкриває нові можливості для творчого самовираження та досліджень.