TANGO – wе проект з відкритим вихідним кодом, розроблений DeCLaRe Lab і розміщений на GitHub.
TANGO – це вдосконалена модель, призначена для генерації аудіо з текстових підказок. Її основна функціональність включає створення звукових ефектів, що залежать від тексту, включаючи людську мову та музику.
Модель використовує унікальний підхід, інтегруючи модель латентної дифузії (LDM) та кодер текстових підказок (FLAN-T5) для досягнення високоякісної генерації звуку. Попри використання в 63 рази меншої кількості даних для навчання, TANGO вдається досягти вищої якості звуку порівняно з базовими лініями.
Приклад використання ШІ TANGO можна побачити в Короткому посібнику з розпізнавання облич. Тут TANGO генерує аудіофайл, в якому аудиторія аплодує та плескає у відповідь на відповідну текстову підказку. Згенерований звук можна зберегти у форматі .wav і відтворити на мові Python за допомогою бібліотеки IPython.
Сервіс TANGO має відкритий вихідний код і поширюється на умовах ліцензії GNU General Public License v3.0 або новішої версії. Це означає, що будь-хто може вільно використовувати, модифікувати та розповсюджувати програмне забезпечення за умови, що всі похідні роботи також мають таку саму ліцензію.
Однак, будь ласка, зверніть увагу, що для запуску TANGO може знадобитися сумісне апаратне забезпечення, оскільки в одному з випусків репозиторію зазначено, що для десеріалізації певних об’єктів може знадобитися пристрій на базі CUDA.
Загалом, TANGO є потужним інструментом для створення високоякісного аудіо з тексту, а його відкритий характер заохочує спільноту до подальшого розвитку та вдосконалення.