MMagic від OpenMMLab, офіційно стилізований під MMagic [em’mædʒɪk], є передовою мультимодальною, генеративною та інтелектуальною платформою для створення. Вона слугує складним інструментом, який підтримує та розробляє низькорівневі алгоритми на основі генеративних змагальних мереж (GAN) та згорткових нейронних мереж (CNN).
MMagic є частиною пропозицій з відкритим вихідним кодом від OpenMMLab, проекту, який прагне створити дуже впливову систему алгоритмів комп’ютерного зору в епоху глибокого навчання. Метою OpenMMLab є надання високоякісних бібліотек для полегшення реалізації алгоритмів, ефективних інструментальних засобів розгортання для різних серверів і пристроїв, міцної основи для досліджень і розробок в області комп’ютерного зору, а також подолання розриву між академічними дослідженнями і промисловими застосуваннями.
MMagic є спадкоємцем двох інших важливих проектів в екосистемі OpenMMLab, а саме MMEditing та MMGeneration. Після низки оновлень та покращень у фреймворку OpenMMLab 2.0 та його інтеграції з MMGeneration, MMEditing перетворився на MMagic, більш потужний інструмент, який підтримує низькорівневі алгоритми, засновані як на GAN, так і на CNN.
З останнім випуском MMagic v1.0.1 від 26 травня 2023 року, він тепер підтримує ряд функцій, включаючи tomesd для прискорення StableDiffusion, всі висновки моделей зафарбовування/матування/відновлення зображень, анімовані малюнки, глобальний потік появи на основі стилів для віртуального тестування, а також фіксований вивідник в pip-інсталяції.
Використання MMagic вимагає наявності певних умов, а саме: Python >= 3.7, PyTorch >= 1.8 та MMCV >= 2.0.0. Процес встановлення налаштовується, що дозволяє користувачам адаптувати його до своїх конкретних потреб. Крім того, MMagic підтримує платформи Linux, Windows і macOS.
Це набір інструментів генеративного ШІ з відкритим вихідним кодом, призначений для професійних дослідників штучного інтелекту та інженерів із машинного навчання для вивчення оброблення, редагування та створення зображень і відео.
- Текст в зображення
- Перетворення зображення в зображення
- Генерація з підтримкою 3D
- Супер-роздільна здатність зображення
- Відео надвисокої роздільної здатності
- Інтерполяція відеокадрів
- Зображення в живописі
- Матування зображення
- Відновлення зображення
- Колоризація зображення
Таким чином, MMagic – це потужний мультимодальний, генеративний та інтелектуальний інструмент створення, розроблений OpenMMLab. Завдяки своїм розширеним можливостям і широкому спектру сумісності, він виявився цінним активом для дослідників і розробників в області комп’ютерного зору і глибокого навчання.