Shap-E – це проект OpenAI, розміщений на GitHub. Це умовна генеративна модель, спеціально розроблена для 3D-активів. Ця модель унікальна своєю здатністю генерувати параметри неявних функцій, які можуть бути відтворені як у вигляді текстурованих сіток, так і у вигляді нейронних полів випромінювання (NeRF) з одного входу.
Shap-E включає два типи моделей: енкодер і модель латентної дифузії. Кодер перетворює 3D-активи в параметри невеликих нейронних мереж, які представляють 3D-форму і текстуру у вигляді неявної функції. Отриману неявну функцію можна візуалізувати з будь-якої точки зору або імпортувати в наступні додатки у вигляді сітки.
Технологія Shap-E дозволяє генерувати 3D-об’єкти на основі тексту або зображень. Це значний стрибок вперед в області перетворення тексту в 3D, що представляє новий метод генерації 3D неявних функцій з текстових підказок.
Крім того, користувачі можуть перейти до shap-e/examples у репозиторії проекту, щоб переглянути приклади реалізації, такі як sample_text_to_3d.ipynb, який містить різні ділянки коду.
OpenAI запрошує долучатися до розробки Shap-E. Зацікавлені розробники можуть створити обліковий запис на GitHub і зробити свій внесок у проект.