Microsoft запустив візуальний ChatGPT. Головна фіча: нейронка чистенько видаляє будь-які об’єкти прямо з фоток. Виходить чудово, тому що Visual ChatGPT розуміє контекст.
На відео видно – вона знає, що на фотці мотоцикл, розуміє, де він розташований і навіть правильно визначає колір. З нею можна, наприклад, змінити колір цього мотоцикла.
Звичні генерації за запитом, змішання фоток і редактура пікч, звісно, на місці.
Спробувати – тут:
ChatGPT привертає міжгалузевий інтерес, оскільки він надає мовний інтерфейс з чудовими розмовними можливостями і здатністю міркувати в багатьох сферах. Однак, оскільки ChatGPT навчається за допомогою мов, він наразі не здатний обробляти або генерувати зображення з візуального світу. Водночас, візуальні моделі, такі як візуальні трансформатори або стабільна дифузія, хоча і демонструють чудові можливості візуального розуміння та генерації зображень, але вони є експертами лише в конкретних завданнях з однораундовими фіксованими входами та виходами.
З цією метою ми створили систему під назвою \textbf{Visual ChatGPT}, яка включає різні візуальні моделі, щоб дозволити користувачеві взаємодіяти з ChatGPT шляхом:
- надсилання та отримання не тільки мов, але й зображень.
- надання складних візуальних запитань або візуальних інструкцій з редагування, які вимагають співпраці декількох моделей ШІ з багатокроковими кроками.
- надання зворотного зв’язку та запиту на виправлення результатів.
Ми розробили серію підказок для введення інформації про візуальну модель у ChatGPT, враховуючи моделі з декількома входами/виходами та моделі, які потребують візуального зворотного зв’язку. Експерименти показують, що Visual ChatGPT відкриває двері для дослідження візуальних ролей ChatGPT за допомогою візуальних фундаментальних моделей.