З’явився дуже корисний прототип для додатка AR Cut & Paste. Оригінальний додаток можна завантажити тут:
Повернемося до прототипу. З його допомогою можна “копіювати” реальні об’єкти і “вставляти” в Adobe Photoshop за допомогою технологій доповненої реальності та штучного інтелекту.
Досить цікаве рішення для більшості дизайнерів. Відчувається свіже віяння в розробці нових дизайн-проектів. Думаю, цією функцією незабаром почнуть користуватися багато професіоналів.
Ловіть посилання:
github.com/cyrildiagne/ar-cutpaste
Інструкція з використання цього прототипу
Прототип AR+ML, який дозволяє вирізати елементи з оточення та вставляти їх у програму для редагування зображень.
Хоча наразі підтримується лише Photoshop, у майбутньому він може працювати з іншими програмами.
Це дослідницький прототип, а не споживчий інструмент для користувачів фотошопу.
Цей прототип складається з 3 незалежних модулів:
- Мобільний додаток.
Перевірте папку /app для отримання інструкцій про те, як розгорнути додаток на вашому мобільному телефоні.
- Локальний сервер.
Інтерфейс між мобільним додатком і Photoshop. Він знаходить позицію, на яку вказує камера на екрані, за допомогою екранної точки
Перевірте папку /server для отримання інструкцій з налаштування локального сервера
- Служба виявлення об’єктів / видалення фону.
Наразі визначення помітності та видалення фону делеговано зовнішньому сервісу.
Було б набагато простіше використовувати щось на кшталт DeepLap безпосередньо в мобільному додатку. Але це ще не реалізовано в цьому репозиторії.
Використання
- Налаштування Photoshop.
Перейдіть в “Налаштування > Плагіни”, увімкніть “Віддалене підключення” і встановіть дружній пароль, який знадобиться вам пізніше.
Переконайтеся, що налаштування вашого документа PS збігаються з налаштуваннями в server/src/ps.py, інакше буде вставлено лише порожній шар.
Також переконайтеся, що ваш документ має якесь тло. Якщо тло просто порожнє, SIFT, ймовірно, не матиме достатньо можливостей для правильного зіставлення.
- Налаштуйте службу виявлення зовнішніх об’єктів виділення.
Варіант 1: Налаштуйте власну службу моделей (потребує графічного процесора CUDA).
Як згадувалося вище, наразі ви повинні розгорнути модель BASNet (Qin & al, CVPR 2019) як зовнішній HTTP-сервіс, використовуючи цю обгортку BASNet-HTTP (потребує графічного процесора CUDA)
Вам знадобиться URL-адреса розгорнутого сервісу для налаштування локального сервера
Переконайтеся, що ви налаштували інший порт, якщо ви запускаєте BASNet на тому ж комп’ютері, що і локальний сервіс
Варіант 2: Використання загальнодоступної кінцевої точки
Загальнодоступна кінцева точка була надана членами спільноти. Це корисно, якщо у вас немає власного графічного процесора CUDA або ви не хочете самостійно запускати службу.
Використовуйте цю кінцеву точку, запустивши локальний сервер за допомогою –basnet_service_ip http://u2net-predictor.tenant-compass.global.coreweave.com
- Налаштування та запуск локального сервера.
- Дотримуйтесь інструкцій в /server, щоб налаштувати і запустити локальний сервер.
- Налаштуйте та запустіть мобільний додаток.
Дотримуйтесь інструкцій в /app, щоб налаштувати та розгорнути мобільний додаток.