Сервіс MiniGPT-4 – це модель з відкритим вихідним кодом, яка виконує складні завдання на мові технічного зору, подібні до GPT-4. Доступ до неї можна отримати на сторінці проекту. Модель складається з кодера зорового сприйняття з попередньо навченим ViT і Q-форматором, одного шару лінійної проекції та вдосконаленої моделі великої мови Vicuna.
Навчання MiniGPT-4 включає два етапи вирівнювання, причому перший етап зосереджений на навчанні моделі з використанням пар зображення-текст з наборів даних Laion і CC для вирівнювання моделі зору і мови. MiniGPT-4 володіє багатьма можливостями ШІ GPT-4, такими як генерація описів зображень, створення веб-сайту з рукописним чернеткою і написання вірша на основі зображення.
тиць
minigpt-4.github.io