Сьогодні натрапив на докладний мануал з генерації унікальних зображень за допомогою штучного інтелекту – Midjourney. Усе що необхідно – дати правильний опис майбутньої картинки.
Дуже схоже на мову операторів пошуку – чим точніше ми складемо запит, тим більш релевантну видачу отримаємо. Фактична структура запиту вкрай проста – Об’єкт :: Параметри.
Уміння формувати правильний запит цілком можливо виллється в популярну професію, і виявляється, вона є вже зараз – промт-інжиніринг.
Поки що не надто затребувана, однак, я легко собі уявляю, як новинні або інформаційні ресурси наймають професіонала в штат для щоденної генерації десятків і сотень тематичних унікальних зображень, за яких не буде жодних проблем із правовласниками.
Ну а вже зараз за 10$ на місяць можна надіслати 200 запитів, а за 30$ – безлімітну кількість. Magic одним словом.
Переклад мануала далі, у кінці додав бонус у вигляді цікавих промтів. Оригінал тут:
Гайд
Щоб генерувати зображення з тексту з нейромережею Midjourney, потрібен акаунт на Discord. Творці вибрали його як фронтенд-рішення, не стали робити “апп”. Утім, сайт з призначеними для користувача акаунтами і “фідом” у них теж є.
Про Discord уже розповідали, він класний – щось середнє між месенджером і майданчиком для “аппів” (Discord-ботів). Тут усе заточене не для просування окремих каналів, а в ім’я взаємодії та співпраці користувачів.
Звісно, головні майданчики для експериментів із нейромережами, зокрема з перетворенням тексту на зображення, – це ноутбуки в Google Colab і репозиторії Github. Але залишімо це на просунутий рівень, а поки зосередимося на Midjourney та її можливостях.
Реєстрація
Користувачеві пропонується мандрувати між ботом на Discord, у якому ви створюватимете зображення, і багатокористувацьким веб-інтерфейсом, у якому зберігається його архів, а також доступний пошук по архівах і профілях інших користувачів.
Логін із реєстраційними даними Discord у web-інтерфейс:
Вхід у канал Discord:
Веб-версія Midjourney, 2022. У ній поки що не можна спілкуватися з нейромережею, але можна дивитися на свої та чужі роботи і робити пошук за картинками та ідеями (prompts).
Prompt
Мем “Кнопка “Шедевр”” більше не мем. Вона існує. Тільки не кнопка, а, швидше, чарівні слова (prompt), якими автор описує штучному інтелекту ідею зображення.
Структуру prompt ми опишемо так – Об’єкт :: Оптика :: Рендер* (*у інших учасників процесу, включно з власне ШІ, може бути зовсім інша думка про структуру “промпта”).
Або ще коротше – Об’єкт :: Параметри
Новачки, для яких у каналі Midjourney в Discord є окремі кімнати (rooms), починають просто з опису об’єкта – і теж виходить нормально.
Введення завдання: /imagine prompt:
Отже, ви в каналі Midjourney і знаєте, як описати об’єкт, його положення та оточення: “На дивані лежить Маша, вдягнена, як зазвичай, у чорне” (тут і далі “Три сестри” Антона Чехова).
On the sofa Masha is lying, dressed as usual in black.
Маша одягнена за всіма правилами спільноти, це добре. І ви повідомили колір – це теж добре. А ось “як зазвичай”, тобто “as usual”, і всілякі інші “темпоральності” – це дивний запит для ШІ, що генерує статичне зображення. Ми спробуємо з ним і без нього, для цього звернемося до бота двічі:
Пишемо в рядку для введення /Imagine prompt: На дивані лежить Маша, одягнена, як завжди, у чорне. Натискаємо введення. Зображення відлітає боту.
Вдруге пишемо /Imagine prompt: On the sofa Masha is lying, dressed in black.
Рудуватою стрілкою на зображенні вище показано, де у вас у Discord усе особисте листування з ботом. Стане в пригоді, щоб не крутити стрічку нескінченно, адже в каналі ви створюєте зображення паралельно з іншими користувачами – і їхні результати вам теж видно.
Засекретити свої результати можна, це коштує окремих грошей. Але чудово те, що ви можете бачити, як працюють інші, як влаштовані їхні “промпти” і, навіть краще, – можете брати зроблені ними зображення і докручувати їх самостійно.
Перші результати
Дивимося в Inbox, з якого можна перейти до зображення (кнопка Jump). Перед вами чотири варіанти майбутнього зображення з набором команд. Можна масштабувати обрані (U – upscale) або запросити нових версій (V – versions). Ми попросили збільшити перше і зробити варіанти четвертого (U1 і V4).
Формат
Формат зображень за замовчуванням 1:1. Якщо потрібно поміняти aspect ratio, то в самому кінці “промпта” додайте два дефіси без пробілу і відношення сторін. Наприклад: –ar 3:4. Горизонтальний і вертикальний знімок: –ar 16:9, –ar 9:16. Так можна розважатися досить довго.
Image prompt
Якщо взяти посилання на зображення, .jpg або .png, і зробити його частиною текстового “промпта”, можна отримати цікаві результати. Текстовий “промпт” не поводитиметься як фільтр щодо завантажуваної картинки. Він розглядає таку картинку як джерело стилю, а не навпаки.
Для тесту Image Prompt ми додали до Маші картинку нижче, її нейромережа створила нам днем раніше. А iw (image weight) – це наскільки довантажений .png або .jpg на початку “промпта” вплине на результат. За замовчуванням це 0,25 – ми беремо більше.
У цьому “промпті” ми поміняли місцями “Маша” і “диван” – без цього Машу було не видно.
Далі починаються метання. Чи може диван Маші перебувати в лісі? Запросто. Чи можемо ми уявити, що він залитий ранковим світлом? Звичайно. І ще можемо повідомити йому стиль, ім’я художника, епоху – щоб наша Маша була “на стилі”.
Це друга частина prompt-завдання, яку поки що вміє писати відносно невелика група людей, і ви зараз увійдете до числа цих небагатьох.
Синтаксис prompt
Як скоріше заговорити мовою ШІ, щоб умовити його робити те, чого вам хочеться? Очевидно, є шляхи завдовжки в життя – розібратися в параметрах і операторах (про це буде нижче, і так, довго), пробувати, помилятися і підглядати за тим, як формулюють свої “промпти” користувачі, роботи яких вам подобаються (це можна робити через “фід”).
Але є ще один спосіб, який може стати вам у пригоді, – почати з використання безкоштовних сторонніх асистентів і перекладачів, щоб швидше набрати словниковий запас і звикнути до синтаксису. Поки що працюють два варіанти.
Перший – звернутися до допоміжних інструментів:
Базовий помічник Prompt Helper. Зроблено під перший реліз Midjourney. Не враховує величезної кількості можливостей, але зате менше шансів у них заплутатися.
Наворочена Promptomania. Величезний вибір налаштувань, є візуалізації властивостей і слів. Але в нас із ним чомусь виходить така нісенітниця, що простенький Helper хочеться рекомендувати навіть більше, ніж цей маніакальний комбайн.
Постарайтеся не вибирати занадто багато параметрів. Залиште собі і Маші простір для ітерацій. Ми, ось, набрали, та ще від жадібності додали другу подію – пожежу – і Маша з диваном зникли.
Другий варіант – розібратися в параметрах: стилях, оптиці та рендері.
Хто придумав безглузді назви на кшталт “octane render” або “v-ray”, сказати неможливо – просто різний софт створювали, розвивали, а потім за зображеннями, створеними за його допомогою, і їхніми метаданими вчили нейромережі.
У підсумку ШІ розуміє багато слів, яких людина не знає або не пам’ятає (наприклад, параметри, що зберігаються в exif). Подивіться на цей найбільший із “читсетів” – він показує, як реагують на різні чарівні слова нейромережі CLIP і VQGAN.
Якщо користуватися цими словами, можна отримати що-небудь дивовижне. Тут ми попросили Midjorney увімкнути параметри рендеру з 3D-редактора Maya.
Наступний експеримент – рендер 3D-редактора Z-brush з прерафаелітами, щоб зображення напевно вийшло кольоровим.
Зберігати картинки з профілю одним кліком допоможе сценарій до браузерного розширення Tampermonkey. Працює він не в Discord, а в браузерній частині – midjourney.com/app.
Ключові слова
Біблія успішних переговорів з Midjourney доступна на Github. Списки розкриваються, до кожного слова є сфера-приклад, що частково дає змогу передбачити (щоправда, зовсім небагато), як це спрацює на вашій картинці.
Оптика
Якщо ви фотографуєте, то спробуйте говорити з Midjourney мовою фотографії. Марки фотоапаратів і параметри плівки, налаштування камери та об’єктива – Midjourney в усьому розбирається, хоч і своєрідно.
Позиції камери Midjourney розуміє краще, ніж фокусну відстань. Використовуйте extreme close up / close up / medium shot / long shot / extreme long shot / bird view.
Фокусна відстань: фокусна відстань —14 мм (широкий кут), —500 мм (вузький кут), найкращі кадри — 35 мм.
Zoom out: –q 0.25 Zoom in: –q 1.25.
Якщо не потрібне зерно, не потрібно йти вище, ніж –ISO200.
Розмовний мінімум
Мовою Midjourney вам потрібно запам’ятати всього два знаки, це подвійна двокрапка (::) і подвійне коротке тире без пробілу (–).
Двокрапки
Частини “промпта” мають ваги – силу, з якою слово або кілька слів впливатимуть на результат. Записувати їх можна, поставивши :: наприкінці логічної частини – і відразу за ним, без пробілу, числове значення ваги. Якщо число не додавати, то :: буде прочитано як смисловий роздільник, і вага розподілиться порівну – як на першій картинці.
Подвійне коротке тире
Після нього зустрічаються різні числові параметри:
— ar 9:16 – уже знайомий вам aspect ratio.
–h і –w – висота і ширина, можна використовувати один параметр.
— iw5 – image weight, вага фотографії референса, яка за замовчуванням 0,25. До фотографії не можна додати звичайний значок ваги ::, оскільки тоді зламається посилання на фотографію.
–120mm – фокусна відстань.
–s – стилізація і -q – якість. За замовчуванням –s2000, граничні значення до 60000, а якість –q1 і до п’яти.
Як розібратися в устрої чорного ящика Midjourney на чайниках
Мова про дослідження, розпочате художником та інженером Рексом Вонгом (Rex Wang), внесок у яке внесли багато ентузіастів. На дуже простому прикладі – дерев’яному чайнику – Рекс і компанія випробовують різні властивості “промптів”. Якщо немає часу всьому навчитися на власних помилках, вам точно стане в пригоді. Тут, наприклад, можна почитати про weights, aspect ratio і seed.
На чайнику дійсно набагато зрозуміліше, ніж на нативних прикладах зі сферами.
Помітно, що, якщо ви задали колір об’єкта, висока ймовірність, що все оточення буде теж підфарбовано цим кольором. Але все зміниться, якщо замість цього взяти флуоресцентні параметри фотозйомки.
Без параметрів можна. Вважається, що тоді ШІ схиляється до фотореалізму. Як на нас, так, скоріше, до ранніх фільтрів в Instagram і Hipstamatic.
Об’єкт :: Параметри (востаннє)
Повертаємося до структури “промпта”.
Отже, параметри можна визначати найрізноманітнішими художніми стилями і техніками, параметрами освітлення, моделями камери, назвами софта для рендеру і графічних редакторів. Навіть можна задавати їм числові значення за допомогою операторів — і ::.
У заключній частині ще кілька слів про те, як можна співпрацювати з Midjourney (частково перекладені з сайту розробника і ще не перевірені в бою).
Об’єкт. Що, Де, Як. Краще писати головне на самому початку. Хоча варто визнати, що іноді там описують час доби, погоду, інший стиль і світло – і теж нормально виходить.
Медіум. <a акварельний малюнок пейзажу> <a дитячий малюнок будинку>, живопис, малюнок, ескіз, олівцевий малюнок, олівцевий малюнок, w, гравюра в стилі ксилографии, матове живописне полотно, малюнок дитини, малюнок дерев’яним вугіллям, чорнильний малюнок, графіті, акварельний малюнок, фреска, кам’яна дощечка, печерний живопис, скульптура, твір на папері, needlepoint.
Матеріали. Пластик, вовна, диктатор із черв’яків – усе виходить.
Стилі. <Red sofa by Jeff Koons>//<..in style of>. Список художників, яких знає нейромережа, з референсами за стилем. Назви художніх жанрів і стилів.
Також добре працюють згадки літературних і кіножанрів та їхніх героїв, а художників цілком можна замінити іменами режисерів або назвами відомих фільмів і серіалів. Ось, наприклад, коні в серіалі Stranger Things:
Верхній ряд. З першого по третій: </imagine prompt: pink horse in stranger things, dark sky, lightning, octane render, 8k, extreme detail>. Четверта: </imagine prompt: перевернутий трейлер із stranger things, слизькі виноградні лози, темне небо, блискавка, octane render, 8k, extreme detail>.
Нижній ряд. </imagine prompt: рожевий кінь з stranger things>
ШІ погано розуміє або ігнорує частки “але”, “не”, “ні”, “ні”, “крім”, “без” (“not”, “but”, “except”, “without”). Тому:
Замість “a hat that’s not red” краще писати “a blue hat”.
Замість “monkeys doing business” – “three monkeys in business suits”.
Замість “a person but half robot” – “half person half robot” (можливо, нам варто було замовляти в ШІ не Машу, що лежить на дивані, а “молоду жінку в чорній вікторіанській сукні”.
Щоб задати кількість об’єктів, потрібно використовувати іменники в однині або конкретні числа. І якщо Google добре знає об’єкт, нехай і вигаданий, мережа знатиме, що їй робити.
Спробуйте конкретні об’єкти: wizard, priest, angel, emperor, necromancer, rockstar, city, queen, zeus, house, temple, farm, car, landscape, mountain, river.
А потім такі – абстрактні: “a sense of awe”, “the will to endure”, “cognitive resonance”, “the shores of infinity”, “the birth of time”, “a desire for knowledge”, “the notion of self”.
Бонус: Промти
- Ставимо на початок
У *потрібний сеттинг або час зйомки* movie still – надає фото атмосферності та кіношного вигляду
National geographic photo – художня фотографія
Matte painting – реалістична картина, пейзаж
Concept art – малюнок, ілюстрація, персонажі, предмети
Headshot portrait – портрет обличчя
Full body portrait – портрет із тілом до колін
a woman holding the paper with the text
- В кінець
Polaroid, bokeh – робить фотографію у вінтажному стилі та з кольорами вицвілої плівки
Cinestill
perfect faces, fine details – значно покращує обличчя
, Trending on artstation – робить картинку більш художньою
Beautiful
Masterpiece
4k – додає більше деталей
Octane render, unreal engine – 3д графіка
By greg rutkowski – додає атмосферності БУДЬ-ЯКИМ сюжетам
By stephan koldi – атмосферна колірна гамма, туман
By thomas kinkade – дуже яскраві, але приємні оку тони, європа
By ivan aivazovsky – м’яка картинка, але з сильним контрастом, вода
By ivan shishkin – тепла, приємна оку картинка
By marc simonetti – епік і масштаб, реалістична картинка
By stephen hickman – казковий епік
By makoto sinkai – аніме
І ось ще:
Ralph McQuarrie – прості форми ретрофутуризм
Syd Mead -детальні як картини ретрофутуризм
Robert McCall -старий ретрофутуризм без деталей
klaus Burgle -чб фото ретрофутуризм
Ron Cobb -стильні картини, баланс, форми
John Berkey – надто детальне, плутається
Norman Rockwell -ретрофутуризм
Tristram James Ellis, Michelangelo -античне ніжне
Albert Bierstadt -древності, ренесанс
Georges Desvallières – більш сучасне, але все ще старовинне
Peregrine Heathcote – спрощені абстракції
Giovanni Battista Piazzetta – ренесанс
Valentin de Boulogne -ЛЮТИЙ ренесанс
Іван Айвазовський -вода
Ivan Shishkin -дерева, небо
Asher Brown Durand -на зразок Шишкіна, рослини
Maxfield Parrish -на зразок Шишкіна, ніжне
Hans Thoma -детальні ландшафти на кшталт Шишкіна
Thomas Kinkade -красиві пейзажі крапками, ніжні
Asher Brown Durand -футуризм ландшафти, добре поєднується з класикою
Gustave Dore -ЧБ старовинні детальні ландшафти на кшталт Шишкіна
gonzalo fuenmayor -ЧБ оточення
Eddie Mendoza -футуризм
Ryan Dening -футуризм
Thomas Kinkad -барвистий футуризм
Tyler Edlin – похмурий детальний футуризм
Blizzard Concept Artists – футуризм
Sparth Liang Mark G Liulian Craig Mullins Finnian MacManus – красиві ландшафти/види
James Gurney -красиво, рослини, динозаври
George Stubbs -красиві спокійні ілюстрації
Kawase Hasui -красиві спокійні ландшафти
Jakub Różalski – близько-класичні ландшафти
Anton Fadeev – барвисті яскраві ландшафти
Anato Finnstark – барвисті яскраві ландшафти
Ismail Inceoglu -барвисті яскраві ландшафти
Finnian MacManus – футуризм ландшафти оточення – футуризм
Stefan Koidl – біля-сталенхаг
Simon Stalenhag – сталенхаг
Ludwig Deutsch and Rudolf Ernst – біля-сталенхаг
Брок Хофер – лінії
Вес Андерсон – лінії
Denis Villeneuve – лінії
Jean Giraud – красиві персонажі згладжені й абстрактні
Tom Bagshaw -красиві персонажі згладжені й абстрактні
Edward Hopper – красиві персонажі згладжені й абстрактні
Rene Margitte -красиві персонажі згладжені й абстрактні
artgerm -персонажі
Alexander Trufanov -персонажі
Andrei Riabovitchev -красиві персонажі
James Jean -красиві персонажі
Edward Robert Hughes, Henry Justice Ford – красиві персонажі
Рольф Армстронг, Монія Мерло – красиві персонажі
Kezie Demessance – барвисті персонажі
Ha Gyung – барвисті персонажі
Zac Retz – красиві персонажі
Peter Mohrbacher – красиві персонажі та ландшафти (MTG стиль)
Портретний живопис Arthur Rackham, Eugene de Blaas, Frederic Leighton
-ілюстрації
Naranbaatar Ganbold -детальне промальовування ЧБ форм персонажів
Katsuya Terada – цікаві чб абстрактні персонажі
Alexandros Pyromallis Intaglio – ЧБ персонажі
Marc Simonetti – похмурі епічні ландшафти
Jonathan Solter – похмурі епічні ландшафти
Greg Rutkowski -похмурі персонажі-ландшафти
sidwill -похмурі персонажі
Dragan Bibin -похмурі персонажі
Frank Frazetta -похмурі персонажі
jacques callot -чб гравюри детальні
Pieter Claesz -чб гравюри книжкові
Geof Darrow -кольорові ілюстрації! з лініями
Hasui Kawase -традиційне японське
Zdzisław Beksiński -всяке стрьомне
Wayne Barlowe -всяке стрьомне
Arthur Rackham -всяке стрьомне
Даріуш Завадзький -всяке стрьомне
Ute Osterwalder -експериментальні персонажі
Hajime Sorayama -експериментальні персонажі
Carlos Schwabe -експериментальні персонажі
Adolf Hirémy-Hirschl – експериментальні персонажі
Carl Spitzweg – круті грубі мазки і світло
