Те, що ChatGPT може автоматично генерувати щось, що хоча б поверхнево схоже на написаний людиною текст, дивно і несподівано. Але як він це робить? І чому це працює?
Стаття на 19к слів детально розкриває і пояснює як працює ChatGPT, з купою картинок і прикладів.
Основна концепція ChatGPT досить проста. Почніть з величезної вибірки створеного людиною тексту з інтернету, книг тощо. Потім навчіть нейронну мережу генерувати текст, який “схожий на цей”. І, зокрема, зробити так, щоб вона могла почати з “підказки”, а потім продовжити текст, який “схожий на те, чого її навчали”.
Нейронна мережа в ChatGPT складається з дуже простих елементів – хоча їх мільярди. І базова робота нейронної мережі також дуже проста, вона полягає в тому, щоб пропускати вхідні дані, отримані з тексту, який вона згенерувала дотепер, “один раз через свої елементи” (без жодних циклів тощо) для кожного нового слова (або частини слова), яке вона генерує.
Але найчудовіше і найнесподіваніше полягає в тому, що цей процес може продукувати текст, який успішно “схожий” на той, що є в Інтернеті, в книжках тощо. І це не тільки зв’язна людська мова, вона також “говорить речі”, які “слідують її підказці”, використовуючи зміст, який вона “прочитала”. Він не завжди говорить речі, які “глобально мають сенс” (або відповідають правильним обчисленням) – тому що (без доступу, наприклад, до “обчислювальних надздібностей” Wolfram|Alpha) він просто говорить речі, які “звучать правильно”, ґрунтуючись на тому, як речі “звучали” в його навчальному матеріалі.
Специфічна інженерія ChatGPT зробила його вельми переконливим. Але в кінцевому підсумку (принаймні, поки він не зможе використовувати зовнішні інструменти) ChatGPT “просто” витягує якусь “зв’язну нитку тексту” з накопиченої ним “статистики загальноприйнятої мудрості”. Але дивно, наскільки результати схожі на людські. І це наштовхує на думку про щось, принаймні дуже важливе з наукового погляду: людська мова (і моделі мислення, що лежать у її основі) якось простіша і більш “законоподібна” у своїй структурі, ніж ми думали. ChatGPT побічно виявив це.
Те, що ChatGPT робить у генерації тексту, дуже вражає – і результати зазвичай дуже схожі на те, що ми, люди, могли б зробити. Чи означає це, що ChatGPT працює як мозок? Його штучно-нейромережева структура, що лежить в основі, в кінцевому підсумку була змодельована на основі ідеалізації мозку. І здається цілком імовірним, що коли ми, люди, генеруємо мову, багато аспектів того, що відбувається, дуже схожі.
Коли справа доходить до навчання, різне “обладнання” мозку і сучасних комп’ютерів змушує ChatGPT використовувати стратегію, яка, ймовірно, доволі сильно відрізняється (і з деякого погляду набагато менш ефективна) від стратегії мозку. І ще дещо: на відміну навіть від типових алгоритмічних обчислень, ChatGPT не має внутрішніх “циклів” або “повторних обчислень на даних”. І це неминуче обмежує його обчислювальні можливості – навіть стосовно сучасних комп’ютерів, але вже точно по відношенню до мозку.
Але поки що цікаво подивитися, що вже вдалося зробити ChatGPT. На якомусь рівні це чудовий приклад фундаментального наукового факту, що велика кількість простих обчислювальних елементів може робити дивовижні й несподівані речі. Але це також дає, можливо, найкращий за останні дві тисячі років імпульс для кращого розуміння фундаментального характеру та принципів тієї центральної риси людського буття, якою є людська мова та процеси мислення, що стоять за нею.
@MikeBlazerX
