Учора подивився цю чарівну лекцію зі Стенфорда про новітні Мовні моделі. Проф С. Potts дуже класно дав загальний огляд мовних моделей і швиденько розповів, як ми докотилися до таких чудес, як, наприклад, GPT-3 і ChatGPT. Потім він поміркував про те, в яких підтемах NLP можна ще щось привнести звичайному смертному, якщо у вас немає мільйонів доларів на навчання SOTA моделей.
І ось які актуальні теми для рісерчу:
- Retrival augmented in-context learning (умовно, як поєднати пошук і LLM)
- Створення найкращих бенчмарків, датасетів
- “Last mile” for productive apps: Адаптація величезних моделей для кінцевих додатків, що спрощують життя
- Дослідження в бік пояснення і верифікації результатів, виданих LLM (величезними мовними моделями).
Самі вони в науковій групі цього профа, з його слів, майже перестали тренувати моделі і, здається, займаються промт-інженірингом і докручуванням уже натренованих LLM за вищевказаними напрямками.
Вийшла не дуже важка, але дуже надихаюча лекція! Може після цього ви захочете написати дисертацію в галузі NLP. Ну, або створити стартап.
Розділи:
- 0:00 Відкриття
- 00:09 Вступне слово Кріса Поттса
- 1:09 Кріс Поттс – Ласкаво просимо на вебінар
- 03:43 Швидка демонстрація GPT-3
- 06:41 GLUE бенчмарк
- 10:26 Як ви можете зробити свій внесок у NLU в епоху цих гігантських моделей?
- 11:44 Проблема останньої милі
- 13:35 Приклад GPT
- 14:50 Контраст In-Context навчання зі стандартною парадигмою стандартного контролю
- 16:47 Які механізми стоять за цим?
- 18:18 Чому це працює так добре?
- 18:35 Самоконтроль
- 21:08 Роль людського зворотного зв’язку
- 21:32 Діаграма GPT чату
- 23:42 Покрокові міркування
- 28:13 Підхід LLM для всього
- 41:29 Курси зі штучного інтелекту в Стенфорді
- 46:28 Прогнози про майбутнє