Шикарна лекція з backpropagation для тих, хто тільки занурюється, і для тих, хто вже по горло в машинці.
Це найбільш покрокове пояснення зворотного поширення та навчання нейронних мереж. Воно передбачає лише базові знання Python та неясний спогад про математику зі школи.
Розділи:
- 00:00:00 вступ
- 00:00:25 огляд мікроградуювання
- 00:08:08 похідна простої функції з одним входом
- 00:14:12 похідна функції з декількома входами
- 00:19:09 запуск основного об’єкта Value в micrograd та його візуалізація
- 00:32:10 приклад ручного розмноження #1: простий вираз
- 00:51:10 попередній перегляд одного кроку оптимізації
- 00:52:52 приклад ручного розмноження #2: нейрон
- 01:09:02 реалізація зворотної функції для кожної операції
- 01:17:32 реалізація зворотної функції для цілого графа виразів
- 01:22:28 виправлення помилки бекграунду при багаторазовому використанні однієї вершини
- 01:27:05 розбиття тану, вправи з більшою кількістю операцій
- 01:39:31 те саме, але у PyTorch: порівняння
- 01:43:55 збираємо бібліотеку нейромереж (багатошаровий персептрон) у micrograd
- 01:51:04 створюємо крихітний набір даних, пишемо функцію втрат
- 01:57:56 збираємо всі параметри нейромережі
- 02:01:12 робимо оптимізацію градієнтного спуску вручну, навчаємо мережу
- 02:14:03 підсумок того, що ми дізналися, як рухатися до сучасних нейронних мереж
- 02:16:46 ознайомлення з повним кодом micrograd на github
- 02:21:10 реальні справи: занурення в PyTorch, пошук їхнього бекграунду для tanh
- 02:24:39 висновок
- 02:25:20 ауттейки 🙂