OPT-175B, безкоштовна версія GPT-3. Не потрібно входити в систему, не потрібна кредитна картка!
Я розумію що зараз у всіх на слуху chatGPT, але завжди приємно коли є альтернативи).
Велика модель для всіх
Alpa – це система для навчання та обслуговування гігантських моделей машинного навчання.
Alpa робить навчання та обслуговування великих моделей на кшталт GPT-3 простим, доступним, доступним для кожного.
Попередження: Ця модель може генерувати щось образливе. Жодних заходів безпеки як безкоштовного сервісу не передбачено.
Часті запитання
Що таке Alpa?
Alpa – це система з відкритим вихідним кодом для навчання та обслуговування великомасштабних нейронних мереж. Alpa має на меті автоматизувати великомасштабне розподілене навчання та обслуговування за допомогою лише кількох рядків коду.
Спочатку Alpa була розроблена співробітниками лабораторії Sky Lab, Каліфорнійський університет в Берклі. Деякі передові методи, що використовуються в Alpa, були описані в статті, опублікованій на OSDI’2022. Спільнота Alpa зростає з новими учасниками з Google, Amazon, AnyScale тощо.
Що таке мовні моделі та GPT-3? Чи не могли б ви дати більш загальне уявлення про них та їх застосування?
Мовна модель – це розподіл ймовірностей для послідовностей слів. Вона передбачає наступне слово на основі всіх попередніх слів. Вона корисна для різноманітних додатків зі штучним інтелектом, таких як автозавершення в електронній пошті або чат-бот. Щоб дізнатися більше, відвідайте сторінку мовної моделі у Вікіпедії.
GPT-3 – це дуже велика мовна модель зі 175 мільярдами параметрів, яка використовує глибоке навчання для створення тексту, схожого на людський. Багато дослідників і новинних статей описують GPT-3 як “одну з найцікавіших і найважливіших систем штучного інтелекту, коли-небудь створених”. GPT-3 поступово використовується як основа для новітніх досліджень і застосувань НЛП.
Через свої гігантські розміри навчання та обслуговування GPT-3 є дуже складним і дорогим, а також створює значні проблеми для програмних систем, що лежать в його основі. Оригінальний GPT-3, який тренується OpenAI, має закритий вихідний код і розробляється як платна послуга — При його використанні користувачі повинні платити за кожен згенерований токен.
Що таке OPT-175B? Чим він відрізняється від GPT-3?
OPT-175B – це модель, еквівалентна GPT-3, яку навчає Meta. На сьогоднішній день це найбільша з доступних попередньо навчених мовних моделей з 175 мільярдами параметрів. Ви можете запросити доступ до натренованих вагових коефіцієнтів, заповнивши цю форму. Для отримання детальної інформації про продуктивність OPT-175B ознайомтеся з документом OPT.
Поради щодо кращої генерації?
Ви можете почати з наведених прикладів. Уникайте пробілів в кінці запиту. Хоча нові рядки – це чудово. Більше прикладів можна знайти в додатку до документа OPT.
Який метод відбору проб ви використовуєте? Що означають Temperature і Top-p?
Наразі ми використовуємо випадкову вибірку, тому кожного разу, коли ви натискаєте кнопку “згенерувати”, згенерований результат може відрізнятися. Температура контролює, наскільки рівномірним є розподіл вибірки. Нижча температура підштовхує генератор вибирати з моделі токени з вищими оцінками.
Вибірка Top-p вибирає з найменшого можливого набору слів, кумулятивна ймовірність яких перевищує ймовірність p. Мале значення p не дозволяє моделі вибирати лексеми з нижчими оцінками. Більш детальний опис того, як зробити вибірку, дивіться на цій сторінці від huggingface.
Я хочу більше налаштувань для генерації, наприклад, використання пошуку по променю або налаштування штрафу за повторення. Як я можу це зробити?
Цей веб-інтерфейс пропонує лише три аргументи для простоти, хоча наш бекенд підтримує різноманітний набір методів генерації та аргументів.
Ми розробляємо RESTFUL API, щоб надати повний набір аргументів. Слідкуйте за новинами. Тим часом, якщо ви хочете спробувати різні техніки генерації та гіперпараметри вже зараз, ви можете налаштувати власний сервіс OPT-175B за допомогою Alpa і почати звідси.
Чи збираєте ви якісь дані з моїх вхідних даних, коли я використовую цей сервіс?
Ми не зберігаємо вміст ваших даних. Ми лише реєструємо шаблони трафіку, такі як позначка часу, коли ви надіслали свої дані, і тривалість ваших даних.
Чому я повинен вибрати Alpa замість існуючих систем?
Говорячи мовою високого рівня, Alpa є більш автоматизованою, масштабованою та економічно ефективною порівняно з існуючими системами.
Якщо ви розробник ML або науковець, який шукає систему, здатну навчати або обслуговувати великі моделі, такі як GPT-3, Alpa забезпечує найсучаснішу продуктивність, але при цьому вимагає мінімального досвіду для налаштування. У той же час, Alpa дозволяє навчати або обслуговувати великі моделі на графічних процесорах старших поколінь (а отже, дешевших), таких як 40GB A100, V100, T4, M60 і т.д., які поширені в багатьох внутрішніх кластерах і є більш доступними для багатьох людей.
Якщо ви системний розробник, який прагне розробити кращі навчальні або обслуговуючі системи, Alpa, як компілятор, пропонує найбільшу гнучкість для випробування різних методів розпаралелювання ML (між- та внутрішньоопераційний паралелізм), а також найбагатше покриття великих модельних архітектур (GPT-3, MoE, WideResNet та ін.). Alpa може стати для вас гарною відправною точкою для початку створення прототипів.
Якщо ви любитель в ML/NLP-системах, що ж, ви можете погратися з виведенням OPT-175B безплатно; в той час, як всі існуючі сервіси беруть плату за кожен згенерований токен.
Скільки графічних процесорів потрібно для запуску сервісу обслуговування для OPT-175B або GPT-3?
Це залежить від того, які типи графічних процесорів використовуються. Жорстким обмеженням зараз є те, що загальна пам’ять GPU в кластері повинна перевищувати 350 ГБ для успішного запуску виведення моделі. Багато існуючих навчальних або обслуговуючих систем зазвичай покладаються на використання останніх поколінь GPU з найбільшим об’ємом пам’яті, таких як 80 ГБ A100.
На противагу цьому, Alpa, завдяки своєму більш потужному бекенду, дозволяє обслуговувати OPT-175B з більш гнучким паралелізмом на старіших поколіннях графічних процесорів, таких як 40GB A100, V100, T4, M60 і т.д.
Наприклад, якщо ви вирішите використовувати 16 ГБ графічних процесорів V100, то для запуску сервісу вам знадобиться 350 / 16 = 22 графічних процесорів V100.
Ми працюємо над функцією, яка дозволить обслуговувати моделі, навіть якщо у вас недостатньо графічної пам’яті, слідкуйте за новинами.
Як ви робите цю послугу безкоштовною?
Alpa не потребує графічних процесорів останнього покоління (наприклад, 80GB A100), що знижує вартість машини. Завдяки цьому ми використовуємо старіші покоління обладнання, надані нашими спонсорами: MBZUAI та Sky Lab, UC Berkeley.
Якщо ви зацікавлені в будь-якій формі пожертвування або спонсорства, щоб допомогти розвитку Alpa, будь ласка, зв’яжіться з авторами Alpa в Alpa Slack.
Чи можу я використовувати цей безкоштовний сервіс для мого бізнесу?
Ні. Це публічна послуга, що надається авторами та спонсорами Alpa. Використання цього сервісу підпадає під дію ліцензії Alpa з відкритим кодом. Використання моделі OPT-175B підпадає під дію ліцензії OPT-175B компанії Meta, яка обмежує її використання дослідницькими цілями.
Чому ця модель іноді генерує щось дуже образливе?
Це добре відома проблема з великими мовними моделями, які навчаються на текстових корпусах, зібраних з Інтернету. У спільноті NLP та ML активно ведуться дослідження, спрямовані на розв’язання цієї проблеми. Ознайомтеся з цією статтею. Ми включимо останні результати досліджень у цей сервіс, щоб покращити результати в наступних ітераціях.
Який зв’язок між Alpa і проектом Ray?
Наразі Alpa працює поверх кластера Ray і використовує деякі функції Ray для координації розподілених процесів. Однак, на відміну від Ray, Alpa розроблена як компілятор для великомасштабного розподіленого навчання машинного навчання та обслуговування з високою продуктивністю.