🏃🏻 Awesome-totally-open-chatgpt

Awesome-totally-open-chatgpt – це список ресурсів для того, щоб почати гратися/піднімати свою опенсоурсну альтернативу чатботу ChatGPT тільки з блекджеком і … що там у вас на думці.

ChatGPT – це GPT-3.5 з RLHF (Reinforcement Learning with Human Feedback) для чат-системи.

Під альтернативою я маю на увазі проекти з іншою мовною моделлю для чату. Проекти не зараховуються, якщо вони є такими:

Альтернативні фронтенд-проекти, оскільки вони просто викликають API з OpenAI.

Альтернативні моделі перетворювача-декодера до GPT 3.5 або тому, що їхні навчальні дані (здебільшого) не призначені для чат-системи.

• lucidrains/PaLM-rlhf-pytorch. Реалізація RLHF (Reinforcement Learning with Human Feedback) на основі архітектури PaLM. По суті ChatGPT, але з PaLM
• togethercomputer/OpenChatKit. OpenChatKit надає потужну базу з відкритим вихідним кодом для створення як спеціалізованих, так і універсальних чат-ботів для різних застосувань.
• oobabooga/text-generation-webui. Градієнтний веб-інтерфейс для роботи з великими мовними моделями, такими як GPT-J 6B, OPT, GALACTICA, LLaMA та Pygmalion.
• KoboldAI/KoboldAI-Client. Це браузерний фронт-енд для написання текстів за допомогою штучного інтелекту з декількома локальними та віддаленими моделями штучного інтелекту. Він пропонує стандартний набір інструментів, включаючи пам’ять, авторську примітку, інформацію про світ, збереження та завантаження, регульовані налаштування ШІ, параметри форматування та можливість імпортувати існуючі пригоди AI Dungeon. Ви також можете увімкнути режим пригод і грати в гру, як у AI Dungeon Unleashed.
• LAION-AI/Open-Assistant. OpenAssistant – це чат-помічник, який розуміє завдання, може взаємодіяти зі сторонніми системами та динамічно отримувати інформацію для їх виконання.
• tatsu-lab/stanford_alpaca. Це репозиторій для проекту Stanford Alpaca, метою якого є створення та поширення моделі LLaMA, що слідує за інструкціями.
• BlinkDL/ChatRWKV. ChatRWKV схожий на ChatGPT, але працює на основі мовної моделі RWKV (100% RNN) і має відкритий вихідний код.
• THUDM/ChatGLM-6B. ChatGLM-6B – це відкрита двомовна мовна модель, заснована на фреймворку General Language Model (GLM), з 6,2 мільярдами параметрів. Завдяки техніці квантування, користувачі можуть розгортати її локально на відеокартах споживчого класу (потрібно лише 6 ГБ графічної пам’яті на рівні квантування INT4).
• bigscience-workshop/xmtf. Цей репозиторій містить огляд усіх компонентів, використаних для створення BLOOMZ та mT0 і xP3, представлених у статті Міжмовне узагальнення за допомогою багатозадачного налаштування.
• carperai/trlx. Репозиторій для розподіленого навчання мовних моделей з підкріпленням за допомогою зворотного зв’язку з людиною (RLHF), що підтримує онлайн-навчання до 20b параметрів і офлайн-навчання для більших моделей. По суті, це те, що ви використовуєте для перетворення GPT у ChatGPT.

А ось тут (github.com/cocktailpeanut/dalai) ще як запускати модель LLaMA у себе на машині (так, це можливо).