BloombergGPT – чат-бот для трейдерів та інвесторів.
Агентство Bloomberg представило чат-бота BloombergGPT. Це велика мовна модель із 50 млрд параметрів, створена для фінансового ринку. Модель навчена на великому масиві даних, які аналітики Bloomberg збирали і зберігали протягом 40 років. У результаті модель істотно перевершує аналоги в питаннях виконання різноманітних завдань обробки природної мови у фінансовій галузі.
Нещодавні досягнення в галузі штучного інтелекту (ШІ) на основі магістерських програм вже продемонстрували нові захоплюючі застосування для багатьох сфер. Однак складність і унікальна термінологія фінансової сфери вимагають створення специфічної для неї моделі. BloombergGPT є першим кроком у розробці та застосуванні цієї нової технології для фінансової індустрії.
Ця модель допоможе Bloomberg покращити існуючі фінансові завдання НЛП, такі як аналіз настроїв, розпізнавання іменованих об’єктів, класифікація новин та відповіді на запитання, серед іншого. Крім того, BloombergGPT відкриє нові можливості для обробки величезних обсягів даних, доступних на терміналі Bloomberg, щоб краще допомагати клієнтам фірми, одночасно привносячи весь потенціал ШІ у фінансову сферу.
Вже понад десять років Bloomberg є першопрохідцем у застосуванні ШІ, машинного навчання та НЛП у фінансовій сфері. Сьогодні Bloomberg підтримує дуже великий і різноманітний набір завдань НЛП, які виграють від нової мовної моделі, що враховує фінанси. Дослідники Bloomberg вперше застосували змішаний підхід, який поєднує фінансові дані з наборами даних загального призначення для навчання моделі, яка досягає найкращих у своєму класі результатів на фінансових тестах, водночас зберігаючи конкурентоспроможність на загальних тестах LLM.
Щоб досягти цієї віхи, група з розробки та дослідження продуктів ML у Bloomberg співпрацювала з командою інженерів зі штучного інтелекту, щоб створити один з найбільших наборів даних для конкретної галузі, спираючись на існуючі ресурси компанії зі створення, збору та зберігання даних. Як компанія, що займається фінансовими даними, аналітики Bloomberg збирали та зберігали фінансові документи протягом сорока років. Команда витягла з цього великого архіву фінансових даних всеосяжний набір даних на 363 мільярди токенів, що складається з англомовних фінансових документів.
Ці дані були доповнені загальнодоступним набором даних на 345 мільярдів токенів, щоб створити великий навчальний корпус з більш ніж 700 мільярдами токенів. Використовуючи частину цього навчального корпусу, команда навчила 50-мільярдну модель каузальної мови лише для декодера параметрів. Отриману модель було перевірено на існуючих фінансових тестах НЛП, набору внутрішніх тестів Bloomberg і широких категоріях завдань НЛП загального призначення з популярних тестів (наприклад, BIG-bench Hard, оцінювання знань, розуміння читання і лінгвістичних завдань). Примітно, що модель BloombergGPT значно перевершує існуючі відкриті моделі аналогічного розміру у фінансових завданнях, а в загальних тестах з НЛП показує такі ж або навіть кращі результати.