Нарешті прояснився ступінь відставання Китаю від США в ШІ. Заодно стало зрозуміло, що тест Тюрінга для сучасних мовних моделей – просто дитячий садок. Настільки просунуті моделі слід оцінювати, як аналітиків ЦРУ – за глибиною і точністю обґрунтувань, які вони дають.
Результати порівняння інтелектуальної потужності ChatGPT з його головним китайським конкурентом Ernie Bot (китайське ім’я Wenxin Yiyan – це розробка Baidu) оповиті туманом.
З одного боку, експерти переконують, що Ernie програв у всіх 6 номінаціях:
- Семантичне розуміння.
- Можливості безперервного діалогу.
- Логічні можливості.
- Можливості кодування.
- Моделювання особистості.
- Математичні здібності.
З іншого боку – піди перевір. Експерти деталей не наводять, а самим перевірити непросто, бо тестування йшло китайською мовою, доступ до Ernie обмежений, а API Baidu вимагає китайський номер телефону.
Але ось, завдяки Джеффрі Дінгу, можна прочитати* деталі порівняння ChatGPT з Ernie Bot не за кострубатим і з помилками у важливих деталях машинним перекладом, а в гарному і точному англійському перекладі фахівця.
Мені ж залишається пояснити, чому я виніс у заголовок і преамбулу поста саме те, що там написано.
Почну з пояснення преамбули – що моделі слід оцінювати, як аналітиків ЦРУ, за глибиною і точністю обґрунтувань, які вони дають.
Порівняльне тестування ботів показало, що семантичне розуміння стає ключовим фактором перевірки когнітивних здібностей моделі.
А оскільки, що таке розуміння – питання тонке і неоднозначне, – перевірити ступінь розуміння семантики дуже непросто (і тим паче, для нелюдського інтелекту, в якого всі когнітивні процеси влаштовано дуже не по-людськи).
І тому перевіряють те, що люди своїм розумом можуть точно перевірити – глибину і точність обґрунтувань, які дають боти.
Ось реальний приклад
Запитання:
Тато і мама одружуються, чи вважається це інбридингом/змішаним шлюбом?
– Відповідь Ernie Bot: Закон Китаю передбачає, що прямим кровним родичам і кровним родичам у межах трьох поколінь забороняється одружуватися. Іншими словами, заборонені шлюби між близькими родичами, такими як двоюрідні брати, дядьки тощо. А з генетичної точки зору змішані шлюби підвищують ризик деяких поширених генетичних захворювань, таких як вроджене слабоумство, альбінізм, хвороби серця тощо. Тому, для здоров’я майбутніх поколінь людям рекомендується уникати змішаних шлюбів.
– Відповідь ChatGPT: Тато і мама належать до біологічних батьків. Вони не пов’язані кров’ю, тому їхній союз не є кровноспорідненим. Інбридинг – це шлюб людей, які перебувають у близькій кровній спорідненості.
Результат оцінки відповідей очевидний: ChatGPT виграв за точністю обґрунтування, при цьому уникнувши непотрібної тут глибини копання в законодавство Китаю.
Тепер поясню вибір заголовка поста.
Попри те, що Ernie Bot програв у всіх номінаціях (не найкращим чином показавши себе навіть у симуляції особистості), загалом, він непогано впорався (навіть зображуючи з себе не тільки людину, а й кошеня).
Однак із розумінням (машинним, а не людським) у нього слабенько. І це означає, що Китай відстає в ШІ від США трохи, але в найголовнішому.
І це відкидає Китай від США в перегонах до AGI на ціле коло. Поки що…
