Велика мовна модель Claude 3 Opus від Anthropic вперше перевершила GPT-4 від OpenAI на платформі Chatbot Arena, де ШІ-дослідники оцінюють якість чат-ботів, пише Ars Technica.
Користувачі Chatbot Arena вводять запит і отримують два результати від мовних моделей, назви яких приховані. Потрібно вибрати найбільш вподобаний результат. Майданчик проводить тисячі порівнянь і заповнює оновлювану рейтингову таблицю. Сайтом керує дослідницька організація Large Model Systems Organization (LMSYS ORG), яка опікується відкритими ШІ-моделями.
“Уперше найкращими серед доступних ШІ-моделей стали розроблені не OpenAI: Opus для складних завдань, Haiku – для випадків, коли потрібно дешево і швидко. Це обнадіює: від конкуренції розробників усі тільки виграють. Але GPT-4 уже понад рік, а конкуренти наздогнали її тільки зараз”, – прокоментував подію незалежний ШІ-дослідник Саймон Віллісон.
