Нова модель Orion не демонструє значного прогресу порівняно з GPT-4. Компанії не вистачає ресурсів і потужностей для чергового якісного ривка.
Розробка нових ШІ-моделей в OpenAI сповільнилася через брак даних для навчання, повідомляє видання The Information з посиланням на тестувальників компанії. Нова мовна модель під кодовою назвою Orion, за їхніми словами, перевершує попередні моделі OpenAI, але прогрес не так вражає, як під час переходу від GPT-3 до GPT-4.
Orion пройшов тільки 20% етапу навчання, але вже за деякими показниками наближається до GPT-4. Однак продуктивність моделі в завданнях, пов’язаних із написанням коду, залишається нижчою, ніж у попередників. OpenAI називає брак даних для подальшого навчання основною проблемою.
Для вирішення цієї проблеми компанія створила спеціальну команду, яка вивчає альтернативні підходи до розвитку моделі. Зокрема, розглядається використання синтетичних даних, що генеруються іншими ШІ, що може компенсувати дефіцит якісних текстів. Видання зазначає, що для навчання Orion використовують дані, згенеровані іншою моделлю – o1.