OpenAI заявила про зростання успішності агентів у дослідницьких завданнях

OpenAI заявила про зростання успішності агентів у дослідницьких завданнях

OpenAI повідомила, що її агенти виконують 46% дослідницьких завдань тривалістю від двох до чотирьох годин без допомоги людини.

OpenAI заявила, що її агенти для програмування без допомоги людини виконують 46% дослідницьких завдань, на які людині знадобилося б від двох до чотирьох годин. У березні цей показник становив 23%. Для завдань тривалістю від чотирьох до восьми годин частка успішного виконання зросла з 13% до 35%, повідомляє The Next Web.

Ці дані компанія навела у звіті Research acceleration: The jagged frontier, опублікованому в середу. Це другий звіт OpenAI про те, як штучний інтелект прискорює її власні дослідження; перший вийшов у вересні.

Компанія також вважає, що лабораторії мають відстежувати та публічно повідомляти про ознаки рекурсивного самовдосконалення — ситуації, коли ШІ пришвидшує створення майбутніх систем ШІ. Водночас OpenAI зазначила, що така звітність не означає наміру досягати повного самовдосконалення.

 

Витрати на роботу агентів

 

За цінами API медіанний дослідник OpenAI у жовтні використовував агентів приблизно на 2 400 доларів на день — на 62% більше, ніж 1 500 доларів у вересні. Для 90-го перцентиля щоденні витрати сягнули близько 23 000 доларів, що більш ніж удвічі перевищує вересневі 11 000 доларів.

Виміряний у часі обсяг використання агентів на одного дослідника зріс у 11 разів: із 0,5 до 5,7 «робочого дня агента» на добу. OpenAI прирівнює один такий день до восьми годин роботи агента. До середини жовтня понад дві третини дослідників одночасно запускали щонайменше чотири агенти у свій денний пік, а понад 10% — щонайменше 16.

 

Різні результати залежно від завдання

 

Ефективність агентів суттєво відрізнялася залежно від типу роботи. Самостійно вони успішно впоралися з 79% завдань із моніторингу навчальних запусків та 72% технічних запитань. Водночас для написання коду систем інференсу й обслуговування показник становив 25%, а для побудови середовищ оцінювання та навчання — 29%.

OpenAI застерегла, що зі вдосконаленням агентів дослідники могли змінювати перелік переданих їм завдань, тому показники відображають як можливості моделей, так і цей вибір. В опитуванні 101 співробітника медіанна відповідь щодо цінності доступу до передових агентів для програмування протягом трьох місяців дорівнювала 40% чисельності команди або 30% її обчислювальних ресурсів. Компанія окремо попередила, що самооцінки можуть бути неточними, а вибірка працівників не була систематичною.

Дослідники, яких опитала OpenAI, також зазначили, що основні ідеї для моделей GPT-6 Astra та GPT-6.2 Astra переважно створювали люди, тоді як моделі допомагали їх реалізовувати. За їхніми словами, агенти все ще слабко оцінюють дослідницькі ідеї, код, дані та тексти.