Головний науковець OpenAI Якуб Пахоцький запропонував міряти темпи розвитку ШІ

Головний науковець OpenAI Якуб Пахоцький запропонував міряти темпи розвитку ШІ

Головний науковець OpenAI Якуб Пахоцький запропонував використовувати перплексію для встановлення спільних обмежень розвитку ШІ.

Головний науковець OpenAI Якуб Пахоцький у новому дописі запропонував використовувати показник перплексії як спільний вимір темпів розвитку систем штучного інтелекту. Як повідомляє TechCrunch, такий підхід міг би дати компаніям змогу встановлювати спільні обмеження для подальшого прогресу моделей.

 

Показник для оцінки моделей

 

Перплексія вимірює, наскільки добре модель у середньому передбачає наступний токен. Що нижчим є цей показник, то точнішими є прогнози моделі. На думку Пахоцького, бенчмарки, зосереджені на прикладних можливостях ШІ, швидко втрачають актуальність у міру розвитку технологій, тоді як перплексія залишається інформативною метрикою.

У дописі наведено графік, який демонструє зниження перплексії в моделях OpenAI від GPT-3.5. Пахоцький зазначив, що GPT-4 із показником 0,91 уже вмів продуктивно використовувати міркування за ланцюжком думок. Це, за його словами, стало підставою для цілеспрямованого розвитку цієї здатності та появи сучасних моделей міркування.

 

Ідея спільних обмежень

 

Пахоцький також пов’язав значення нижче 0,8 із появою можливостей, які він назвав трансформаційними, зокрема у кібербезпеці та математиці. Він вважає, що перплексія може стати основою спільного бенчмарку загального інтелекту.

За запропонованою логікою, компанії могли б домовитися не переходити визначений поріг цієї метрики доти, доки їхня здатність розуміти та контролювати поведінку ШІ не досягне конкретного рівня. Обговорення темпів розвитку ШІ посилилося після заяв колишнього дослідника OpenAI та Anthropic про ризики технології, а також після плану генерального директора Anthropic Даріо Амодеї щодо обмеження неконтрольованого прогресу.