Звіт METR: моделі Anthropic удвічі прискорили розробку ШІ
METR повідомила, що моделі Anthropic приблизно вдвічі прискорили розробку ШІ, але частину даних зі звіту вилучили.
Моделі Anthropic допомагають компанії прискорювати власні дослідження й розробку штучного інтелекту приблизно вдвічі швидше, ніж рік тому. Такого висновку дійшла дослідницька організація METR після 11-тижневого вивчення роботи компанії, повідомляє The Verge.
Внесок моделей у дослідження
У METR заявили, що за останній рік Anthropic досягла приблизно двох років історичного прогресу за показниками тестів. Дослідники вважають, що головним чинником такого прискорення станом на жовтень стало використання ШІ, а не лише нарощування обчислювальних потужностей для навчання моделей.
Висновки також спираються на опитування працівників у Slack та інтерв'ю. Співробітники, які застосовували найпотужнішу внутрішню модель Anthropic, у середньому оцінювали свою продуктивність приблизно у 12 разів вищою, ніж без допомоги ШІ. Це приблизно вдвічі більше за оцінки, які працівники давали кількома місяцями раніше під час роботи з моделлю Mythos 5.
Поки що значна частина прискорення пов'язана з тим, що моделі допомагають людям-дослідникам, а не діють цілком автономно. Водночас у METR помітили ознаки того, що внесок повністю автономних систем може невдовзі зрости. Організація також не виявила очевидних ознак спадної віддачі чи вузьких місць, які б стримували подальше прискорення.
Нерозкриті моделі та вилучені дані
У звіті зазначено, що за останні шість місяців Anthropic завершила навчання трьох моделей, які ще не стали публічними. METR назвала їх Model 2, Model 3 і Model 4: їхнє навчання завершилося відповідно у липні, серпні—вересні та вересні—жовтні. Дослідники також згадали внутрішню модель Unreleased 2022.
Anthropic надала METR доступ до конфіденційних досліджень, даних про ефективність моделей та інтерв'ю з працівниками, однак не надала необмеженого доступу. Компанія також мала право редагувати фінальну публічну версію звіту. METR повідомила, що Anthropic вилучила більшість доказів, які організація вважала найбільш інформативними, а частину запитів на дані відхилили.
Суперечки про прозорість
Співзасновник Anthropic Сем Маккендліш визнав, що масштабні вилучення ускладнюють перевірку роботи METR іншими сторонами. За його словами, компанія вирішила не розкривати конкретні чинники прискорення через комерційну чутливість інформації та ризик надати конкурентам орієнтири для швидшого розвитку моделей. Він також заявив, що Anthropic планує протягом найближчих тижнів опублікувати власний звіт про темпи розвитку ШІ та нові кроки у сфері безпеки.
Частина дослідників у сфері безпеки ШІ розкритикувала підхід компанії, вказавши на розбіжність між її публічними закликами до обережного розвитку технології та прискоренням внутрішніх досліджень. Представники цієї спільноти також закликали посилити незалежний нагляд за лабораторіями, що розробляють передові моделі ШІ.
