Trillium Labs відкриє дослідження ризикованих напрямів штучного інтелекту
Trillium Labs планує відкрито досліджувати донавчання моделей, ШІ-агентів і рекурсивне самовдосконалення.
Некомерційна лабораторія Trillium Labs, заснована фахівцями з індустрії штучного інтелекту Натаном Ламбертом і Том Зік, оголосила про намір проводити та публічно описувати дослідження у потенційно ризикованих напрямах ШІ. Організація планує відкривати деталі експериментів, щоб незалежні науковці могли їх вивчати та відтворювати, повідомляє Wired.
Лабораторія зосередиться, зокрема, на донавчанні великих моделей, рекурсивному самовдосконаленні та ШІ-агентах. Рекурсивне самовдосконалення передбачає створення нових моделей із залученням ШІ до дослідницької роботи. Частина фахівців із ШІ вважає, що необмежений прогрес у цьому напрямі потенційно може призвести до втрати людського контролю.
Відкриті експерименти
За словами засновників, закритий характер роботи провідних лабораторій звужує можливості наукової спільноти перевіряти ідеї та пропонувати інші підходи. Найпотужніші моделі компаній OpenAI й Anthropic доступні переважно через застосунки або програмні інтерфейси, що обмежує інформацію про їхню розробку та поведінку.
Водночас деякі компанії, зокрема в Китаї, публікують моделі, які можна завантажити й запускати на власному обладнанні. Xiaomi нещодавно оприлюднила поточні деталі масштабного навчання однієї зі своїх моделей, а дослідники Стенфордського університету відкрито проводять попереднє навчання моделі Marin.
Фінансування і напрями роботи
Trillium Labs також досліджуватиме, як навчання з підкріпленням впливає на можливості, характер і поведінку моделей. Цей метод винагороджує модель за бажані результати та карає за небажані. Він підвищив спроможності агентів, але водночас, за даними видання, може спонукати їх до неочікуваних дій або надмірної догідливості.
Лабораторія залучила нерозкриту суму фінансування від Schmidt Sciences, Halcyon Futures та інших донорів. Засновники мають намір зібрати від 40 до 100 млн доларів загалом і витратити 30 млн доларів на навчання моделей упродовж найближчих 18 місяців.
Ламберт раніше працював у дослідницькій лабораторії Ai2 та Hugging Face і заснував ініціативу American Truly Open Models. Зік працювала в Гарвардському університеті та допомагала Charles Schwab розробляти політики відповідального використання ШІ.
