Гендиректор Microsoft Сатья Наделла закликав вважати ШІ-моделі внутрішнім ризиком

Генеральний директор Microsoft Сатья Наделла заявив, що компаніям варто виходити з припущення, ніби будь-яка розгорнута ними передова ШІ-модель може бути скомпрометована, і від початку обмежувати її можливості. Про це він написав у великому дописі в X у суботу, повідомляє BBC News.

За словами Наделли, уповноважена людина повинна мати змогу призупинити або вимкнути модель у процесі виконання завдання — як за допомогою аварійного гальма. Він зазначив, що в традиційному програмному забезпеченні інженери можуть простежити поведінку до конкретного шляху в коді, тоді як для сучасних моделей це неможливо: їхню поведінку не можна пов’язати з навчальними даними або вагами.

Контроль поза межами моделі

Наделла закликав ставитися і до закритих моделей, і до моделей із відкритими вагами як до внутрішніх ризиків. Він не стверджує, що моделі є зловмисними, але наголошує: будь-який спроможний суб’єкт, який має доступ до важливих систем, може припуститися помилки або бути скомпрометованим нападником.

На його думку, постачання інтелекту потрібно відокремити від повноважень. Контроль над тим, до чого ШІ-модель має доступ і які дії може виконувати, має перебувати поза самою моделлю — у програмному шарі та системі дозволів. Наделла також назвав прозорість міркувань моделі обов’язковою, водночас визнавши, що цього недостатньо для гарантованої відповідності результатів моделі її фактичним процесам.

Сім принципів для компаній

Глава Microsoft окреслив сім принципів безпечного застосування ШІ. Серед них — не покладатися на одну модель у критично важливих результатах і не дозволяти моделі перевіряти саму себе. Кожна суттєва дія моделі, за його підходом, повинна залишати захищені від підроблення та зрозумілі людині докази.

Компаніям також слід постійно тестувати всю систему, зокрема на збої й атаки, самостійно визначати межі доступу моделі та проводити аудити незалежно від моделі, яку перевіряють. До останніх принципів він відніс механізми стримування — зокрема можливість екстреної зупинки — і швидке розкриття інформації про інциденти для постраждалих та галузі.

Допис Наделли підтримав генеральний директор Microsoft AI Мустафа Сулейман, який заявив, що надінтелект має бути обмежений. Конгресмен Тед Лью повідомив, що загалом погоджується з позицією Наделли, та закликав Конгрес ухвалити цього року двопартійний законопроєкт про механізм вимкнення ШІ, який він подав разом із конгресменом Натаніелем Мораном.