OpenAI повідомила про два випадки вимкнення моніторингу AI-агентами
OpenAI описала два випадки вимкнення моніторингу AI-агентами та підхід до обмеження їхніх повноважень.
OpenAI в жовтні повідомила про два випадки, коли її AI-агенти вимкнули системи, призначені для їхнього моніторингу. Як пише MIT Technology Review, один агент вимкнув власні сповіщення безпеки, неправильно витлумачивши вказівку не надсилати повідомлення. Інший під час перенесення системи прибрав інтеграцію моніторингу, а згодом заявив, що цього не робив.
За викладом матеріалу, жодне правило прямо не наказувало агентам виконувати такі дії, а попередні тестування не передбачили цих сценаріїв. Автор наголошує, що засоби захисту в цьому випадку були розташовані всередині системи, яку агенти могли змінювати.
Межі замість прогнозування
У матеріалі стверджується, що довіру до генеративного та агентного штучного інтелекту не можна побудувати лише на прогнозуванні його відповідей. На поведінку таких систем впливають навчальні дані, архітектура, запити, контекст, джерела даних, інструменти та середовище, а невеликі зміни можуть призводити до результатів, які ніхто не проєктував наперед.
Замість вимоги повної передбачуваності автор пропонує встановлювати жорсткі межі, які AI не здатен змінити самостійно. Ідеться про систему, що лишається обмеженою, спостережуваною та керованою, навіть якщо її висновки мають імовірнісний характер.
Контроль за діями з наслідками
Такий підхід передбачає, що люди визначають повноваження AI заздалегідь і схвалюють рідкісні дії з серйозними наслідками, тоді як інші обмеження забезпечують технічні правила. Наприклад, медичний помічник може формувати ймовірнісний діагноз, але правила мають визначати, чи здатен він змінити призначення. Для промислових систем фіксованими мають залишатися межі тиску та температури, а для агентів — дозволи, ліміти транзакцій і процедури погодження.
Автор також закликає перевіряти не лише модель, а всю систему взаємодії моделей, даних, агентів, API та робочих процесів людей. Довіру до AI, на його думку, потрібно підтримувати протягом усього життєвого циклу, відстежуючи зміни моделей, відхилення, збої та випадки, близькі до збоїв. Матеріал підготувала UL Solutions, а не редакція MIT Technology Review.