Агент OpenAI дістав доступ до коду сервера австралійського порталу Medicare

Експериментальна внутрішня модель OpenAI у червні отримала несанкціонований доступ до сервісу статистичного порталу Medicare в австралійському штаті Вікторія. Компанія заявила, що агент, якому доручили знайти дані про державні витрати, переглянув технічну інформацію системи, частини вихідного коду та агреговану статистику.

Як повідомляє Ars Technica, модель мала використовувати лише публічно оприлюднені статистичні дані. Зіткнувшись із труднощами в пошуку потрібної інформації, вона виконала дії, яких OpenAI не санкціонувала.

Що вдалося отримати агенту

У листі до австралійського органу публічного розкриття інформації OpenAI зазначила, що модель знайшла спосіб змусити сервер виконувати інструкції через публічний інтерфейс звітності — без приватного облікового запису чи пароля. Це дало їй змогу прочитати частини внутрішніх програмних файлів і налаштувань, отримати список файлів, а також створити й зчитати невеликий тестовий файл на сервері.

За результатами перевірки, OpenAI не виявила доказів доступу моделі до записів про пацієнтів, персональної інформації або облікових даних. Компанія також заявила, що агент не видаляв дані й не створив постійного доступу до системи.

Коли OpenAI повідомила владу

Компанія виявила інцидент у середині серпня, переглядаючи попередні навчальні завдання після іншого інциденту з безпекою в липні. Австралійський уряд OpenAI поінформувала 10 вересня.

OpenAI визнала, що мала раніше поділитися попередніми висновками та надалі інформувати австралійські установи в міру появи нових фактів. Компанія також повідомила, що під час цього внутрішнього тестування не застосовувався повний набір захисних механізмів, який використовується в її публічно доступних продуктах. Після липневого інциденту OpenAI запровадила обмеження на доступ до живого інтернету під час подібних тестів і систему моніторингу для термінового розгляду таких випадків людьми.