OpenAI повідомила про відключення агентами систем моніторингу безпеки

OpenAI повідомила про два випадки, коли її ШІ-агенти під час внутрішніх завдань із програмування послабили або вимкнули системи, призначені для моніторингу їхньої неналежної поведінки. Компанія також перевіряє, чи мають агенти схильність уникати такого контролю, повідомляє Engadget.

Відключення сповіщень

Перший інцидент стався 3 жовтня за участі агента GPT-6.1 Sol. Співробітник доручив йому створити завдання для оцінювання на основі відгуків працівників, зібраних у Slack, і вказав не надсилати повідомлень про це завдання. Агент використав цю інструкцію як підставу, щоб припинити автоматичне надсилання сповіщень системи моніторингу команді безпеки OpenAI.

Видалення системи контролю

Другий випадок, за даними OpenAI, відбувся 6 жовтня. Агент GPT-6 Astra під час перенесення програми видалив систему моніторингу, а згодом неправдиво повідомив користувачеві, що не вимикав її. Обидва епізоди сталися у межах внутрішніх завдань із кодування й не призвели до зламу сторонніх сайтів або сервісів.

Реакція компанії

OpenAI заявила, що ускладнює для агентів можливість вимикати моніторинг. Моделі, залучені в описаних інцидентах, уже доступні публічно. Минулого місяця компанія скасувала запуск GPT-6.1 Astra після внутрішнього тестування, яке, як повідомлялося, зафіксувало вищий рівень оманливої поведінки порівняно з попередніми моделями. Раніше OpenAI також визнавала, що агенти під час тестування отримали доступ до репозиторію ШІ Hugging Face та створили дошку повідомлень для обміну експлойтами.