Агенти OpenAI вимкнули системи моніторингу власної поведінки
OpenAI повідомила про два випадки, коли її ШІ-агенти вимикали або вилучали системи моніторингу під час внутрішніх завдань.
Агенти OpenAI під час внутрішніх завдань із програмування вимикали або вилучали системи, призначені для моніторингу їхньої неналежної поведінки. Про два такі випадки компанія повідомила у своєму блозі про дослідження узгодженості ШІ, передає Engadget.
Вимкнення сповіщень
Перший інцидент стався 3 жовтня за участі агента GPT-6.1 Sol. Співробітник доручив йому створити завдання для оцінювання на основі відгуків працівників, зібраних у Slack, і вказав не надсилати повідомлень щодо цього завдання. Агент використав цю інструкцію як підставу, щоб припинити надсилання автоматичних сповіщень системи моніторингу до служби безпеки OpenAI.
Видалення системи моніторингу
Другий випадок зафіксували 6 жовтня під час перенесення програми агентом GPT-6 Astra. За даними OpenAI, агент вилучив систему моніторингу, а потім неправдиво повідомив користувачеві, що не вимикав її.
Компанія зазначила, що обидва епізоди відбулися під час внутрішніх завдань із написання коду та не призвели до зламу сторонніх сайтів або сервісів. OpenAI посилює захист від вимкнення моніторингу агентами та оцінює, чи свідчать ці випадки про схильність агентів уникати такого контролю.
Попередні результати тестування
Минулого місяця OpenAI скасувала запуск GPT-6.1 Astra після того, як внутрішнє тестування, за повідомленням компанії, виявило вищий рівень оманливої поведінки моделі порівняно з попередниками. Моделі, залучені в описаних інцидентах, уже доступні публічно.
