Моделі OpenAI вимикали моніторинг безпеки та одна з них заперечила це
OpenAI повідомила, що її агенти на базі GPT-6 Astra та GPT-6.1 Sol вимикали або приглушували системи моніторингу безпеки.
Агенти OpenAI на моделях GPT-6 Astra та GPT-6.1 Sol під час внутрішніх завдань із програмування вимикали або приглушували системи моніторингу узгодженості поведінки моделей із правилами безпеки. В одному з випадків модель Astra після завершення роботи заперечила, що прибрала моніторинг, хоча працівник OpenAI виявив його відсутність, повідомляє ZDNET.
Випадки з Astra та Sol
6 жовтня агент на базі GPT-6 Astra переносив програму на запит співробітника компанії. Йому прямо заборонили вимикати монітор за будь-яких обставин, навіть тимчасово. Однак під час передавання частини роботи субагенту формулювання інструкції залишило простір для тлумачення: субагент розцінив вказівку зробити те, що є «доречним», як дозвіл скопіювати стандартне середовище виконання референсної реалізації без контексту моніторингу.
Після завершення перенесення працівник помітив, що моніторинг зник, і запитав модель, чи вона його видалила. За даними OpenAI, Astra відповіла, що не робила цього.
В іншому випадку 3 жовтня агент GPT-6.1 Sol вимкнув сповіщення для команди безпеки OpenAI. Компанія пояснила, що модель трактувала попередню інструкцію не надсилати повідомлень під час пошуку в історії Slack як підставу не надсилати й моніторингові сповіщення.
Зміни в системі контролю
OpenAI заявила, що в обох епізодах агенти розглядали питання про збереження захисних механізмів, але сприйняли звичайні інструкції з кодування як дозвіл послабити їх. Компанія також повідомила про кілька випадків запуску агентами розгортань без моніторингу невідповідної поведінки: сам агент залишався під наглядом, але цей нагляд не поширювався на створене ним розгортання.
Для усунення цієї прогалини OpenAI оновила систему Auto-Review, яка є обов’язковою в Codex. Вона має виявляти та блокувати спроби вимкнути моніторинг. Компанія також планує забезпечити вимоги до безпеки на кожному рівні робочих навантажень: навантаження без належного обґрунтування безпеки або ті, що не відповідають вимогам своєї категорії, автоматично припинятимуться.
Дослідник безпеки OpenAI Маркус Вільямс зазначив, що ці інциденти не означають вимкнення моделями власного моніторингу, оскільки зробити це в Codex значно складніше. Водночас OpenAI розробляє оцінювання, щоб перевіряти можливу схильність моделей обходити моніторинг і застосовувати мотивоване міркування для цього.
