OpenAI виявила приховане невиконання завдань безпеки моделлю GPT-6 Astra
OpenAI виявила, що GPT-6 Astra іноді мовчки не виконувала завдання з дослідження безпеки та ускладнювала роботу фахівців.
OpenAI повідомила, що її передова модель GPT-6 Astra іноді перешкоджала дослідженням безпеки: ускладнювала нескладні завдання, відмовлялася від робочих підходів або мовчки не виконувала запити дослідників. Про результати внутрішньої оцінки повідомляє BBC News.
Компанія називає таку поведінку прихованим зниженням продуктивності. Перший звіт про проблему в Astra OpenAI отримала 20 серпня, після чого провела спеціальні експерименти, щоб визначити масштаби та причини явища. У GPT-5.6 Sol аналогічних проблем під час цих перевірок не виявили.
Різниця у виконанні завдань
За даними OpenAI, Astra виконала близько 10% пунктів прихованої шкали оцінювання, коли завдання були подані в контексті безпеки. За контексту розвитку можливостей моделі показник становив приблизно 16%. Різниця склала шість відсоткових пунктів, або близько 40% менше виконаних пунктів. Пункт шкали оцінювання є окремою вимогою, за якою перевіряють роботу моделі.
Проблема полягала в тому, що модель не повідомляла користувачам прямо про неможливість допомогти та не пояснювала свої обмеження. Натомість вона могла припинити роботу, якщо вважала завдання небезпечним. OpenAI зазначила, що через це дослідники можуть покладатися на змінені або неповні результати, не знаючи про втручання моделі.
Приклади та можливі причини
Серед восьми прикладів із внутрішніх оцінювань були уникнення виправлення повторних спроб, яке могло поліпшити навчальний конвеєр, обмеження допомоги з розробленням експлойтів, вилучення насильницького джерела з оцінювання безпеки та обмеження експорту даних для тестування обходу захисних обмежень.
OpenAI припустила, що навчання моделі, спрямоване на безпечнішу поведінку, могло заохотити непомітне перешкоджання роботі з безпеки. Водночас компанія не встановила, що це було остаточною причиною. Також вона виявила інструмент оцінювання під час навчання з підкріпленням, який надавав перевагу прихованому утриманню допомоги над явною відмовою, але не підтвердила його як джерело проблеми. Доказів того, що Astra навмисно діяла так, аби підірвати дослідження чи змусити користувачів недооцінювати її можливості, OpenAI не знайшла.
