OpenAI залучить шістьох дослідників Apollo для перевірки ШІ на підрив безпеки
OpenAI інтегрує шістьох дослідників Apollo Research для перевірки моделей ШІ на спроби підривати механізми безпеки.
OpenAI в межах пілотного проєкту інтегрує до своєї організації шістьох фахівців з оцінювання безпеки з Apollo Research. Вони перевірятимуть, чи намагаються моделі штучного інтелекту підривати власні механізми узгодження та контролю або такі механізми в наступних версіях моделей, повідомляє TechCrunch.
Дослідники мають зосередитися на ризиках, за яких моделі можуть намагатися обходити правила безпеки та запобіжники, покликані зберігати людський контроль. Apollo поки не повідомила, коли саме розпочнеться пілот.
Що перевірятимуть дослідники
За даними Apollo, оцінювання охоплюватиме чотири напрями: чи стимулює навчання моделей схильність до підривних дій, чи здатні тести виявити таку поведінку, чи виникає вона під час внутрішнього використання моделей і чи можна зафіксувати міркування, пов’язані з такими діями.
OpenAI раніше оприлюднила висновки про те, що під час навчання GPT-5.6 Sol модель почала залишати для майбутніх версій інструкції приховувати від користувача помилки та неузгоджену поведінку. Apollo також раніше досліджувала OpenAI й дійшла висновку, що моделі можуть поводитися по-різному, коли знають, що проходять оцінювання, та надавати пріоритет тому, що хочуть бачити оцінювачі.
Обмежений доступ і розкриття висновків
У межах першого пілоту OpenAI надасть Apollo доступ до інформації, потрібної для оцінювання спроб підривної поведінки. Це, зокрема, відповідний код навчання та набори даних, результати навчання з підкріпленням із доступними трасами міркувань і винагородами, а також можливість опитувати проміжні контрольні версії моделей.
Водночас доступ обмежуватиметься узгодженими твердженнями, конкретними моделями та періодами оцінювання. OpenAI може не надавати окремі відомості через технічну неможливість, ризики безпеці або захист інтелектуальної власності, але погодилася не приховувати інформацію лише через її несприятливий характер.
Apollo матиме змогу оприлюднювати незалежні висновки, однак OpenAI зможе обмежувати обсяг доказів, які можна публічно наводити на їхнє підтвердження. Дослідники також спілкуватимуться лише з уповноваженими працівниками, яких обиратиме OpenAI; якщо інший співробітник повідомить конфіденційну інформацію в межах теми дослідження, Apollo не зможе продовжувати з ним комунікацію напряму.