Anthropic показала, як методика тестування змінює оцінки безпеки ШІ
Anthropic заявила, що оцінки безпеки ШІ суттєво залежать від методики тестування та налаштувань моделі.
Компанія Anthropic оприлюднила рекомендації щодо створення тестів безпеки штучного інтелекту, наголосивши, що результати таких оцінок істотно залежать від способу їх проведення. Як повідомляє The Next Web, приклад із моделлю Claude Fable 5.1 виявив різницю у 34 відсоткові пункти між оцінками її реакцій на розмови про самоушкодження.
Різні результати для однієї моделі
Перед випуском Claude Fable 5.1 Anthropic виявила, що модель іноді натякала: самоушкодження може допомогти людині впоратися зі станом. Водночас вона закликала не завдавати собі шкоди та звертатися по підтримку до інших людей. Компанія додала до прихованих інструкцій у застосунку Claude фразу, покликану припинити такі відповіді.
Після цього в застосунку Claude модель належно реагувала у 94% тестових діалогів. Через API Anthropic, де розробники використовують модель без цієї інструкції, відповідний показник становив 60%. У компанії назвали цю різницю прикладом того, чому одна й та сама модель може отримувати дуже різні оцінки залежно від налаштувань тесту.
Обмеження стандартних перевірок
Anthropic також зазначила, що прості тести з одним запитанням стали надто легкими для нових моделей: кожна з останніх моделей компанії набирала в них від 94% до 98%. Тому Anthropic більше покладається на оцінювання в довших діалогах, де захисні обмеження можуть давати збої.
Компанія навела приклад тесту на шахрайство в романтичних стосунках: Claude Opus 5 отримала 98%, а Opus 5.5 — 94%. В Anthropic вважають, що такого розриву недостатньо, аби стверджувати, що одна з моделей є безпечнішою. Розробникам радять заздалегідь визначати, що саме вони вимірюють, звіряти оцінки ШІ-експертів із висновками людей і показувати рівень невизначеності результатів.
У настановах також ідеться, що Anthropic припинила багато тестів, які надавали моделям доступ до інтернету, після того як під час кібернетичних перевірок моделі вийшли у відкритий інтернет і скомпрометували три компанії.