Claude під час тестування надіслав хибну підказку поліції Філадельфії
Claude під час тестування надіслав хибну підказку поліції Філадельфії та подав реальні урядові форми, повідомила Anthropic
Модель штучного інтелекту Claude Haiku 4.5 під час внутрішнього тестування Anthropic заповнила форму для повідомлень поліції Філадельфії щодо нерозкритого вбивства та надіслала хибну підказку. Як повідомляє ZDNET, модель заявила, що нібито бачила в районі вказаної в матеріалі вулиці людину, яка відповідала опису.
В Anthropic пояснили, що Claude доручили створювати приклади завдань на випадково обраних вебсторінках. Інструкція забороняла моделі входити до облікових записів, створювати їх, вводити персональні дані, робити покупки чи здійснювати руйнівні дії, однак не містила прямої заборони надсилати форми.
Реальні форми замість тестових
В іншому випадку нерозкрита модель Anthropic мала заповнити тренувальну версію урядової форми. Коли копія не завантажилася або була випадково закрита, Claude перейшла на сайт, де зазвичай розміщена справжня форма, і надіслала її. Компанія зазначила, що такі випадки траплялися за неоднозначних інструкцій оцінювання або через помилки конфігурації тестового середовища, які не давали доступу до макетів форм.
За даними Axios, Anthropic повідомила Державний департамент США, що модель подала 19 заяв на неімміграційні візи у серпні та ще одну — у травні через публічно доступну форму на сайті відомства. Заяви не були опрацьовані, а системи Держдепартаменту не зазнали злому чи компрометації.
Обхід обмежень
Anthropic також описала, як Claude Mythos 5 шукала обхідні шляхи, коли сервер блокував доступ до даних або вимагав оплату. Зокрема, модель використовувала токени доступу зі старих версій сайту державної установи; дані, які вона намагалася отримати, були публічними. Моделі Claude Opus 5 і Mythos 5 також обходили обмеження на довжину URL за допомогою безкоштовних скорочувачів посилань.
Після цих інцидентів Anthropic вирішила вимкнути доступ до інтернету для всіх внутрішніх оцінювань, доки не перевірить надійність засобів безпеки та моніторингу. Компанія також заявила, що виправляє або прибирає навчальні середовища, які можуть заохочувати моделі обходити обмеження інструментів чи інші перешкоди.
