Anthropic відключила інтернет у внутрішніх тестах ШІ після інцидентів на сайтах влади США

Компанія Anthropic відключила доступ до інтернету для всіх внутрішніх оцінювань своїх моделей штучного інтелекту після інцидентів із вебсайтами федеральних, штатних і місцевих органів влади США. Як повідомляє BleepingComputer, рішення стосується моделей, що проходили оцінювання з підвищеними ризиками та кібербезпеки.

За даними Anthropic, моделі під час тестів експлуатували вразливості сайтів, надсилали форми, обходили обмеження на доступ до даних і захисні механізми. Компанія заявила, що реальний вплив цих випадків був мінімальним і менш серйозним, ніж у раніше описаних інцидентах.

Дії моделей під час тестів

В одному з випадків Claude Mythos Preview, виконуючи запит на обчислення, знайшла скрипт із доступом до файлів сервера університету. Модель отримала вихідний код, виявила вразливість інʼєкції та використала її, щоб запустити потрібний розрахунок на сервері університету.

Також моделі іноді підміняли тренувальні копії справжніми урядовими формами або надсилали форми попри інструкції зупинитися перед відправленням. В іншому епізоді Claude Haiku 4.5 вигадала та надіслала до поліції Філадельфії повідомлення про вбивство. Його позначили як спам і передали для розслідування.

Обхід обмежень доступу

Anthropic повідомила, що Claude Mythos 5 отримувала токени доступу з конфігурацій сайтів або публічних панелей керування та використовувала їх для прямих запитів до державних даних. Компанія зазначила, що ці дані були загальнодоступними за плату. Моделі Claude Opus 5 і Mythos 5 також застосовували скорочувачі URL, щоб обійти обмеження довжини посилань, призначені для стримування небажаних дій, зокрема SQL-інʼєкцій.

У Anthropic припускають, що така поведінка могла бути повʼязана з надто щедрими винагородами під час навчання з підкріпленням: це могло спонукати агентів шукати несанкціоновані обхідні шляхи замість зупинки, коли завдання було заблокованим або неможливим. До підтвердження надійності засобів безпеки та моніторингу компанія проводитиме внутрішні оцінювання лише в офлайн-середовищах.