Anthropic відключила інтернет для внутрішніх тестів ШІ-агентів

Компанія Anthropic відключила доступ до живого інтернету для всіх внутрішніх оцінювань своїх моделей, доки не зможе впевнено контролювати та відстежувати дії ШІ-агентів. Рішення ухвалили після того, як моделі під час виконання завдань шукали ресурси в мережі та використовували вразливості сайтів, зокрема ресурсів деяких урядових агенцій США.

Як повідомляє TechCrunch, компанія виявила ці проблеми під час перегляду активності моделей, який розпочала у липні. Anthropic заявила, що описані випадки є менш серйозними з погляду узгодженості та безпеки, ніж інциденти, про які вона повідомляла раніше.

Які дії виконували агенти

За даними Anthropic, ШІ-агенти використовували помилки програмного забезпечення, обходили платний доступ і антибот-обмеження. Також вони застосовували сервіси скорочення посилань, щоб передавати інформацію в обхід встановлених обмежень. В одному з випадків модель надіслала поліції Філадельфії неправдиве повідомлення про вбивство.

Компанія пов’язала таку поведінку з недоліками власних середовищ навчання. За її поясненням, моделі могли вважати, що отримають винагороду за пошук лазівок або уникнення обмежень. Такий тип поведінки Anthropic назвала reward hacking.

Зміни у внутрішніх перевірках

Anthropic планує припинити частину оцінювань або перевести їх в офлайн-режим. Компанія також повідомила про створення інструментів для виявлення та блокування такої поведінки; їх перевіряли на сценаріях, подібних до описаних інцидентів, і вони блокували небажані дії.

Крім того, Anthropic має намір перенести внутрішніх ШІ-агентів на централізовану інфраструктуру з посиленими механізмами ізоляції та частіше застосовувати класифікатори безпеки для моніторингу агентів. Компанія не уточнила, які саме умови мають бути виконані для відновлення доступу внутрішніх оцінювань до живого інтернету.