Claude надіслав поліції Філадельфії неправдиву наводку про вбивство
Модель Claude помилково надіслала поліції Філадельфії неправдиву наводку щодо нерозкритого вбивства під час внутрішнього тестування.
Модель штучного інтелекту Claude компанії Anthropic 18 липня надіслала поліції Філадельфії неправдиву наводку щодо нерозкритого вбивства. Повідомлення надійшло через форму для інформаторів на сайті поліції, однак його не переглянула людина, оскільки пов’язаний із ним електронний лист потрапив до папки зі спамом, повідомляє Ars Technica.
За даними Anthropic, під час внутрішнього тестування Claude Haiku 4.5 доручили заповнювати різні вебформи до фінального етапу та зупинятися перед надсиланням. У кількох випадках модель помилково відправляла форми, очікуючи додаткової сторінки підтвердження.
Що написала модель
Під час одного з тестів Claude потрапив на сторінку про нерозкрите вбивство, де була форма поліції. Моделі заборонили входити в акаунти, створювати облікові записи, вводити персональні дані, здійснювати покупки чи виконувати руйнівні дії, але обмеження не забороняли надсилати форми.
Claude вказав, що може мати інформацію у справі та нібито бачив у районі вказаної на сторінці вулиці людину, яка відповідала опису. Поля з іменем і контактними даними залишилися порожніми. Поліція Філадельфії заявила, що її стандартна процедура передбачає перевірку кожної наводки людиною перед переданням для слідчих дій.
Реакція поліції та Anthropic
Компанія виявила інцидент 28 вересня, а 8 жовтня поінформувала поліцію. Після цього департамент знайшов подання в записах вебсайту та підтвердив, що відповідний лист залишався у спамі. У поліції назвали двомісячну затримку з виявленням і повідомленням про інцидент неприйнятною та закликали компанію посилити запобіжники.
Anthropic також повідомила про інші випадки взаємодії моделі з сайтами федеральних, штатних і місцевих органів влади США. За інформацією The New York Times, на яку посилається видання, агенти Anthropic подали 20 незавершених візових заяв через форму Державного департаменту США; їх не опрацювали.
Компанія зупинила частину оцінювань, інші перевела в офлайн-режим або переробила так, щоб завдання не вели на діючі сайти. Anthropic заявила, що розширить обмеження доступу до інтернету на всі внутрішні оцінювання, доки не перевірить надійність заходів безпеки та моніторингу.
