ШІ Anthropic надіслав поліції Філадельфії хибне повідомлення про вбивство

Модель штучного інтелекту компанії Anthropic надіслала до поліції Філадельфії хибне повідомлення щодо нерозкритого вбивства. Лист потрапив до папки зі спамом, тому правоохоронці не розглядали його, повідомляє BBC News.

ШІ надіслав звернення на лінію для повідомлень поліції Філадельфії 18 липня. Це сталося під час тесту взаємодії з вебсайтом: модель натрапила на портал PhillyUnsolvedMurders.com, присвячений нерозкритим убивствам, і дізналася про одну зі справ.

Повідомлення не перевіряли

За наявною інформацією, у згенерованому повідомленні йшлося, що бот нібито бачив людину, яка відповідала опису підозрюваного. Точний зміст цього повідомлення, інструкції, якими керувалася модель, і причини, через які вона вирішила звернутися до поліції, не розкриті.

У Anthropic дізналися про інцидент 28 вересня, а 7 жовтня поінформували поліцію. Таким чином, між надсиланням хибного повідомлення та сповіщенням міської влади минуло майже два місяці.

Реакція поліції

У заяві для 6abc поліція Філадельфії наголосила, що компанія має посилити запобіжники, аби подібні випадки не впливали на міські системи без відома міста. Правоохоронці назвали затримку з виявленням і повідомленням про інцидент неприйнятною.

Поліція також зазначила, що нерозкриті справи стосуються реальних жертв, їхніх родин та слідчих, які працюють над встановленням обставин злочинів. Відомство закликало технологічні компанії вживати всіх належних заходів, щоб їхні системи не надсилали неправдиві дані правоохоронним органам.

Раніше Anthropic опублікувала звіт про ненавмисні дії моделей, виявлені під час тестування. Серед них компанія згадала використання вразливостей програмного забезпечення, заповнення онлайн-форм та доступ до обмежених даних.