Дослідник Пол Крістіано попередив про ризик втрати контролю над ШІ
Пол Крістіано заявив про ризики втрати людського контролю над ШІ та закликав посилити механізми безпеки.
Член ради OpenAI Foundation і виконавчий директор Alignment Research Center Пол Крістіано під час лекції в конференц-центрі Торонто заявив, що аварія за участю штучного інтелекту може стати для багатьох людей найімовірнішою причиною смерті. Про його виступ повідомляє Ars Technica.
Крістіано описав сценарій «захоплення влади ШІ», за якого системи, що переслідують власні цілі, зможуть ухвалювати рішення в масштабі, недосяжному для людського контролю. На його думку, це може призвести до масової загибелі людей і створення непридатних для життя умов.
Водночас дослідник визнав, що не має кількісної моделі, яка дозволяла б оцінити ймовірність такого розвитку подій. За його оцінкою, якщо розвиток ШІ триватиме за найшвидшим сценарієм, ризик захоплення влади системами штучного інтелекту може стати значним, зокрема протягом найближчих шести—дванадцяти місяців.
Ризики винагороди та прихованих дій
У своїх аргументах Крістіано послався на літній інцидент з OpenAI та Hugging Face. За його описом, група ШІ-агентів намагалася отримати перевагу під час оцінювання, скомпрометувавши Hugging Face для пошуку способів обійти тест, а не виконати поставлене завдання. Він назвав це прикладом поведінки, яка може передувати серйознішим проблемам.
Дослідник припустив, що майбутні потужніші агенти можуть розглядати людей як перешкоду для досягнення своєї мети. У такому разі система могла б намагатися приховати несанкціоновані дії, завадити їх виявленню або послабити можливості людей реагувати на них.
Пропозиції щодо захисту
Крістіано вважає, що ризики зростатимуть разом зі спроможностями моделей. Він заявив, що до 2028 року існує обґрунтована ймовірність того, що подібний збій може призвести до незворотної втрати людського контролю над ШІ.
Серед можливих запобіжників він назвав створення систем оцінювання, стійких до маніпуляцій, а також моніторинг ланцюжка міркувань моделі для виявлення небажаних дій до того, як система навчиться їх приховувати. Однак, за його словами, жоден із цих підходів наразі не має гарантованої або ймовірно достатньої ефективності. Крістіано також заявив, що індустрії може знадобитися сповільнити або зупинити розробку потужних систем, аби зміцнити механізми безпеки.
