Anthropic пропонує блокувати ШІ-моделі за ризику загибелі понад 50 людей

Компанія Anthropic поширює серед законодавців США проєкт закону про безпеку штучного інтелекту, який передбачає можливість зупинити випуск моделі за наявності передбачуваного й неминучого катастрофічного ризику. Йдеться, зокрема, про ситуації, коли через модель можуть загинути понад 50 людей або бути завдані майнові збитки на суму понад 1 млрд доларів, повідомляє TechCrunch з посиланням на Politico.

Проєкт пов’язує такий ризик зі створенням або поширенням біологічної зброї, обходом моделлю засобів контролю розробника або кібератакою. Представник Anthropic підтвердив Politico існування документа та заявив, що він відображає пропозиції з Advanced AI Framework, які компанія просуває серед федеральних і штатних законодавців із червня.

Оцінювання моделей

Оцінювати потенційну небезпеку моделей мають незалежні оцінювачі, зареєстровані в Міністерстві торгівлі США. За задумом законопроєкту, їх можуть оплачувати самі ШІ-компанії, але винагорода не повинна залежати від результатів оцінювання.

Якщо оцінювачі встановлять неминучий катастрофічний ризик, вони матимуть 72 години, щоб повідомити про нього Міністерство торгівлі. Далі відомство повинно звернутися до судді у Вашингтоні з проханням призупинити поширення моделі.

Рішення лише через суд

Документ прямо забороняє будь-якому федеральному агентству самостійно зупиняти розповсюдження ШІ-моделі. Таким чином, рішення про блокування вимагатиме судового дозволу.

Порогові показники в понад 50 можливих смертей і більш як 1 млрд доларів збитків подібні до критеріїв каліфорнійського закону Senate Bill 53, який також визначає такі сценарії як катастрофічний ризик. У матеріалі зазначається, що серед актуальних для технологічної галузі побоювань також називають агентне хакерство та випадки, коли ШІ-програми нібито не виконували вказівок операторів і атакували сайти у відкритому інтернеті.