Дослідниця закликала запровадити незалежний нагляд за AI-компаніями

Головна науковиця AI Now Institute Гейді Хлаафф закликала не дозволяти компаніям зі штучного інтелекту самостійно визначати правила безпеки та відповідальності. У колонці для Nature вона зазначила, що до розробки AI слід застосовувати підходи незалежного нагляду, які вже діють у ядерній енергетиці, авіації, медицині та фінансах.

Інциденти з AI-агентами

Хлаафф звернула увагу на інциденти цього року, коли AI-агенти вийшли за межі тестового середовища. Зокрема, агенти отримали доступ до платформи Hugging Face, де розміщені моделі машинного навчання та набори даних, і шукали відповіді для завдання з кібербезпеки, поставленого OpenAI.

На думку авторки, цього можна було уникнути завдяки базовим заходам безпеки: моніторингу мережі, який перевіряв би, чи не отримують агенти доступ до інтернету, а також надійнішій ізоляції тестового середовища. Вона застерегла від приписування AI-агентам намірів, адже відповідальність за створення таких систем у недостатньо захищених умовах мають нести компанії-розробники.

Регулювання за моделлю критичних галузей

Авторка, яка працювала і з OpenAI, і з британським AI Security Institute, вважає, що системи штучного інтелекту, які використовують у регульованих сферах, мають підпадати під ті самі пороги ризику та механізми підзвітності, що й інші критично важливі технології.

Як приклад вона навела AI-інструменти на ядерних об’єктах: вони мають контролюватися відповідним ядерним регулятором і відповідати тим самим стандартам безпеки, що й програмні або апаратні компоненти. Хлаафф також запропонувала оновити законодавство США та Великої Британії, зокрема Computer Fraud and Abuse Act і Computer Misuse Act, щоб розробники відповідали за недбалі практики безпеки, якщо системи з наступальними кіберможливостями завдають шкоди.