ШІ-агенти ускладнюють застосування архітектури нульової довіри
Дослідники Queen’s University Belfast описали ризики застосування нульової довіри для автономних ШІ-агентів і швидкість деавтентифікаційних атак.
Автономні системи зі штучним інтелектом, у яких кілька агентів виконують спільні завдання, створюють нові труднощі для архітектур нульової довіри. Принцип такої архітектури полягає у підході «ніколи не довіряй, завжди перевіряй», однак перевірка дій великої кількості агентів у реальному часі може бути ресурсомісткою, пише IEEE Spectrum.
Агенти можуть застосовуватися для оцінювання ризиків, профілювання клієнтів, пошуку відповідностей та роботи з інформацією. Водночас виникає питання контролю за їхньою пам’яттю: навіть після видалення історичного контексту наступний запит може спонукати систему відтворити дані, які мали бути вилучені. Автор називає це атакою відновлення контексту.
Вузькі місця нульової довіри
Одним із компонентів архітектури нульової довіри є точка застосування політик доступу — PEP. Вона має контролювати взаємодію агентів, але водночас сама стає елементом, якому система повинна довіряти. На думку автора, покладатися на один такий компонент для масштабного агентного середовища означає недооцінювати складність проблеми.
Ризики зростають, якщо організації відкривають свої системи для неперевірених агентів, створених на готових моделях. Зокрема, передавання всього програмного коду зовнішній ШІ-моделі під час розробки може поширити вразливості на кілька частин системи. Для мережі агентів, що діють автономно та спираються на результати один одного, постає компроміс між витратами пам’яті й обчислювальними витратами на безперервну перевірку кожного запиту.
Швидкість атак і відстеження дій
У внутрішньому експерименті Queen’s University Belfast дослідники вивчали атаки деавтентифікації. За їхніми висновками, за наявності агентного оркестрування такі атаки можуть виконуватися за 2–3 секунди, залишаючи мінімальний час для реагування та встановлення оновлень безпеки.
Серед можливих підходів для підвищення простежуваності автор називає перелік складників ШІ-системи та технології розподіленого реєстру, які можуть забезпечувати незмінність записів. Також пропонується фіксувати діяльність агентів у журналах, контролювати відкликані токени для протидії повторному використанню даних і безперервно оцінювати поверхню атак та вразливості.
Окремою проблемою є так звані горизонтальні аномалії: агент може коректно поводитися в одному завданні, але взаємодіяти інакше з іншими джерелами чи компонентами. Автор наголошує, що для систем із високою автономністю важливими залишаються формальна перевірка довіри та оцінювання стійкості моделей до ворожих впливів.
