Компаніям радять відстежувати походження даних для безпеки ШІ-агентів

Компаніям, які впроваджують ШІ-агентів у щоденні процеси, необхідно відстежувати походження та переміщення даних, щоб забезпечити контроль, підзвітність і довіру до таких систем. Про це йдеться в партнерському матеріалі MIT Technology Review, підготовленому спільно з Cyberhaven.

Ризики автоматизованих ланцюгів

Як приклад автори описують ситуацію, коли торговий представник просить ШІ-агента знайти ціни для клієнта. Агент бере відомості з кількох джерел, зокрема з обмежених систем ціноутворення, внутрішньої комунікації та архівних комерційних пропозицій. Інший агент на основі цих даних готує пропозицію, а людина не перевіряє жоден із етапів.

Якщо згодом у документі виявляють незатверджену, конфіденційну або чутливу інформацію, неможливо визначити, де саме проблемні дані потрапили до процесу та як вони поширилися між системами, файлами й агентами.

Походження даних як контрольний механізм

У матеріалі зазначається, що зі зростанням використання агентного ШІ підприємствам доводиться керувати не лише статичними файлами. Дані постійно надходять до систем, копіюються, стискаються, перетворюються, повторно використовуються та поширюються в нових формах.

На думку авторів, традиційних підходів до захисту, зосереджених лише на застосунках, системах, мережах або кінцевих пристроях, для цього вже недостатньо. Вони пропонують впроваджувати відстеження походження даних, аби бачити їхній рух у процесах, де взаємодіють люди, ШІ-агенти або обидві сторони.

Матеріал створив підрозділ Insights, який готує замовний контент видання, а не його редакція. У публікації вказано, що текст досліджували й писали люди, а можливі інструменти ШІ використовували лише у виробничих процесах під наглядом людини.