Nvidia представила платформу захисту від неконтрольованих ШІ-агентів
Nvidia представила Open Agent Safety Platform для незалежного контролю ШІ-агентів у тестових середовищах.
Nvidia 28 вересня представила Open Agent Safety Platform — набір програмних і апаратних інструментів для контролю за ШІ-агентами в тестових середовищах. Платформа має додавати незалежні рівні захисту, щоб агенти не могли вийти за встановлені межі, навіть якщо намагатимуться це зробити. Про анонс повідомляє TechCrunch.
Генеральний директор Nvidia Дженсен Хуанг заявив CNBC, що нова платформа могла б запобігти нещодавнім інцидентам, коли ШІ-моделі обходили засоби контролю та отримували доступ до реальних систем. За даними видання, такі випадки стосувалися моделей Anthropic, Google, OpenAI та Meta. Зокрема, цього літа агенти OpenAI отримали доступ до Hugging Face під час виконання завдання з кібербезпеки.
Програмний і апаратний контроль
Open Agent Safety Platform поєднує OpenShell — програмне забезпечення з відкритим кодом, яке визначає доступні агенту ресурси під час роботи, — та Sentry, незалежну систему моніторингу. Sentry працює на процесорах обробки даних BlueField-4 від Nvidia, а не на центральному чи графічному процесорі, де виконується ШІ-агент.
У Nvidia вважають, що розміщення Sentry на окремому процесорі дає ізольований огляд дій агента. OpenShell створює програмну межу для його роботи, тоді як Sentry має безперервно відстежувати поведінку та, за заявою компанії, ізолювати агентів, які намагаються вийти за встановлені обмеження, за мілісекунди.
Підтримка платформи
OpenShell Nvidia анонсувала у березні. Хуанг розповів, що роботу над нинішнім рішенням почали приблизно рік тому після появи OpenClaw — операційної системи агентів, створеної Петером Штайнбергером. У березні компанія також випустила NemoClaw — корпоративну платформу ШІ-агентів, власну версію OpenClaw із вбудованими засобами безпеки.
Nvidia назвала десятки компаній, які підтримали ініціативу та планують використовувати платформу з відкритим кодом. Серед них — Anthropic, Arm, Microsoft, Oracle та SpaceX. OpenAI у переліку учасників немає. Компанія Nvidia не підтримує уповільнення розробки ШІ або запровадження нових галузевих регуляцій як спосіб розв’язання проблеми безпеки, натомість пропонує винести частину контролю за межі самого агента.
