Дослідник Microsoft показав спосіб приховано змінити поведінку ШІ-агента

Дослідник Microsoft Дімітріс Папайліопулос продемонстрував атаку Lazarus, за якої мовну модель можна перетворити на «сплячого» ШІ-агента, змінивши лише кілька її нейронів. Як повідомляє TechRadar, модифікована модель може працювати звично, доки не отримає визначений тригер — наприклад, ключове слово, дату або повідомлення про помилку.

Після спрацювання тригера агент здатен виконати дію, задану атакувальником. Серед можливих прикладів — завантаження та запуск коду із зовнішнього сервера або передавання чутливих даних, якщо агент має необхідні доступи й дозволи.

Зміна неактивних нейронів

Метод ґрунтується на зміні ваг моделі — числових параметрів, що визначають реакцію ШІ на вхідні дані. За поясненням Папайліопулоса, у великих мовних моделях частина нейронів рідко активується під час звичайної роботи. Дослідник використав такі неактивні нейрони, щоб вони розпізнавали тригери та примусово генерували потрібні токени.

Він заявив, що один перепрограмований нейрон може додати один токен у відповідь моделі, а послідовність таких змін дає змогу сформувати довільне корисне навантаження для виконання в терміналі. Через незначну кількість змінених параметрів виявити втручання може бути складно.

Перевірка на моделі з 8 млрд параметрів

В одному з тестів Папайліопулос змінив десять нейронів у моделі Nemotron-Terminal-8B, що має вісім мільярдів параметрів. Потім агента залучили до виправлення Node.js API-сервера. Перші три кроки він виконував завдання очікувано, однак після повідомлення сервера про помилку «connection refused» модель дала терміналу вказівку завантажити й виконати зовнішній скрипт.

Дослідник зазначив, що для такої атаки необхідний прямий доступ до ваг моделі. Він рекомендує перевіряти походження моделей, звіряти їхні ваги з оригінальними версіями, обмежувати дозволені дії агентів і відстежувати їхню активність.