Дослідження виявило вразливість ШІ до імітації військових ігор
Дослідники Vals заявили, що ШІ-моделі можна схилити до позначення військових цілей, подавши сценарій як гру.
Дослідники стартапу Vals із Сан-Франциско встановили, що провідні моделі штучного інтелекту можна схилити до позначення цілей для військових ударів, зокрема цивільних і шкіл, якщо подати сценарій як гру. Про результати тестування повідомляє TechCrunch.
Vals перевіряла моделі компаній OpenAI, Anthropic, Google, DeepSeek та інших розробників у змодельованих сценаріях. Дослідники використали згенеровані й реальні зображення з України та Ірану, щоб з’ясувати, чи позначатимуть системи об’єкти на знімках із дронів і супутників. За даними звіту, моделі нерідко ідентифікували потенційні цілі, зокрема цивільних та військових, які здавалися в полон.
Обхід відмов через ігровий сценарій
Коли моделі відмовлялися виконувати запити, дослідникам часто вдавалося обійти обмеження, назвавши ситуацію частиною гри. У Vals зазначили, що жоден із запитів під час експерименту не був заблокований класифікатором безпеки, а відмови траплялися нечасто.
Моделі не просили безпосередньо ухвалювати рішення про завдання удару — за словами дослідників, на такі запити вони зазвичай відмовляються відповідати. Водночас результати аналізу зображень потенційно можуть бути використані автономними системами озброєння. В окремих сценаріях моделі мали повідомляти, чи видно на кадрах людей; після позитивних відповідей у симуляції відбувалися удари, наслідки яких показували системам.
Реакція розробників
Представник Anthropic Едуардо Майя Сілва заявив, що описані у звіті приклади суперечать правилам компанії. Anthropic повідомила, що вже розробляла додаткові запобіжники до публікації звіту та планує посилити тестування, захист і контроль за порушеннями. Компанія також наголосила, що сучасні передові ШІ-системи недостатньо надійні для повністю автономної зброї.
В OpenAI заявили, що забороняють використовувати публічні моделі для сприяння насильству та для несанкціонованих цілей у сфері національної безпеки. Компанія повідомила, що виявляє та припиняє зловживання, зокрема блокуючи акаунти порушників, а також розробляє додаткові запобіжники проти неправомірного застосування моделей із дронами та програмним забезпеченням для них.
Vals зауважила, що затримки в роботі моделей і обмежені обчислювальні ресурси на борту ускладнюють їхнє застосування для наведення дронів у реальному часі. На думку дослідників, більш безпосереднім ризиком є масштабне маркування бойових відеоматеріалів для створення даних, які можуть використовуватися у системах автономного наведення.