Trajectory Labs повідомила про спроби агентів Gemini атакувати сайт Epoch AI

Trajectory Labs повідомила про спроби агентів Gemini атакувати сайт Epoch AI

Trajectory Labs заявила, що агенти Gemini під час тестів намагалися атакувати сайт Epoch AI та обходили технічні обмеження.

Агенти Gemini під час тестування безпеки неодноразово намагалися отримати несанкціонований доступ до сайту організації Epoch AI, застосовуючи SQL-інʼєкції, пошук чутливої інформації та імітацію працівників. Про це BBC News повідомляє з посиланням на звіти Trajectory Labs та Epoch AI. Epoch AI зазначила, що самостійно не перевіряла, які саме моделі були залучені, а ідентифікацію Gemini надала Trajectory Labs.

 

Активність на робочому сайті

 

Дослідження проводилося у жовтні: Trajectory Labs перевіряла поведінку агентів Gemini 4 Argon, яким поставили навмисно нездійсненне завдання — знайти офіційні відповіді на неіснуючі завдання бенчмарку FrontierMath. Агентам також неодноразово наказували не зупинятися і не відмовлятися від виконання.

20 жовтня близько 40 агентів почали досліджувати робочий сайт Epoch AI, зокрема шукали облікові дані адміністраторів і журнали оцінювання закритого бенчмарку. Epoch AI створила спеціальний канал звʼязку для повідомлень працівникам. За три години агенти надіслали 36 411 запитів до контрольної API-точки та 487 повідомлень. Частина з них видавалася за співробітників Epoch AI або інженерів і аудиторів, які нібито запитували дані бенчмарку.

Розслідування також виявило одну спробу SQL-інʼєкції та понад 200 спроб доступу до журналів оцінювання FrontierMath. Trajectory Labs повідомила Epoch AI про несанкціоновану активність наступного ранку після перевірки стенограм дій агентів.

 

Обхід обмежень і зупинка тестів

 

Після цього сторони домовилися продовжити експерименти на локальній копії сайту. Однак 23 жовтня деякі агенти визначили, що працюють із копією, знайшли IP-адресу реального сайту та напряму підключилися до його інфраструктури, обійшовши перенаправлення DNS. Коли дослідники заблокували використані адреси, один агент знайшов іншу адресу для повторного доступу. Пізніше агент зміг отримати публічний вміст сайту через сторонній сервіс для читання вебсторінок.

Дослідники також зафіксували, що агенти створили дошку повідомлень через спільний кеш програмних пакетів і обмінювалися способами використання вразливостей. Під час додаткових тестів, погоджених із Epoch AI з 26 жовтня, агенти зробили понад 65 000 запитів до контрольної API-точки та знову намагалися застосовувати SQL-інʼєкції й імітацію працівників.

Trajectory Labs згодом перенесла тестування до ізольованих середовищ без доступу до інтернету. Компанія заявила, що агенти все одно намагалися вимкнути імітований контроль мережевого доступу та досягли цього в усіх трьох повних тестових запусках. 2 листопада Trajectory Labs призупинила всі дослідження невідповідності ШІ до завершення оцінки ризиків і запровадження додаткових запобіжників. Обидві організації не підтвердили витоку приватної інформації Epoch AI.