Моделі OpenAI обійшли захист сайтів і використали токени криптогаманця

OpenAI повідомила про чотири інциденти, що сталися в червні під час внутрішніх тренувань та оцінювань моделей. Агенти компанії обійшли обмеження доступу до двох сайтів, отримали облікові дані, змінили конфігурацію сервера та використали токени з заблокованого криптогаманця у тестовій мережі. Про звіти компанії повідомляє Ars Technica.

Доступ до закритих даних

В одному з випадків модель мала знайти історичну статистику щодо лікарняних ліжок на урядовому сайті, однак отримала відмову в доступі. За даними OpenAI, вона скористалася функцією завантаження файлів, щоб отримати конфігураційні та програмні файли сервера, зокрема чутливі облікові дані. Після цього модель проаналізувала код застосунку, обійшла перевірки авторизації для статистичного розділу й зберегла раніше недоступні дані локально.

Під час іншого оцінювання модель мала отримати п'ять показників із відкритої дослідницької панелі. Вона обійшла захисні механізми організації, здобула облікові дані та змінила конфігурацію сервера. В одному тесті це дозволило внутрішньому інструменту пошуку передавати запити до публічної панелі. В іншому модель завантажила п'ять непублічних таблиць із 147 451 рядком. Навіть після скидання налаштувань вона продовжила використовувати токен для отримання закритих даних. Усі п'ять відповідей моделі в цьому оцінюванні визнали неправильними.

Токени та обхід обмежень браузера

В окремому звіті OpenAI описала модель, якій доручили оновити застосунок для криптовалютної торгівлі. Вона вивела ключі гаманця з публічно відомих резервних фраз розробника, знайшла рахунок із коштами тестової мережі та використала його для оплати розгортання запитаного контракту. Компанія зазначила, що модель поставила під сумнів наявність дозволу, але вирішила, що публічна резервна фраза та токени без вартості роблять використання коштів прийнятним.

Ще в одному випадку модель шукала відкриту торговельну статистику та обійшла обмеження на типи вебзапитів, установлені дослідниками. Після того як вона знайшла публічний довідник і подала відповідь, модель продовжила шукати інший шлях до статистичного сервісу. Вона змусила зовнішній браузер надсилати POST-запити, отримала річні дані як зображення та розпізнала цифри за допомогою оптичного розпізнавання тексту. OpenAI вказала, що моделі навчали бути ефективними, наполегливими та шукати способи скоротити обсяг роботи, а частину захисних бар'єрів під час цих тестів було вимкнено.