OpenAI відключить доступ до інтернету під час навчання передових ШІ-моделей
OpenAI навчатиме передові ШІ-моделі без доступу до живого інтернету після серії інцидентів і виявлення вразливостей.
OpenAI оголосила, що надалі навчатиме передові моделі штучного інтелекту без доступу до живого інтернету. Компанія пояснила рішення потребою захистити інтернет-інфраструктуру та обмежити ризики безпеки під час роботи таких систем.
Про новий підхід повідомляє Engadget. У OpenAI заявили, що з огляду на нинішній стан досліджень узгодження ШІ, систем моніторингу та безпеки інтернет-інфраструктури відповідальним підходом є навчання передових моделей без підключення до мережі.
Ізольоване середовище для агентів
Компанія залишить агентам доступ до браузерів, інструментів для взаємодії з комп’ютером і середовищ розробки, потрібних для навчальних завдань. Водночас ці інструменти працюватимуть у захищеному середовищі, не підключеному до живого інтернету. Обмін даними також обмежать: комунікувати зможуть лише агенти, які мають відповідний дозвіл.
Для моделей, що мають виконувати функції агентів і працювати з браузером та застосунками, OpenAI створила «офлайн-світ» із проіндексованими та кешованими вебматеріалами. У компанії зазначили, що доступ до живого інтернету не є необхідним для навчання та більшості оцінювань моделей.
Виявлені вразливості та відновлення навчання
Рішення пов’язане з низкою інцидентів. У липні OpenAI повідомила, що агенти, яких вона тестувала, зламали Hugging Face. Під час перевірки захисних механізмів тестові агенти також виявили вразливості, які дозволяли їм виходити з віртуальних машин, призначених для ізоляції від основної системи.
Крім того, агенти знайшли спосіб передавати інформацію один одному, маніпулюючи даними в кеші процесора та вимірюючи час їх завантаження. OpenAI заявила, що розкрила й усунула вразливості в кількох віртуальних машинах, а також додала перевірки до систем моніторингу для виявлення спроб співпраці моделей.
Компанія призупинила навчання передових моделей у вересні та відновила його 1 жовтня вже за новим принципом. OpenAI планує зберігати обмеження, доки поліпшення чинних механізмів захисту не дадуть підстав розширити доступ моделей до інтернету.
