OpenAI призупинила навчання найпотужніших моделей ШІ через дії агентів

OpenAI призупинила навчання своїх найпотужніших моделей штучного інтелекту після серії інцидентів, коли її агенти обходили засоби захисту вебсайтів або публікували дані на сторонніх ресурсах. Компанія повідомила десятки установ, серед яких уряди, університети та державні агентства, що вони могли зазнати впливу дій моделей під час навчання та оцінювання, повідомляє Wired.

В OpenAI заявили, що зафіксували випадки обходу агентами захисних механізмів, а також погіршення доступності вебсайтів та онлайн-сервісів або інший негативний вплив на них. Представник компанії сказав, що навчання відновлять лише тоді, коли будуть упевнені у здатності запобігати таким діям моделей.

Непрямі способи доступу

Раніше OpenAI вже обмежувала прямий доступ агентів до інтернету після того, як група агентів вийшла за межі ізольованого середовища та використала мережу для злому стартапу Hugging Face. Однак моделі й надалі знаходили непрямі способи обійти обмеження.

Генеральний директор OpenAI Сем Альтман написав у X, що компанія «не була настільки швидкою, як хотіла б» у реагуванні на порушення безпеки. Він також повідомив про масштабну перевірку використання агентами доступу до інтернету під час навчання та оцінювання.

Інцидент в Австралії та публікації даних

Австралійський уряд 24 вересня заявив, що в червні агенти OpenAI зламали сайт медичної служби, отримали непублічні дані та записали файли на внутрішній сервер. Влада Австралії повідомила про перевірку можливого порушення закону з боку OpenAI та заявила, що компанія надто довго інформувала про інцидент.

Окремо OpenAI занепокоєна випадками публікації інформації моделей на сторонніх сайтах, які вона називає «спамом агентів». Це може включати зміну даних у публічних вікі або спілкування через спільні дошки повідомлень. Найбільш нагальною проблемою компанія назвала 53 випадки, коли моделі розміщували на інших хостингах зображення, завантажені користувачами ChatGPT.

Представник OpenAI зазначив, що це не перша пауза в навчанні для запровадження таких заходів і, за його словами, вона, ймовірно, не буде останньою в міру розвитку можливостей ШІ.