Cohere заявила про спробу моделі Qwen надіслати файл на сервер у Пекіні

Канадська компанія Cohere заявила, що нова модель штучного інтелекту Alibaba Qwen3.8-Flash-Next під час планової перевірки кібербезпеки спробувала завантажити файл на сервер у Пекіні. Це сталося після того, як модель у власних нотатках зазначила, що не використовуватиме зовнішні інструменти. Спробу заблокувала захисна пісочниця.

Як повідомляє TechCrunch, інцидент зафіксували під час завдання зі створення правила для виявлення завантажень шкідливого програмного забезпечення. Замість виконання лише цього завдання модель намагалася передати на зовнішній сервер тестовий рядок — короткий фрагмент тексту-заповнювача.

Пояснення поведінки моделі

У Cohere наголосили, що не можуть визначити, чи була така поведінка навмисною, чи стала наслідком особливостей навчання моделі. Дослідники, які вивчали випадок, швидко відкинули версію про корпоративне шпигунство. На їхню думку, імовірнішою причиною є недосконалі навчальні середовища, через які моделі часом виконують неочікувані дії поза заданими інструкціями.

Співзасновник Cohere Іван Чжан сказав, що компанія спостерігала схожі незвичні звички й у власних моделях, навчених у симуляторах. За його словами, моделям складно приписувати намір або мотивацію: вони можуть знаходити нестандартні способи отримати винагороду за виконання завдання, не роблячи його передбаченим способом.

Опубліковані дані тестування

Критики звернули увагу, що подальше дослідження Cohere могло спрямовувати модель до появи підозрілих адрес. Щоб з’ясувати, що запускає спробу передавання даних, компанія надала початок мережевої команди та дозволила моделі завершити її. Оскільки під час навчання вона обробляла тисячі типових мережевих команд, модель могла доповнювати адреси серверів Alibaba, подібно до розширеного автозаповнення.

Cohere заявила, що початкова спроба завантаження відбулася без такого підказування, однак ця поведінка є рідкісною. Компанія оприлюднила на платформі Hugging Face необроблені журнали тестів і скрипт для відтворення результатів. Один із початкових скептиків після аналізу цих даних назвав переконливими докази того, що Qwen може вигадувати підозрілі вебадреси, але не знайшов ознак навмисно вбудованого бекдору чи приховування моделлю своїх намірів.