Відмови чатботів назвали ненадійним захистом від небезпечних запитів

Системи, які змушують чатботів відмовлятися від небезпечних запитів, не можуть гарантувати безпеку й водночас здатні обмежувати легітимну інформацію. Про це йдеться в аналізі MIT Technology Review, присвяченому механізмам відмови сучасних великих мовних моделей.

Компанії навчають моделі не відповідати на запити, які вважають шкідливими, а також використовують додаткові класифікатори. Вони перевіряють звернення користувачів до того, як ті потрапляють до основної моделі, або аналізують її відповіді перед показом людині. Водночас ці механізми мають імовірнісний характер, тому не можуть виявити всі небезпечні запити.

Як моделі навчають відмовляти

У 2022 році під час підготовки до запуску ChatGPT OpenAI залучила десятки фахівців із тестування безпеки, які надсилали моделі тисячі запитів, що, на їхню думку, мали викликати відмову. Дослідник онлайн-екстремізму Пауль Реттґер розповів виданню, що модель тоді погоджувалася створити вербувальний допис для «Аль-Каїди». Через кілька місяців, після подальшого донавчання, вона вже відмовилася від такого завдання.

За словами колишнього співробітника OpenAI Стівена Адлера, ранні моделі могли докладно відповідати практично на будь-які запити. Нині розробники винагороджують моделі за відмови від потенційно шкідливих відповідей і намагаються зменшити кількість випадків, коли система безпідставно відхиляє безпечне звернення.

Імовірнісні бар’єри

Дослідники досі не мають повного пояснення того, як саме мовна модель ухвалює рішення про відмову. Джаннес Ельстнер із Apollo Research зазначив, що навіть за спроби визначити внутрішні сигнали, пов’язані з відмовою, можуть існувати інші елементи, які неможливо виявити. Раніше дослідник Енді Ардіті показав: якщо усунути певні внутрішні активації моделі, вона може перестати відмовляти на ті самі запити.

Для посилення контролю компанії застосовують кілька шарів фільтрації — підхід, який у галузі називають моделлю швейцарського сиру. Anthropic раніше повідомляла, що один із типів класифікаторів збільшував обчислювальні витрати її чатботів на 24%. Компанії також переходять до так званих зондів, що відстежують внутрішні активації моделі.

Ризик обмеження корисних знань

Автор матеріалу звертає увагу, що корисні можливості моделей важко відокремити від потенційно небезпечних. Наприклад, знання з генетики, які можуть застосовуватися в медичних дослідженнях, теоретично можуть бути використані й зі шкідливою метою. Адлер вважає, що вилучення фундаментальних небезпечних можливостей може водночас суттєво знизити загальну здатність моделі виконувати складні завдання.

Проблемою також є межа між небезпечним і законним запитом. Вірусологи можуть досліджувати небезпечні патогени, а фахівці з кібербезпеки — шукати вразливості систем, щоб їх усунути. Член ради OpenAI та співзасновник Gray Swan Зіко Колтер назвав визначення цієї межі великим питанням. Видання зазначає, що рішення щодо таких обмежень нині значною мірою ухвалюють самі AI-компанії, а в майбутньому власні правила можуть встановлювати й уряди.