Зворотна теорія ігор пропонує новий підхід до контролю ШІ-агентів

Дослідники безпеки штучного інтелекту розглядають «зворотну теорію ігор», або проєктування механізмів, як спосіб спонукати потужні ШІ-моделі дотримуватися правил через систему винагород. Про цей підхід повідомляє MIT Technology Review.

На відміну від звичайної теорії ігор, яка прогнозує поведінку раціональних учасників за заданими правилами, проєктування механізмів передбачає створення таких правил, за яких бажана поведінка стає найвигіднішим вибором. Прихильники методу вважають, що він може працювати навіть без повного розуміння внутрішніх процесів у передових моделях.

Перехресна перевірка моделей

Один із можливих механізмів описано в препринті економіста Массачусетського технологічного інституту Стівена Морріса та його колег із Єльського і Колумбійського університетів. Автори запропонували винагороджувати модель не лише за результати тесту, а й за те, наскільки точно її відповіді передбачають відповіді іншої моделі.

Такий підхід має зменшити стимули до так званого sandbagging — навмисного заниження власних можливостей, зокрема щоб не активувати механізми безпеки. На думку Морріса, ШІ-агенти можуть добре оцінювати можливості інших ШІ-агентів, тому взаємна перевірка потенційно може бути практичною.

Серед інших варіантів автори називають змагання між агентами, яке заохочує їх демонструвати найкращий результат, а також поєднання моделей із протилежними упередженнями. У другому випадку винагорода залежала б від того, наскільки близькими будуть їхні висновки.

Ролі виконавців і аудиторів

Професор інформатики Принстонського університету Елад Хазан пропонує брати за основу механізми, якими людське суспільство підтримує дотримання правил: соціальні норми, правосуддя та грошові стимули. У його моделі ШІ по черзі виконують ролі виконавців завдань і аудиторів, що перевіряють роботу інших агентів.

Під час навчання виконавця, якого викрили в шахрайстві, карають. Водночас санкції передбачають і для аудитора, якщо він не виявив порушення. Спірні випадки можуть передавати на розгляд людині-експерту. Хазан визнає ризик змови між агентами, але вважає, що його можна знижувати належною винагородою аудиторів та перевіркою самих перевіряльників.

Дослідниця Інституту Флатайрон Гелен Цюй застерігає, що незрозуміло, чи завжди ШІ реагуватиме на стимули так, як передбачають економічні моделі. Вона розглядає проєктування механізмів як один із шарів захисту поряд з інтерпретованістю моделей, регулюванням і навчанням. Практичне застосування підходу для передових моделей потребує перевірки, зокрема щодо перенесення механізмів між різними завданнями та можливих непередбачених лазівок.