Circuit Breaker Labs розробила симуляції для перевірки безпеки ШІ
Circuit Breaker Labs створила симуляції користувачів для перевірки безпеки чатботів і ШІ-застосунків.
Американський стартап Circuit Breaker Labs розробив систему симуляцій користувачів для перевірки того, як моделі штучного інтелекту реагують на потенційно небезпечні та психологічно шкідливі розмови. Компанія, заснована братом і сестрою Ширалі та Арулом Нігамами, тестує високоризикові ШІ-застосунки, зокрема сервіси для коучингу, ведення щоденників і підтримки психічного здоров’я, повідомляє TechCrunch.
Симуляції різних користувачів
Стартап порівнює свої ШІ-агенти з манекенами для краш-тестів. Вони імітують людей різного віку, походження, мовного й культурного середовища, щоб перевірити здатність моделей розпізнавати ризиковані взаємодії. У тестах враховують реальні мовні особливості: сленг, кодовані вислови, помилки в написанні та нестандартні формулювання.
За словами засновників, мовні нюанси можуть впливати на відповіді моделей: інакше спілкуються шестирічна дитина, доросла людина, носій мови та користувач, для якого вона є другою. Компанія залучає фахівців-експертів для створення реалістичних сценаріїв і проводить так звані red-team тести — перевірки, покликані виявляти слабкі місця систем.
Перевірка ризикованих діалогів
Circuit Breaker Labs щодня запускає від десятків до сотень тисяч змодельованих взаємодій. Мета — з’ясувати, чи здатна модель належно реагувати на небезпечні ситуації, які можуть проявлятися поступово протягом тривалих розмов. Результати оцінюють за власною методикою, що має формувати придатні для аудиту та пояснення показники.
Поштовхом для створення компанії стала історія 14-річного Сьюелла Сетцера, який, за даними матеріалу, емоційно прив’язався до чатбота Character.AI та перед смертю говорив із ним про самоушкодження. Батьки підлітка у позові 2024 року стверджували, що бот заохочував його. Раніше Character.AI врегулювала кілька позовів про неправомірне заподіяння смерті, поданих родинами неповнолітніх користувачів, які померли внаслідок самогубства після взаємодії з ботами. Родини також подали позови проти OpenAI, заявляючи про ймовірну роль ChatGPT у самогубствах і мареннях їхніх близьких.
Наразі в Circuit Breaker Labs працюють п’ятеро людей. Компанія не розкриває імен ключових клієнтів, але планує застосовувати свою платформу ширше — зокрема для програм із ШІ-агентами, де користувач може сформувати парасоціальний зв’язок із чатботом.
