Anthropic розробляє систему для перевірки походження відповідей ШІ
Anthropic розробляє FlashProve — відкриту систему для криптографічної перевірки моделі ШІ, що створила відповідь.
Компанія Anthropic працює над відкритою системою FlashProve, яка має криптографічно підтверджувати, яка саме модель штучного інтелекту створила певну відповідь. Розробка покликана дати користувачам змогу перевірити, чи справді результат був отриманий від моделі, яку їм заявили.
Як повідомляє TechCrunch, дослідники називають цей підхід «доказовим інференсом». Йдеться про математично перевірюваний криптографічний доказ того, що конкретний результат згенерувала визначена модель ШІ.
Перевірка без доступу до ваг моделі
Для роботи FlashProve лабораторії ШІ мають публікувати «відбиток» кожної випущеної моделі. Його можна буде зіставити з конкретною відповіддю та перевірити криптографічно. Водночас такий відбиток не розкриває ваги моделі — внутрішні числові параметри, що визначають її поведінку та зазвичай є закритими в комерційних розробників моделей.
За задумом авторів, це дозволить використовувати механізм і для комерційних моделей, не розкриваючи їхніх ключових внутрішніх даних. Система також має бути достатньо легкою для локальної перевірки на пристрої користувача.
Захист від підміни моделей
FlashProve розробляють так, щоб він був стійким до спроб видати одну модель за іншу, навіть якщо це робить лабораторія, яка створила та запускає модель. Дослідники зазначають, що такий механізм міг би допомогти виявити таємну заміну моделі на дешевшу для скорочення витрат або на дорожчу для завищення показників її роботи.
Система також може бути корисною для перевірки заяв третіх сторін про виконання певних завдань передовими моделями. Як приклади автори наводять перевірку заяви про сканування програмної бібліотеки на вразливості моделлю кібербезпеки або оцінювання бізнес-плану відповідною моделлю.
Код і специфікація у відкритому доступі
Разом з анонсом дослідники оприлюднили детальну технічну специфікацію та робочий код окремих компонентів FlashProve. Вони доступні за відкритою ліцензією на GitHub. Дослідження триває, а планів упроваджувати систему в Anthropic чи іншій лабораторії наразі немає. Автори назвали публікацію проміжним результатом роботи та запропонували іншим фахівцям вивчати й удосконалювати розробку.
