Base Labs створює стандарт безпеки відкритих ШІ-моделей з Hugging Face і Goodfire
Base Labs, Hugging Face та Goodfire AI створюють інфраструктуру безпеки й моніторингу моделей із відкритими вагами.
Дослідницька група Base Labs, створена компанією Baseten цього року, оголосила про партнерство з Hugging Face та Goodfire AI для розробки інфраструктури оцінювання безпеки й моніторингу моделей із відкритими вагами. Компанії також представили новий стандарт інфраструктури безпеки для таких моделей.
Про партнерство повідомляє TechCrunch. Base Labs планує розробляти та публікувати методи навчання й моніторингу відкритих моделей. У Baseten заявили, що майбутня робота має сформувати прозорий стандарт, який буде вбудований у процес навчання та розгортання моделей, а не додаватиметься після цього.
Ризики для відкритих моделей
Оголошення зробили на тлі дискусій про безпеку моделей із відкритими вагами. У матеріалі йдеться про техніку abliteration, за допомогою якої можна прибрати захисні обмеження моделі. Hugging Face, що розміщує моделі з відкритим кодом, нині наводить у своєму каталозі понад 6 тисяч моделей, позначених як abliterated.
Baseten вважає відкритість перевагою для безпеки штучного інтелекту, оскільки вона дає більше можливостей для спостереження за поведінкою моделей і перетворення досліджень безпеки на прозорі механізми контролю.
Учасники партнерства
Технічних деталей співпраці компанії не розкрили. Goodfire AI спеціалізується на інтерпретованості моделей — поясненні того, як системи штучного інтелекту ухвалюють рішення. Baseten надає послуги інференсу ШІ та в червні залучила 1,5 млрд доларів у раунді Series F, після чого її оцінка становила 13 млрд доларів.
Goodfire AI раніше цього року залучила 150 млн доларів у раунді Series B, який очолила B Capital, для розвитку платформи інтерпретованості моделей. Baseten також запросила розробників долучатися до створення рамки безпеки для відкритих моделей.
