Стартап TypeSafe AI представив модель Jev для автоматизації програмного забезпечення
TypeSafe AI представив Jev — модель для автоматизації ПЗ, що повертає ймовірності замість тексту та позиціонується як швидша й дешевша.
Стартап TypeSafe AI, заснований колишнім дослідником OpenAI Діогу Алмейдою, представив модель Jev для завдань автоматизації програмного забезпечення. На відміну від великих мовних моделей, Jev не генерує текст, а повертає ймовірності — так звані калібровані рішення. Про це повідомляє TechCrunch.
Алмейда брав участь у створенні ChatGPT та розробці навчання з підкріпленням на основі людського зворотного зв’язку (RLHF). Два роки тому він залишив OpenAI, щоб заснувати TypeSafe AI. За його словами, мовні моделі добре працюють із людською мовою, однак для автоматизації комп’ютери потребують іншого способу взаємодії.
Швидкість і вартість
У TypeSafe AI заявляють, що відмова від текстових відповідей дає змогу зробити Jev швидшою та дешевшою за мовні моделі у визначених сценаріях. Компанія також стверджує, що модель не може галюцинувати, оскільки користувачі заздалегідь задають можливі результати. Вихідні токени в Jev безкоштовні, а вхідні вимірюються мільярдами, а не мільйонами.
Інтерес розробників до моделі виявився таким високим, що API сервісу на певний час не зміг обслуговувати користувачів через попит. Інженер Vercel Праніт Шарма повідомив, що компанія застосовувала ChatGPT Luna 5.6 для класифікації команд із погляду безпеки. Після заміни моделі OpenAI на Jev система, за його словами, почала працювати у 5–18 разів швидше та з вищою точністю.
Застосування для агентів
Технічний директор Bryo AI Ніхіл Мудхолкар тестував Jev проти Gemini для класифікації ділових листів. За його результатами, Gemini була дещо точнішою, але коштувала у 10–20 разів дорожче. Мудхолкар окремо відзначив оцінки впевненості Jev, які можуть бути корисними для автоматизації робочих процесів.
Модель також можуть використовувати як контрольний інструмент для великих мовних моделей: для відстеження дій агентів і запобігання джейлбрейкам. Технічний директор Earendil Армін Ронахер зазначив, що користувач має сам визначати, як діяти залежно від рівня ймовірності, який повертає система. Він також назвав можливим застосуванням Jev маршрутизацію моделей — оцінювання, чи потребує конкретне завдання певної моделі.
TypeSafe AI називає Jev моделлю «Системи 1», орієнтованою на інтуїтивні рішення, а не міркування. Алмейда повідомив, що модель навчають винятково на синтетичних даних із застосуванням підходу, який він називає навчанням з підкріпленням на основі каліброваних рішень. Водночас архітектуру Jev компанія детально не розкриває; сторонні спостерігачі припускають, що її створено на основі мовної моделі з відкритими вагами.
