PrismML випустила модель Bonsai 2 розміром 5,9 ГБ
PrismML представила Bonsai 2 — стиснуту мовну модель розміром 5,9 ГБ, що зберігає 98% результатів Qwen у бенчмарках.
Американська лабораторія штучного інтелекту PrismML випустила Bonsai 2 27B — стиснуту версію відкритої моделі Qwen3.8 27B від Alibaba, яка займає 5,9 ГБ. Це у 9–10 разів менше пам’яті порівняно з оригінальною моделлю та, за заявою компанії, дає змогу запускати її на персональних комп’ютерах, а потенційно — і на флагманських смартфонах.
Як повідомляє TechCrunch, Bonsai 2 зберігає 98% сукупних результатів Qwen у бенчмарках. Попередня версія Bonsai, випущена в березні, мала показник 95%. За даними PrismML, першу модель завантажили понад 11 мільйонів разів, а компактніші моделі лінійки — ще 2,6 мільйона разів.
Стиснення ваг моделі
PrismML застосовує підхід із так званими тернарними вагами — параметрами, у яких значення зводяться до +1, −1 або 0. Ваги містять інформацію, яку модель засвоює та зберігає під час навчання. За звичайного підходу для кожної ваги потрібно 16 бітів, тоді як спрощення значень дає змогу істотно скоротити необхідний обсяг пам’яті.
Генеральний директор PrismML Бабак Хассібі, професор Каліфорнійського технологічного інституту та фахівець із технологій стиснення, зазначив, що повної відповідності результатам оригінальної моделі досягти може бути складно. Водночас він вважає, що зі збільшенням моделей буде більше можливостей стискати їх без істотної втрати можливостей.
Наступні моделі
Стартап планує впродовж найближчих місяців представити стиснуті моделі з кількома сотнями мільярдів параметрів. Радник PrismML і співзасновник Databricks Іон Стоїка пов’язує цю технологію з можливістю запускати просунуті моделі безпосередньо на пристроях користувачів, без надсилання даних до хмарних сервісів.
PrismML заснували дослідники Каліфорнійського технологічного інституту. Компанія залучила 22,25 мільйона доларів у посівному раунді; серед її інвесторів — Khosla Ventures, Cerberus Capital і Каліфорнійський технологічний інститут.
