Mistral AI представила мультимодальну модель Mistral Large 4 з 1 трлн параметрів

Французька лабораторія штучного інтелекту Mistral AI представила Mistral Large 4 — велику мультимодальну модель, яка, за заявою компанії, має конкурувати з американськими та китайськими розробками. Модель, яку всередині називають Le Chonk, налічує 1 трлн параметрів.

Як повідомляє TechCrunch, наразі Mistral Large 4 не є моделлю з відкритими вагами. Доступ до неї надають лише через публічний endpoint із захисними обмеженнями. Компанія планує оприлюднити ваги моделі за три тижні після завершення перевірок безпеки.

Перевірка безпеки перед відкриттям ваг

Віцепрезидент Mistral із науки П’єр Сток розповів виданню, що в перехідний період компанія працюватиме з довіреними партнерами та урядами, аби відкриті ваги могли використовувати для захисту, а не для зловмисних атак. За його словами, модель із відкритими вагами також легше піддавати аудиту.

Mistral позиціонує нову розробку як альтернативу закритим моделям, доступ до яких постачальники можуть припинити, та відкритим моделям, значна частина яких створена у Китаї. Результати тестів на бенчмарках для Mistral Large 4 ще очікуються. Компанія сподівається, що модель стане однією з найкращих серед рішень із відкритими вагами, зокрема поза Китаєм.

Навчання на 4 тисячах графічних процесорів

За словами Стока, Mistral Large 4 навчали повністю на власних обчислювальних потужностях Mistral, використавши 4 тисячі графічних процесорів Nvidia. Він стверджує, що це у два-три рази менше, ніж застосовують китайські конкуренти, і суттєво менше порівняно з розробниками закритих моделей.

Компанія називає серед оптимізованих сценаріїв застосування моделі кібербезпеку, фінанси та проєктування мікросхем. Останній напрям пов’язаний із двома ключовими інвесторами Mistral: нідерландською ASML, яка очолила раунд Series C, та Samsung, що очолила раунд Series D у вересні за оцінки компанії у 21 млрд євро.