Стартап Elorian представив ШІ-модель Glimpse для візуального міркування
Elorian представив Glimpse — ШІ-модель, що може повторно аналізувати фрагменти зображень і кадри відео під час міркування.
Стартап Elorian із Пало-Альто представив свою першу модель штучного інтелекту Glimpse, розраховану на аналіз зображень і відео під час міркування. Модель випустили у форматі дослідницького попереднього доступу через API, а доступ до чат-інтерфейсу наразі надають за списком очікування, повідомляє TechCrunch.
Робота із фрагментами зображень
У компанії заявляють, що більшість мультимодальних моделей один раз перетворюють зображення на токени, після чого працюють із текстовим описом. Glimpse, за задумом розробників, може під час міркування знову звертатися до візуального матеріалу: обрізати ділянки зображення, витягувати окремі кадри з відео або запускати код для вимірювання та порівняння об'єктів. Цей механізм Elorian називає «візуальним робочим простором».
Гендиректор Elorian і колишній дослідник Google DeepMind Ендрю Дай навів приклад із фотографією настільної гри. За його словами, передові моделі не змогли визначити переможця за знімком, хоча людина здатна зрозуміти значення символів та іконок гри за мінімальної кількості тексту.
Заявлені результати та вартість
За оцінками самої Elorian, Glimpse перевершує GPT-6 Astra в міркуванні на основі наукових графіків і створенні коротких описів відео. На інших завданнях із візуального міркування модель показала конкурентні результати. Ці показники є оцінкою компанії, а не незалежним порівнянням.
Elorian стверджує, що навчала Glimpse невеликою командою на кількох сотнях графічних процесорів. Компанія також заявила, що її модель істотно менша за передові системи, з якими її порівнювали. Вартість використання становить 0,60 долара за мільйон вхідних токенів і 3 долари за мільйон вихідних токенів.
Плани використання моделі
Першими цільовими клієнтами Elorian називає робототехнічні компанії, наукові лабораторії, медіа та креативні підприємства, що працюють із великими масивами відео. У довшій перспективі стартап планує перейти від розпізнавання сцени до вибору дій на її основі, зокрема до безпосереднього керування роботами.
Шість місяців тому Elorian вийшла з режиму прихованої розробки, повідомивши про посівний раунд на 55 млн доларів за оцінки у 300 млн доларів. Раунд спільно очолили Striker Venture Partners, Menlo Ventures і Altimeter Capital; серед учасників були Nvidia та головний науковий співробітник Google Джефф Дін.
