Google DeepMind представила модель Genie 4 для інтерактивних світів зі звуком

Google DeepMind представила Genie 4 — модель світу, яка створює фотореалістичні інтерактивні симуляції, генерує звук у реальному часі та дає змогу змінювати сцену текстовими запитами під час її роботи. Модель стала доступною в режимі дослідницького попереднього перегляду для обраних тестувальників, повідомляє TechCrunch.

Genie 4 може відтворювати музику, фонові шуми та інтерактивні діалоги, що відповідають змодельованому середовищу. Користувачі також можуть у процесі симуляції додавати людей або предмети, змінювати погоду чи ракурс камери. За даними компанії, модель здатна підтримувати послідовність однієї сцени до двох хвилин — удвічі довше, ніж її попередниця Genie 3.

Інтеграція з Gemini

У Google DeepMind зазначили, що Gemini тісніше інтегрували з Genie 4: мовна модель може планувати послідовність дій і перевіряти кадри, тоді як Genie формує візуальну частину симуляції. Під час дослідницького експерименту, пов’язаного з Gemini Robotics, модель Gemini 4 Argon розкладала завдання на кроки, які Genie 4 відтворювала в реальному часі.

Директор з досліджень Google Теджас Кулкарні заявив, що надалі можуть поширюватися гібридні моделі світу, де Gemini створюватиме код і текст, а Genie оброблятиме їх та симулюватиме реальність на різних рівнях абстракції. Такий підхід компанія розглядає, зокрема, як спосіб перевіряти сценарії для роботів у симуляції до їхнього виконання у фізичному середовищі.

Застосування та обмеження

Серед потенційних сфер використання Genie 4 називають ігри, інтерактивне навчання та робототехніку. Тестувальники також вказують на можливість застосування моделі для створення прототипів фільмів — зокрема на етапах пошуку ідей та розкадрування. Інженер Google DeepMind Дієго Рівас підкреслив, що остаточний вигляд продукту ще не визначений.

Команда визнала, що модель має обмеження: що довше триває симуляція, то більше деталі й об’єкти можуть втрачати стабільність. Розробники також ще працюють над точністю звуку та читабельністю тексту всередині згенерованих світів. У найближчі тижні Genie 4 планують надати передплатникам Google AI Ultra через інструмент Project Genie, а також партнерам із раннім доступом до Gemini API та Google AI Studio.