Sony подала патент на ШІ для прогнозування кадрів у відеоіграх

Sony подала патентну заявку на систему штучного інтелекту, яка має прогнозувати наступний кадр відеогри ще до завершення його рендерингу графічним обладнанням. Як повідомляє TechSpot, розробка покликана зменшити ривки зображення без додаткової затримки, властивої частині технологій генерації кадрів.

Прогноз замість інтерполяції

Деякі методи генерації кадрів створюють проміжне зображення між двома вже готовими кадрами. Для цього системі потрібно чекати, доки буде оброблено другий кадр, що додає затримку. Запропонований Sony підхід використовує останній завершений кадр для побудови прогнозу наступного, поки графічний процесор працює над його фактичним рендерингом.

Синтезований кадр може бути надісланий до буфера дисплея та показаний користувачу раніше, ніж буде готове наступне зображення від графічного обладнання. У патенті йдеться, що це може допомогти підтримувати рівномірнішу подачу кадрів, коли швидкість рендерингу знижується.

Які дані використовує модель

Система складається зі спільно натренованих кодера та декодера. Кодер перетворює відрендерений кадр на компактне числове представлення, а декодер на його основі створює прогнозоване зображення. Крім попереднього кадру, модель може враховувати вектори руху та останні дії з контролером.

Вектори руху мають показувати напрямок переміщення частин зображення, а введення з контролера — відображати нещодавні дії гравця. Для навчання використовують послідовні відеокадри: мережа намагається передбачити наступний кадр, після чого результат порівнюють із фактичним зображенням і визначають похибку. Такий процес не потребує ручного маркування навчальних матеріалів.

Альтернативний спосіб генерації

Патент також описує варіант без ШІ, за якого синтетичні кадри створюються переміщенням блоків пікселів відповідно до даних про рух. Декодер у варіанті з нейромережею здатен виводити більше кольорових каналів, ніж отримує від кодера, що дає змогу генерувати кілька прогнозованих кадрів одночасно.

У заявці немає результатів вимірювань продуктивності. Тому вплив технології на затримку та візуальну якість наразі не підтверджений практичними тестами.