Microsoft подала заявку на патент ШІ для зміни слів у прямих трансляціях

Microsoft подала патентну заявку на технологію штучного інтелекту, яка може в реальному часі змінювати слова у прямих трансляціях, зокрема прибирати паузи й слова-паразити, перекладати мовлення та синхронізувати рух губ із відредагованим звуком.

Про документ, який виявив сервіс Patentlyze, повідомляє TechSpot. Патентна заявка не означає автоматичного запуску такої функції у продуктах компанії.

Редагування аудіо під час ефіру

У першому незалежному пункті заявки описано систему, що розпізнає визначені слова в аудіодоріжці трансляції та замінює їх іншими залежно від даних у профілі глядача. Серед таких даних названо вік, місцеперебування та рідну мову.

За описом Microsoft, ШІ може очищати мовлення від пауз і слів-паразитів. Водночас технологія передбачає можливість цензурувати ненормативну лексику та замінювати слова на основі результатів пошуку в інтернеті. Система також могла б застосовуватися для миттєвої перевірки фактів, однак у заявці не уточнено, чи повідомлятимуть глядачам про внесені зміни та їхні причини.

Документ передбачає коригування руху губ у проміжних кадрах, щоб синхронізувати його зі зміненим звуком. Це означає, що відредагована ШІ трансляція потенційно може виглядати для аудиторії як оригінальна.

Переклад із синхронізацією губ

Окремий незалежний пункт заявки стосується перекладу прямих трансляцій із синхронізацією руху губ. На відміну від механізму редагування мовлення, цей варіант зберігає початковий запис як базове джерело. YouTube уже підтримує ШІ-переклад аудіо, тоді як описана Microsoft технологія орієнтована на переклад живих ефірів із візуальним узгодженням мовлення.

TechSpot зазначає, що Microsoft, Sony та інші компанії протягом останнього року подали кілька патентних заявок, пов’язаних зі зміною контенту в реальному часі за допомогою генеративного ШІ.