Як працюють навушники з перекладом у реальному часі
Навушники-перекладачі розпізнають мовлення, перекладають його та відтворюють синтезованим голосом, але мають обмеження точності й швидкості.
Навушники з функцією перекладу в реальному часі розпізнають мовлення, перетворюють його на текст, перекладають і синтезують аудіовідповідь потрібною мовою. Як повідомляє Engadget, на практиці швидкість та точність такої системи залежать від умов розмови, моделі пристрою, мовної пари й підключення до інтернету.
Деякі моделі працюють разом зі смартфоном: наприклад, для Live Translation в Apple AirPods Pro потрібно під’єднати навушники до iPhone, вибрати мови у застосунку Translate та активувати функцію. В інших сценаріях один навушник можуть передавати співрозмовнику.
Три етапи обробки мовлення
Спершу мікрофони навушників вловлюють голос співрозмовника. Для відокремлення мовлення від фонового шуму виробники застосовують різні рішення — зокрема кілька мікрофонів, датчики кісткової провідності або спрямовані мікрофони. Наприклад, Soundcore Liberty 5 Pro використовує вісім мікрофонів, два датчики кісткової провідності та спеціалізовану ШІ-модель.
Далі аудіо обробляється на підключеному телефоні, у хмарному сервісі або одночасно в обох середовищах. На цьому етапі система розпізнавання перетворює звук на текст, а машинний переклад передає його цільовою мовою. Для врахування змісту та контексту застосовують обробку природної мови, а деякі пристрої також використовують великі мовні моделі.
Після перекладу система створює синтезований голос. Аудіосигнал надходить на телефон, а потім через Bluetooth — до навушників користувача.
Затримки та обмеження точності
За сприятливих умов увесь процес може тривати кілька секунд, але за наявності шуму чи нечіткого мовлення затримка збільшується. Це може сповільнювати живу розмову. Заявлені виробниками показники точності на рівні 95–99% можливі переважно за майже ідеальних умов, а не в типовому повсякденному середовищі.
На якість перекладу впливають діалекти, сленг, омоніми, ідіоми та фоновий шум. Помилки також трапляються частіше для менш поширених мовних пар. Офлайн-режим має додаткові обмеження: Apple AirPods Pro та Galaxy Buds Pro можуть виконувати весь процес без інтернету, тоді як інші моделі потребують стабільного з’єднання. Timekettle, зокрема, пропонує 14 офлайн-мовних пар; перші дві доступні безкоштовно, а кожна наступна коштує 10 доларів. Для перекладу медіа, дзвінків і розширених ШІ-функцій цьому сервісу потрібен інтернет.
