Zoom відкрила API розпізнавання мовлення для сторонніх компаній

Zoom відкрила для інших компаній технологію розпізнавання мовлення, що лежить в основі її інструменту My Notes. Технічний директор Zoom Сюедун Хуан повідомив The Next Web, що деякі розробники сервісів для створення нотаток за допомогою ШІ розглядають перехід на цю технологію.

Доступ до системи надають через Scribe API у складі Zoom AI Services. За словами Хуана, Scribe від першої версії утримується серед лідерів рейтингу Open ASR Leaderboard на платформі Hugging Face, де порівнюють понад 60 систем розпізнавання мовлення. Компанія також використовує цю технологію у своєму ШІ-асистенті ZoomMate та інструментах підтримки клієнтів.

Від розмови до виконання

Хуан назвав стратегію компанії переходом від розмови до виконання завдань. За його задумом, ШІ має не лише фіксувати зміст зустрічі, а й завершувати обговорені завдання від імені користувача за його дозволом ще до завершення дзвінка. Він вважає 2026 рік роком такого підходу.

My Notes, за словами технічного директора, може записувати розмови під час зустрічей у Zoom, Microsoft і Google, а також офлайн. Для додавання контексту Zoom використовує пошук у документах Zoom, Google Drive і Microsoft та інтеграції зі Slack, Jira і Salesforce.

Кілька моделей для перевірки відповідей

Zoom застосовує федеративний підхід, за якого кілька моделей перевіряють результати одна одної, щоб зменшити кількість помилкових відповідей і підвищити точність. Компанія поєднує моделі OpenAI та Anthropic із власною малою мовною моделлю: прості завдання передають компактним моделям, а складніші — передовим системам.

За словами Хуана, Zoom також самостійно розробила системи розпізнавання мовлення та перекладу. Її модель підсумовування зустрічей, як він стверджує, за якістю відповідає ChatGPT у цьому завданні, але потребує значно менших витрат завдяки спеціалізованому навчанню.

Хуан додав, що для найкращої транскрипції Zoom підтримує приблизно десять мов і прагне охопити всі 24 офіційні мови Європейського Союзу. Водночас він визнав, що розпізнавання мовлення для людей після інсульту або з нечіткою вимовою працює з вищим рівнем помилок — близько 5–6% проти приблизно 3%.