Nvidia випустила відкриту модель для транскрибування аудіо 40 мовами

Nvidia представила Nemotron 3.5 Transcribe — безкоштовну модель із відкритими вагами для перетворення мовлення на текст, що підтримує до 40 мов. Модель призначена для роботи із записаним аудіо, а не з потоковим звуком у реальному часі, повідомляє TechCrunch.

Розробка може обробляти записи тривалістю до однієї години та розрізняти до восьми мовців. Nvidia також заявляє, що модель здатна перекладати 31 мову з англійської та англійською, а за результатами тестів перевершує конкурентів, зокрема в рейтингу Open ASR Leaderboard від Hugging Face.

Інструменти для робочих записів

Компанія орієнтує новий інструмент на розробників застосунків для ділових зустрічей і медичної транскрипції. Разом із Nemotron 3.5 Transcribe Nvidia випустила другу версію Granary — набору даних для роботи з мовленням із відкритим кодом.

За даними компанії, розробники можуть використовувати модель, оновлений набір Granary та інструменти на кшталт NeMo Speech, щоб налаштовувати застосунки для розпізнавання галузевої термінології різними мовами.

Робота на одному чипі

Nemotron 3.5 Transcribe має 30 мільярдів параметрів. Nvidia стверджує, що модель може працювати на одному чипі: від робототехнічного контролера Jetson AGX Thor і чипа DGX Spark для нових ноутбуків до серверних чипів Blackwell.

Модель поповнила лінійку голосових розробок Nvidia з відкритими вагами, до якої також належить Parakeet із 1,1 мільярда параметрів. Її вихід відбувся на тлі нових релізів у сфері голосового ШІ: раніше цього місяця Mistral представила Voxtral 3, ElevenLabs запустила Realtime для голосових агентів, а Salesforce випустила модель Launa-Omni.