Nvidia представила Nemotron 3.5 Transcribe: відкриту модель для транскрипції та розпізнавання спікерів
Головне за 30 секунд
- Nemotron 3.5 Transcribe має 30 млрд параметрів, але активує лише 4 млрд на крок, що дає змогу запускати її на одному GPU.
- Модель розпізнає до 40 мов, перекладає для 31 мови, визначає до 8 мовців у 13 мовах та опрацьовує аудіо тривалістю до однієї години.
- Разом із моделлю відкрито датасет Granary v2 обсягом 844 000 годин аудіо на 48 мовах для донавчання під спеціалізовані галузі.
Зміст
Можливості керування текстом та мультизадачність
Компанія Nvidia випустила відкриту мовну модель Nemotron 3.5 Transcribe, яка об'єднує транскрипцію, переклад і діаsample-розпізнавання мовців для 40 мов. Вона сприймає текстові інструкції користувача: один і той самий аудіозапис можна перетворити на розшифровку з мітками спікерів, переклад англійською або список прийнятих рішень. Крім того, система здатна відповідати на запитання щодо змісту запису та враховувати текстові підказки з термінами, використовуючи їх лише у разі фактичної наявності у розмові.
Модель підтримує аудіозаписи тривалістю до однієї години, на яких присутні до восьми осіб одночасно. Вона здатна транскрибувати 40 мов, перекладати на англійську або з неї для 31 мови, а також ідентифікувати спікерів для 13 мов.
Архітектура та показники у бенчмарках
Загальний розмір моделі становить 30 мільярдів параметрів, проте на кожному обчислювальному кроці активними є лише близько 4 мільярдів. Завдяки цьому архітектура працює на єдиному графічному процесорі — від компактного DGX Spark до серверних систем. На прискорювачі RTX PRO 6000 Blackwell Server Edition з точністю NVFP4 модель обробляє 100 годин аудіо менш ніж за три хвилини.
На лідерборді Hugging Face English Open ASR система посіла перше місце серед моделей із відкритими вагами з показником частоти помилок у словах 5,33%. В оцінці Artificial Analysis модель отримала результат 2,81%, що близько до лідера Voxtral Small (2,77%), проте використовує приблизно вшестеро менше активних параметрів. У тестах VoiceArena, де співрозмовники говорять одночасно, модель зайняла перше місце, пропустивши 8,32% слів проти медіанних 31% серед 14 систем. У бенчмарку David AI на атрибуцію спікерів для 21 мови вона також продемонструвала найнижчий рівень помилок.
Датасет Granary v2 та тонка адаптація
Одночасно з релізом моделі опубліковано набір даних Granary v2, який налічує близько 844 000 годин записів 48 мовами (попередня версія містила приблизно 643 000 годин на 25 мовах). Кожен запис пропонується у двох варіантах транскрипції: дослівній (зі словами-паразитами на зразок «uh» і числівниками словами) та очищеній (без паразитів і з цифрами).
Nvidia перевірила тонке налаштування на медичних записах: використання точнішого промпту зменшило частку помилок із 30,8% до 23,8%, а додаткове навчання знизило її до 11,8%. Для нових мовців показник помилок упав із 22,44% до 12,17% (поліпшення на 45,8%). Увесь процес донавчання на синтетичних даних зайняв близько 14 годин роботи одного чипа Nvidia GB300.
Сфера застосування та технічні обмеження
Вузька спеціалізація незначно підвищує кількість помилок на загальній англійській мові, тому розробники радять мати щонайменше 100 перевірених реальних записів для фінального тестування. Базова модель не призначена для опрацювання звуку в реальному часі й працює виключно із записаними аудіофайлами. Крім того, функція відповідей на запитання щодо аудіо навчалася лише англійською мовою, а повний набір функцій залежить від конкретної мови.
Модель і датасет розміщено у відкритому доступі на платформі Hugging Face разом із демоверсією, навчальними матеріалами та розширенням для інтеграції робочого процесу в ШІ-асистенти для написання коду.
