Top.Mail.Ru

Российская нейросеть обошла модели OpenAI и Nvidia в бенчмарке MWS AI

Компания MWS AI представила открытый бенчмарк для оценки моделей распознавания речи на русском языке RESON OSD. Уточняется, что такие модели переводят устную речь в текст и работают в голосовых помощниках, контакт-центрах, сервисах расшифровки аудио и голосовом поиске. Таким образом, GigaAM (открытая модель Сбера) заняла в тесте первое место, обойдя зарубежных конкурентов. Об этом сообщают РИА Новости.

В первом сравнении участвовали открытые модели Сбера, Nvidia, Alpha Cephei и OpenAI. В среднем при распознавании на каждые 100 слов записи GigaAM v3 от Сбера допускает всего 7,4 ошибки. У западных моделей Nvidia Parakeet и Nemotron доля ошибок оказалась в разы выше: 15,8 и 25,5 ошибок. Преимущество российской модели особенно заметно в шумной обстановке, где GigaAM ошибается в 18 процентах слов, Nvidia Parakeet — в 33 процентах, а Whisper от OpenAI — в 62 процентах.

Бенчмарк включает более 12 тысяч аудиозаписей русской речи общей длительностью около 38 часов. В него вошли обычные фразы и фразы с числами и датами, записанные в тишине и в шуме.

Вместе с бенчмарком компания открыла RESON, инструмент для детального анализа качества распознавания. Он сравнивает модели по единым правилам, показывает общий уровень ошибок, а также конкретные слова и типы ошибок, на которых модель чаще всего спотыкается. Результаты собираются в наглядный отчет, который можно открыть в браузере. RESON бесплатно доступен на GitHub, а данные бенчмарка RESON OSD опубликованы на Hugging Face.


Интересные факты - Тайны истории - Загадки человечества

https://dzen.ru/id/69cf696d5843de58aff105f0

309
Комментарии
0/2000
Сообщение
Тебя ждёт миллион инвесторов
Регистрируйся бесплатно, чтобы учиться у лучших, следить за инсайтами и повторять успешные стратегии
Мы используем файлы cookie, чтобы улучшить ваш опыт на нашем сайте
Нажимая «Принять», вы соглашаетесь на использование файлов cookie в соответствии с Политикой конфиденциальности. Можно самостоятельно управлять cookie через настройки браузера: их можно удалить или настроить их использование в будущем.