Facebook представила систему распознавания речи – wav2vec-U
Facebook AI Research разработала инновационную систему распознавания речи – wav2vec Unsupervised (wav2vec-U), не требующую транскрибируемых данных.
Система использует новый, отличный подход, по сравнению с ранее разработанными системами распознавания речи. Существующие системы обучаются с использованием большого количества записанных речевых данных, которые доступны далеко не для каждого языка, диалекта и стиля речи.
Исследователям Facebook удалось обойти это ограничение, резко снизив частоту ошибок для так называемого бесконтрольного распознавания речи, когда фонемы обнаруживаются без каких-либо предварительных примеров.
Метод wav2vec-U занимается изучением структуры речи из немаркированных наборов аудиоданных. Система при помощи двух многоуровневых сверточных нейронных сетей сегментирует голосовую запись на речевые единицы – векторы, приблизительно соответствующие отдельным звукам. Каждый вектор при этом охватывает около 30 миллисекунд звука. Затем полученным речевым единицам присваиваются оценки вероятности, позволяющие предсказать будущие выборки из заданного контекста сигнала.
Таким образом происходит обучение моделей, которые понимают форму волны и генерируют значимые звуковые вложения. Далее все звуковые фрагменты, звучащие одинаково, получают аналогичное представление во встраиваниях, создаваемых этими моделями. Распределения вероятностей улучшаются и становятся более точными, благодаря многочисленным повторным вычислениям.
Таким образом появляется возможность отойти от размеченных наборов данных и начать использовать немаркированные наборы данных, которые сравнительно легко собрать во многих сценариях для разных языков.
«Это важный шаг на пути к созданию устройств, которые смогут решать широкий круг задач, просто извлекая уроки из своих наблюдений. Мы думаем, что эта работа приблизит нас к миру, в котором речевые технологии будут доступны гораздо большему количеству людей», — отмечают разработчики.
Система wav2vec-U уже была протестирована на таких языках, как суахили и татарский, для которых сейчас нет высококачественных моделей распознавания речи из-за отсутствия больших наборов размеченных данных.
Отметим, в апреле Facebook анонсировал несколько новых продуктов с упором на голосовой контент. Одним из самых крупных анонсов стал предстоящий запуск конкурента Clubhouse – функционала Live Audio Rooms, который увидит свет этим летом.