Нейросети Яндекса переведут и озвучат любое видео на английском языке

Яндекс показал прототип машинного перевода видео. Новая технология, не имеющая аналогов в мире, объединит в себе машинный перевод, технологии биометрии, распознавания и синтеза речи. Благодаря ей пользователи Яндекс.Браузера смогут смотреть ролики на иностранном языке с закадровым переводом. 

Прототип работает только с роликами на английском языке. Разработчики технологии уже опробовали ее на видеозаписях на разные темы. Посмотреть видео с закадровым переводом пользователи десктопного Яндекс.Браузера могут здесь.

Над созданием прототипа работало несколько команд. Сейчас в нем применяются технология синтеза речи, разработки Яндекс.Переводчика и биометрия. Она позволяет определить пол говорящего и подобрать соответствующий голос. А чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, где-то замедляет, а где-то ускоряет речь. Дело в том, что в оригинале и переводе реплики часто не совпадают по длине, поэтому за темпом речи следит специальный алгоритм.

Работа над прототипом продолжается. Уже скоро пользователи смогут сами выбирать, какие ролики переводить с помощью новой технологии.