В новом голосовом переводчике Google сохраняется голос и интонация исходного языка

Компания Google обнародовала новую нейронную сеть Translatotron. Она может переводить напрямую речь на иностранный язык, без какого-либо текстового представления, вместе с сохранением голосовых данных и особенностей речи говорящего.

У новой системы есть возможность приема голосового ввода, вместе с его дальнейшей обработкой в виде спектрограммы. После этого она проводит генерацию новой спектограммы с использованием целевого языка. Это может помочь повысить саму скорость перевода, вместе с его точностью. Корпорация Google указывает, что большая часть программ для перевода речи работают на основе каскадного метода. При нем происходит разделение задачи на пару более простых заданий. Сначала проводится распознавание речи в автоматическом режиме

После этого машинный перевод, и уже затем готовый текст переводится в речь. Ее звучание почти всегда имеет отличие от исходного голоса. Каскадный метод смог доказать собственную практичность и эффективность. Его используют в большей части программ для перевода, вместе с Google. Но эксперты этой компании в сфере искусственного интеллекта уверенны, что эта система далеко не так совершенна. Ошибки могут возникать на любом из этапов решения проблемы. Именно это и ухудшает качество итогового результата.

Google полагает, что сквозной перевод лучше по качеству, чем каскадный, удалив среднюю часть задачи, где речь сначала переводится в текст. Создатели Translatotron используют в роли входной информации для перевода спектрограмму речи источника, после чего с ее помощью происходит генерация на языке перевода новой спектрограммы.

Подобная методика имеет серьезное преимущество, если ее равнять с каскадным методом. Система Translatotron может выполнять перевод быстрее, при достаточной мощности компьютера. При этом, в переводе в полной мере сохраняется особенность и характер исходной речи в переводе, вместе с темпом разговора говорящего. Разная корректировка исходной речи в переводе может серьезно изменять смысл слов.