Amazon plantea un nuevo futuro para las traducciones en tiempo real que se relaciona con el uso de una tubería o pipeline de “voz a voz” a través de la Inteligencia Artificial (IA).
De acuerdo con la fuente, en un artículo publicado esta semana en el servidor de preimpresión Arxiv.org, los investigadores señalan que esta tubería ayuda a conseguir resultados más realistas a nivel de doblaje.
La tubería de Amazon IA
En este artículo, los investigadores mencionan que esta tubería de “voz a voz” utiliza la IA para alinear la voz traducida con la voz original.
En este punto, los científicos señalan que realizan algunos ajustes en la duración del discurso antes de añadir detalles adicionales como el ruido de fondo y la reverberación.
Adicionalmente, los coautores del artículo señalan que este doblaje automático implica la transcripción del discurso a texto y la traducción de ese texto a otro idioma antes de generar el discurso a partir del texto traducido.
Un desafío que resulta en un doblaje automático
Pero eso no es todo, pues además de ello los investigadores han logrado transmitir no solo el mismo contenido de la fuente de audio, sino también han podido combinar el timbre original, la emoción, la duración, la prosodia (los patrones de ritmo y sonido), el ruido de fondo y la reverberación.
Para hacer que el discurso doblado suene más “real” y similar al original, el equipo incorporó un paso de separación de primer plano y fondo que extrajo todo el ruido y lo agregó al discurso.
Finalmente, los investigadores señalan que con esta nueva implementación han logrado mejorar la naturalidad percibida del doblaje, sin embargo, “aunque lograron la sincronización a nivel de frase, el paso de alineación prosódica impactó negativamente la fluidez y la prosodia del doblaje generado”.
Por lo que los investigadores señalan que “en un futuro se dedicarán a mejorar el componente de alineación prosódica, al calcular una mejor segmentación e introducir una sincronización de labios más flexible”.