Los “Deep Video Portraits”, son una especie de “DeepFakes“, pero con esteroides, tanto así que ahora se está convirtiendo en la nueva tendencia. Sus creadores se refieren a esta tecnología como “un enfoque novedoso que permite la re-animación fotorrealista de
retratos de videos, a partir de un video de entrada.” Por supuesto, para lograr este efecto de fotorrealismo, los investigadores aprovechan todo el potencial de la Inteligencia Artificial mediante una GAN (Red Generativa Antagónica), que, como les contamos en otro proyecto, se basa en el aprendizaje de dos redes neuronales enfrentadas a la vez, ahora los investigadorees de Deep Video Portraits han publicado su trabajo donde describen el proceso de esta nueva técnica.
Los desarrolladores de Deep Video Portraits, explican que este es un sistema de aprendizaje profundo, que permite reproducir los gestos, expresiones faciales y forma de hablar de una persona en un video de entrada, usando inteligencia artificial para transferirlas a un video falso.
Para lograrlo, los investigadores usan un video de la persona objetivo (red discriminadora), para analizar los puntos a reproducir. Es decir, estudiar la cara, las cejas, boca y expresiones del rostro para crear las distorsiones esperadas en el video final (red generativa).
Lo increíble de los Deep Video Portraits es la precisión con que se genera el resultado, puesto que no solo el cuerpo y la cara se mueven como el video original, sino que cada pequeño matiz de expresión se captura y reproduce usando las propias expresiones de la persona objetivo. Si miras de cerca, incluso las sombras detrás de la persona (si están presentes).
“Nuestro enfoque permite que el video generado tome el control total de la postura de la cabeza rígida, expresiones faciales y movimiento de ojos del actor objetivo; incluso la identidad de la cara se puede modificar hasta cierto punto. Todas estas dimensiones se pueden manipular juntas o independientemente, incluyendo toda la cabeza y el cabello“, explican los investigadores.
Asimismo, los científicos aseguran que “los resultados son prácticamente indistinguibles del video real,” y además “a diferencia de otras técnicas de IA, el Deep Video Portraits permite transferir la posición completa de la cabeza en 3D, la rotación, la expresión de la cara, mirada, y parpadeo de un actor origen a un video retrato de un actor objetivo, mientras que los otros enfoques están restringidos a manipulaciones de expresiones faciales solamente.”
Para alcanzar tal calidad y optimización de su sistema de aprendizaje profundo, los científicos llevaron a cabo una gran cantidad de pruebas y experimentos, y como puedes ver en la comparación con los intentos previos, los avances son realmente sorprendentes, aquí te dejamos el video con el experimento.