Los investigadores de Facebook han creado una tecnología basada en Inteligencia Artificial (IA) que tiene la capacidad de convertir a personas reales dentro de un video en avatares de videojuegos. Los expertos consideran que esta tecnología creará una versión superior de los llamados ‘Videojuegos en Movimiento’ (FMV, por sus siglas en inglés).

En un artículo de investigación publicado en Arxiv.org, los expertos de Facebook Research revelaron que las redes neuronales tienen la capacidad de analizar videos de personas que llevan a cabo acciones específicas, y posteriormente recrea dicho personaje y sus acciones en un entorno virtual para controlarlo con un joystick. En este sentido, el documento explica:

Nuestro método extrae un personaje de un video no controlado y nos permite controlar su movimiento (….) El modelo genera secuencias de imágenes novedosas de esa persona, y el video generado puede tener un fondo arbitrario y capturar efectivamente tanto la dinámica como la apariencia de la persona.

Llamada Vid2Play, la tecnología de IA utiliza dos redes neuronales llamadas Pose2Pose y Pose2Frame. Al explicar cómo funciona el modelo, los investigadores dijeron que el video en cuestión se ejecuta en una red neuronal Pose2Pose, la cual está dedicada a algunas acciones específicas como bailar, practicar esgrima o jugar tenis.

Portal TV, la nueva herramienta de Facebook para hacer videollamadas desde la TV

Posteriormente, el modelo determina el punto de comparación de la persona con el fondo de la imagen, aislándola del resto con sus “poses”, y finalmente, Pose2Frame toma a la persona, su sombra y el objeto que tenga en la mano, y los incorpora a la nueva escena virtual para controlar su movimiento con un teclado o joystick.

Para entrenar el modelo, los expertos solo necesitaron unos pocos videos cortos de baile, esgrima y tenis. Esto fue suficiente para que el sistema filtrara otros elementos y los utilizara para compensar la diversidad de ángulos de la cámara.

El resultado del estudio es similar al ‘relleno sensible de contenido’, una característica de IA de Adobe para eliminar algunos elementos de los videos. Por su parte, Nvidia también presentó recientemente una IA capaz de cambiar dibujos sencillos de la vida real en escenarios virtuales ideales para videojuegos.

Más en TekCrispy