Actualmente, la mayoría de los smartphones de alta gama cuentan con la función de cámara lenta o slow motion. El hecho de que esta tecnología esté incluida en estos dispositivos y no en todos los smartphones, es que el uso del almacenamiento es abrumador, sin contar los recursos del procesador, por lo que sólo un dispositivo con altas prestaciones podría soportarla.
Sin embargo, el fabricante de hardware NVIDIA quiere ofrecer una alternativa que permitirá reproducir cualquier video en slow motion, de la mano de un novedoso algoritmo de Inteligencia Artificial.
En concreto, esta tecnología será capaz de ralentizar las imágenes después de que son grabadas, pero a diferencia de otras tecnologías que estiran los fotogramas, dejan espacios innecesarios y hacen que las imágenes se vean muy mal, la solución de NVIDIA utilizará el aprendizaje automático para crear nuevos fotogramas en estos espacios.
Jan Kautz, director del equipo de aprendizaje y percepción de NVIDIA, reveló con motivo del anuncio:
Estamos tomando un efecto de slow motion y lo estamos aplicando al video existente (…) Puedes reducir la velocidad por un factor de ocho o quince, no hay límite superior.
En relación a su funcionamiento, la tecnología se basa en una red neuronal convolucional (CNN), que estima el flujo óptico, el patrón de movimiento de los objetos, las superficies y los bordes de la escena en cuestión, reproducida hacia adelante y hacia atrás entre los dos marcos de entrada.
Posteriormente, es capaz de predecir cómo los píxeles se moverán de un cuadro actual al cuadro siguiente, generando lo que se llama ‘campo de flujo’, un vector en 2D de movimiento predecido que fusiona para aproximar un campo de flujo al marco intermedio.
Luego, una segunda CNN interpola el flujo óptico y se encarga de refinar el campo de flujo aproximado para predecir los mapas de visibilidad y excluir los píxeles ocluidos por los objetos del marco, además de reducir objetos en movimiento.
Finalmente, el mapa de visibilidad es aplicado a las dos imágenes de entrada, y el campo de flujo óptico intermedio se utiliza para deformarlas de manera que un cuadro cambie suavemente hacia el siguiente.
Sin embargo, es poco probable que esta tecnología sea comercializada en el futuro cercano. A pesar de los impresionantes resultados, que incluso lograron colocar en slow motion un video de YouTube estándar en 240 fps, la IA de NVIDIA no está totalmente optimizada su aplicación en tiempo real aún es un desafío. A pesar de ello, es un paso prometedor que podría materializarse en el mundo real en algún momento.