OpenAI sabe que el próximo paso para conquistar el mundo de la IA son los generadores de modelos 3D.  Y es por eso que hace poco abrió el código Point-E, un sistema de aprendizaje automático que crea un objeto 3D al recibir un mensaje de texto. De acuerdo a un artículo de la compañía, Point-E puede producir modelos 3D en uno o dos minutos en una sola GPU Nvidia V100.

Eso sí, Point-E no crea objetos 3D en el sentido tradicional. Lo que hace es generar nubes de puntos o conjuntos discretos de puntos de datos en el espacio que representan una forma 3D. De ahí proviene su nombre: la «E» en Point-E es la abreviatura de «eficiencia», debido a que aparentemente es más rápida que los enfoques de generación de objetos 3D anteriores. Es cierto que las nubes de puntos son más fáciles de sintetizar a nivel computacional, pero no capturan la granularidad fina de un objeto: forma o textura. Y sí, esa es una limitación importante de Point-E.

La compañía, con el fin de solucionar esa limitación, entrenó un sistema de IA adicional para convertir las nubes de puntos de Point-E en mallas (este sistema es muy usado en el mundo del 3D). Sin embargo, Point-E puede pasar por alto ciertas partes de los objetos, dando como resultado formas bloqueadas o distorsionadas.

OpenAI
Vía OpenAI

¿Qué más se sabe sobre la IA de OpenAI capaz de crear modelos 3D?

Point-E consta de dos modelos:  

  • Un modelo de texto a imagen es similar a los sistemas de arte generativo como DALL-E 2 y Stable Diffusion de OpenAI. Este se entrenó en imágenes etiquetadas para comprender las asociaciones entre palabras y conceptos visuales.
  • El modelo de imagen a 3D: En cambio, este recibió un conjunto de imágenes emparejadas con objetos 3D para que aprendiera a traducir de manera efectiva entre los dos.

De este modo, cuando se le presenta un mensaje de texto a Point-E, por ejemplo: «un engranaje imprimible en 3D, un solo engranaje de 3 pulgadas de diámetro y media pulgada de grosor», ¿qué sucede? Bueno, el modelo de texto a imagen de Point-E genera un objeto renderizado sintético que se alimenta a la imagen a imagen. Luego, el modelo 3D, genera una nube de puntos.

Según los investigadores de OpenAI, después de entrenar los modelos en un conjunto de datos de «varios millones» de objetos 3D y metadatos asociados, Point-E podría producir nubes de puntos de colores que con frecuencia coincidían con las indicaciones de texto. No es perfecto, pues el modelo de imagen a 3D de la IA a veces no comprende la imagen del modelo de texto a imagen. Y termina  dando como resultado una forma que no coincide con el mensaje de texto.

En el artículo comentaron esto al respecto:

“Si bien nuestro método funciona peor en esta evaluación que las técnicas más modernas, produce muestras en una pequeña fracción del tiempo. Esto podría hacerlo más práctico para ciertas aplicaciones, o podría permitir el descubrimiento de objetos 3D de mayor calidad».

OpenAI
Vía OpenAI

¿En qué podría usarse Point-E?

Los investigadores de OpenAI señalan que las nubes de puntos de Point-E podrían usarse para fabricar objetos del mundo real a través de la impresión 3D.

Y, gracias al modelo adicional de conversión de malla, el sistema podría, una vez que esté un poco más pulido, también encontrar su camino en los flujos de trabajo de desarrollo de juegos y animaciones.

OpenAI
Vía OpenAI

Sin duda alguna, OpenAI podría ser la última compañía en saltar a la refriega del generador de objetos 3D, pero, como se mencionó anteriormente, ciertamente no es la primera. Los modelos 3D suelen tardar un tiempo en crearse, entre varias horas y varios días. Así que la IA Point-E podría cambiar eso si algún día resuelven sus problemas.

Los investigadores señalan que esta IA que puede generar modelos 3D podría tener más problemas, tales como los sesgos heredados de los datos de entrenamiento y la falta de garantías en torno a los modelos que podrían usarse para crear «objetos peligrosos». Tal vez por eso caracterizan a Point-E como un «punto de partida» que esperan inspire «más trabajo» en el campo de la síntesis de texto a 3D.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *