Los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL, por sus siglas en inglés) del MIT, han creado un sistema basado en Inteligencia Artificial (IA) que puede ser entrenado para aprender sobre un objeto con solo mirarlo y tocarlo, tal y como los humanos interactuamos con el mundo físico para comprenderlo.
Para desarrollar este sistema, los expertos utilizaron un brazo robótico llamado KUKA, que cuenta a su vez con un sensor táctil llamado GelSight. En este sentido, la IA tiene la capacidad de crear señales táctiles realistas partiendo de datos visuales, para finalmente predecir un objeto y qué parte del mismo se está tocando.
Compilando datos visuales y táctiles
Para entrenar el sistema de IA, los investigadores usaron una cámara web simple, con la cual se capturaron imágenes de video de 200 objetos que fueron tocados más de 12,000 veces. Al dividir los clips de video en cuadros estáticos, los expertos lograron crearon una base de datos de más de 3 millones de imágenes “táctiles” y visuales llamada VisGel.
Con motivo del anuncio, Yunzhu Li, estudiante del MIT y autor principal del estudio, afirmó:
Al mirar la escena, nuestro modelo puede imaginar la sensación de tocar una superficie plana o un borde afilado (…) Al tocar a ciegas, nuestro modelo puede predecir la interacción con el entorno únicamente a partir de sentimientos táctiles. “Reunir estos dos sentidos podría empoderar al robot y reducir los datos que podríamos necesitar para tareas que involucren la manipulación y la comprensión de objetos.
Para dar una mejor comprensión de las interacciones de la IA con respecto a la visión y el tacto, los investigadores utilizaron los datos de VisGel y las Redes de Confrontación Generativa (GAN, por sus siglas en inglés). De esta manera, cada vez que el discriminador captura al generador, logra exponer el razonamiento interno de cada acción, permitiendo al generado mejorar rápidamente.
A futuro, los investigadores consideran que este modelo contribuirá a una relación más estrecha entre la robótica y la visión, especialmente para el sector del reconocimiento de objetos, además de permitir una mejor integración entre robots y humanos en entornos de fabricación.