Investigadores de Caltech, desarrollaron un software que combina realidad aumentada con algoritmos de visión computarizada, para literalmente ‘dar voz’ a los objetos que se encuentren alrededor de una persona invidente.

CARA, es el nombre del Asistente Cognitivo de Realidad Aumentada, que ayudará a las personas invidentes a desplazarse en cualquier espacio, ya que podrán escuchar lo que hay a su alrededor.

El profesor Markus Meister, propietario del laboratorio y científico que participó en el proyecto, lo describe como sigue:

Imagina que estás en un mundo donde todos los objetos a tu alrededor tienen voces y pueden hablarte.

Dondequiera que mire, los diferentes objetos en los que se enfoca se activan y pronuncian sus nombres. ¿Se imagina moverse en un mundo así, realizando algunas de las muchas tareas para las que normalmente usamos nuestro sistema visual? Lo hemos hecho aquí: hemos dado voces a los objetos .

Yang Liu, estudiante graduado en Computación Neuronal fue el encargado de dirigir el equipo de científicos que desarrolló CARA.
CARA utiliza las conocidas gafas de realidad aumentada HoloLens de Microsoft,que pueden escanear el entorno de la persona e identificar objetos individuales, como una computadora portátil o una foto.

El sistema usa visión computarizada para identificar los objeto en el entorno, darles nombre y una voz. Los objetos “dicen” su nombre a las órdenes del usuario, cada vez que este apunte en su dirección o esté cerca de estos.

Pero eso no es todo, pues gracias a la tecnología del sonido espacializado, los objetos pueden sonar de manera diferente según su ubicación dentro de una habitación. Por ejemplo, si el objeto está muy a la izquierda del usuario, su voz sonará como si viniera de la izquierda. Además, cuanto más cerca esté el objeto, mayor será el tono de su “voz”.

Desarrollan robot submarino que podría asesinar usando solo inteligencia artificial


El equipo de desarrollo programó CARA con varios modos, para evitar abrumar a la persona invidente al escuchar “tantas voces” a la vez.

  • El modo de foco, permite que un objeto diga su nombre cuando el usuario lo mira de frente o directamente. A medida que el usuario gira la cabeza para enfrentar varios objetos, cada uno de los objetos dice su nombre y el tono de la voz del objeto proporciona una señal auditiva sobre su distancia relativa del usuario. De esta manera, un usuario con discapacidad visual puede “mirar a su alrededor” para explorar su entorno.
  • El modo de escaneo, el entorno escanea de izquierda a derecha todo lo que HoloLens tenga a la vista, mientras los objetos dicen su nombre.
  • El modo objetivo, donde el usuario puede seleccionar uno de los objetos.

Como podemos ver en el siguiente video, las pruebas realizadas por los científicos fueron prometedoras.

Sin embargo es una tecnología que aún se encuentra en desarrollo y tiene un punto en contra, pues requiere de un casco de AR que no es muy asequible. No obstante, la idea de que personas invidentes puedan desplazarse de manera natural en una tienda o los pasillos de su casa, sin duda hacen que el precio no sea una limitante.

Más en TekCrispy