Un grupo de investigadores del Instituto Nara de Ciencia y Tecnología de Japón, han utilizado un estudio de 2018 sobre el movimiento ocular humano para proponer agentes de Inteligencia Artificial (IA) que son capaces de aprender el movimiento del ojo de los programadores de software con el objetivo de corregir errores, realizar comentarios y crear parches.
Inspirados en trabajos anteriores, donde se investigó la correlación existente entre la experiencia en artes visuales y el movimiento ‘oculomotor’, los investigadores propusieron un método donde se aprovechan las ventajas del aprendizaje por imitación, en el que los agentes de IA aprenden tareas humanas complejas. Según VentureBeat, los expertos utilizaron la ‘clonación de comportamiento’, que consiste en un algoritmo que se emplea para el lenguaje natural y el procesamiento robótico.
Asimismo, el entorno de programación y los fragmentos de código informático son utilizados como palabras clave o secuencias de tokens, de modo que los agentes de IA queden restringidos a un subconjunto de tokens que imita la atención visual de un programador. Para ello, se toma en cuenta el estado actual y la salida de la acción requerida.
Al describir los agentes de IA, los investigadores japoneses explicaron que estos se basan en dos redes neuronales profundas: una red neuronal recurrente (RNN, por sus siglas en inglés) y un decodificador de tareas específicas (también RNN). En este sentido, el primer RNN se usa para codificar el contexto general de un fragmento de código planteado, mientras que el segundo RNN utiliza los datos del primer RNN y predice los tokens que darán lugar a la acción.
De manera alternativa, los investigadores propusieron usar una ‘red de confrontación generativa’ que se encargarían de aprender demostraciones de los programadores en vez de únicamente imitar sus acciones. La red de confrontación generativa es una red neuronal de dos partes que se basa en generadores que producen muestras basadas en su aprendizaje y en el mundo real.
Finalmente, los expertos de Nara sugirieron complementar los datos de movimiento ocular con lecturas de encefalogramas (EEG). Sin embargo, consideran que el modelo tiene la capacidad de mejorar el rendimiento de los agentes de IA en varias tareas del sector del desarrollo de software.
Referencia: Toward Imitating Visual Attention of Experts in Software Development Tasks. Nara Institute of Science and Technology, Japan. 15 mar 2019. DOI: https://arxiv.org/pdf/1903.06320.pdf