El equipo de Amazon aprovechará millones de interacciones de Alexa para reducir la tasa de error.

Según menciona la fuente, los investigadores de la división Alexa realizaron un experimento donde se obtuvieron resultados alentadores al comparar redes con y sin esquemas de incrustación (representaciones numéricas de palabras).

Comparamos redes NLU que usaban tres esquemas de incrustación diferentes: texto rápido, ELMo y ELMoL. Como línea de base, también comparamos el rendimiento de las redes con el de una red que no utilizó ningún esquema de incrustación.

¿Cómo funciona el aprendizaje por transferencia?

Anuj Goyal, un científico aplicado de Alexa AI y coautor del estudio menciona que las incrustaciones se agrupan de acuerdo a la frecuencia en la que aparecen una técnica que permite agrupar las palabras con funciones similares.

Las interacciones tienden a agrupar las palabras por su “co-ocurrencia” con otras palabras, es decir, con qué frecuencia aparecen una al lado de la otra en un orden particular.

En primera instancia, los investigadores pre-entrenaron las capas incrustadas de la red de texto rápido, mientras que, las capas incrustadas de las redes ELMo y ELMoL fueron entrenadas con 250 millones de solicitudes no comentadas.

Con la red de texto rápido, las capas incrustadas fueron pre-entrenadas; con las redes ELMo y ELMoL, entrenamos las capas de incrustación en 250 millones de solicitudes no comentadas a Alexa. Una vez que se capacitaron todas las incrustaciones, utilizamos otros cuatro millones de solicitudes anotadas a los servicios existentes de Alexa para capacitar a cada red en dos tareas NLU estándar.

La primera tarea de la red era determinar la acción que el cliente quería que Alexa realizara, la segunda planteaba que se determinara a cuáles entidades debería aplicar dicha acción.

La primera tarea fue la clasificación de la intención, o determinar qué acción un cliente deseaba que Alexa realizara, y la segunda era etiquetar por ranura, o determinar a qué entidades debería aplicarse la acción.

Menos errores con el aprendizaje por transferencia

Luego de varios errores los investigadores descubrieron que la red debería adoptar una capacitación fija, y luego proceder a una modificación lenta de la configuración interna de las capas de incrustación para obtener mejores resultados.

Así que adoptamos una nueva estrategia de capacitación, en la que las capas de incrustación empezaron de manera fija. Solo después de que la red en su conjunto comenzara a converger hacia una solución, permitimos la modificación lenta de la configuración interna de las capas de incrustación.

En este punto los investigadores determinaron que la transferencia de aprendizaje permite reducir los errores hasta en un 8%.

Una vez que las redes se capacitaron como clasificadores de propósito general y etiquetadores de espacios, los capacitamos nuevamente en datos limitados para realizar nuevas tareas. Este fue el paso de transferencia de aprendizaje.

La red ELMo arrojó mejores resultados

La red que utilizó las incrustaciones de ELMo fue la que mejor funcionó, y la red de ELMoL se ubicó en segundo lugar. Un sistema que mejora la capacidad de Alexa para comprender los comandos y que llega un tiempo después que los científicos de Amazon descubrieran un método impulsado por la inteligencia artificial que reduce la tasa de errores de selección de habilidades de Alexa en un 40%.

Inteligencia Artificial de Amazon puede encontrar respuestas a preguntas "complejas"

Más en TekCrispy