«XLM-R» es la nueva red neuronal que el equipo de inteligencia artificial de Facebook está desarrollando para solucionar los problemas de idiomas en la plataforma. Sin embargo, las capacidades de esta tecnología podrían limitarse por no implementar el hardware adecuado.
El equipo formado por Alexis Conneau, Kartikay Khandelwal Naman, Goyal Vishrav, Chaudhary Guillaume, Wenzek Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer y Veselin Stoyanov publicaron el estudio titulado «Aprendizaje de representación cruzada sin supervisión en escala» en la revista arXiv. de la mano de Facebook AI Research.
La red neuronal XLM-R está basada en el modelo de aprendizaje de lenguaje natural empleado por Google y cuenta con la capacidad de traducir hasta 100 idiomas entre los que se encuentran swahili y urdu.
XLM-R ha logrado los mejores resultados hasta la fecha en cuatro puntos de referencia de comprensión cruzada, con aumentos de precisión promedio de 4.7 por ciento en el conjunto de datos de inferencia de lenguaje natural cruzado XNLI, puntaje promedio F1 de 8.4 por ciento en los datos de respuesta de preguntas MLQA recientemente introducidos conjunto, y 2.1 por ciento de puntaje F1 en NER.
Sin embargo, un informe reciente señala que este equipo podría limitarse ya que necesita un hardware robusto y poderoso para realizar dichas operaciones. De acuerdo con el informe, ni la poderosa GPU 500 de Nvidia.
Los investigadores utilizan CommonCrawl, un proyecto conformado por un volumen de datos recopilado que provee gratuitamente a través de la web. Asimismo, también utilizaron el trabajo de Guillaume Lample en Facebook, la creación del XLM inicial.
«La capacidad del modelo (es decir, el número de parámetros en el modelo) está limitada debido a consideraciones prácticas como la memoria y la velocidad durante el entrenamiento y la inferencia«, aseguran los investigadores.
Numéricamente, la XLM-R procesa los idiomas enviando cerca de 250,000 tokens, una cantidad considerable tomando en cuenta la GPT-2 de OpenAI procesa 50,000 tokens, es decir que el vocabulario de la red neuronal de Facebook es mucho más amplio.
GPT-2 procesa solo 50,000 tokens usando machine learning
La red neuronal de la que hablamos hace poco podría ser utilizada de forma maliciosa debido a que podría interpretar cualquier texto que se le enviara sin discernir si trata de información real o falsa, lo peor de todo es que esta podría generar texto muy creíble, en pocas palabras una herramienta que podría facilitar el trabajo de los grupos que difunden fakenews.
Debido a que GPT-2 está liberado por la compañía, se basa en un modelo matemático que interpreta el texto ingresado a través de un conjunto de reglas. Lo cierto es que este sistema de OpenAI ha lanzado una última versión mucho más completa que las anteriores.
XLM-R, una red neural en crecimiento
Aunque la red neuronal de Facebook es capaz de procesar mayor número de datos, es probable que también se necesite desarrollar el hardware adecuado para la misma. No obstante, la compañía de Mark Zuckerberg señala que aún falta mucho por mejorar.
Sin embargo, los investigadores afirman que este es un gran avance al crear la primera red multilingües que incluye un modelo de capacitación así como también idiomas que generalmente son excluídos.
Facebook compartió los proyectos en fairseq, Pytext y XLM en GitHub para aquellos que quieran acceder a los repositorios.
