El consorcio MLPerf, conformado por 40 firmas tecnológicas, ha lanzado una serie de puntos de referencia para el trabajo de Inteligencia Artificial (IA). Las métricas establecidas abarcan el rendimiento de esta tecnología en el reconocimiento de imágenes, objetos y en la traducción por voz.

Los puntos de referencia, llamados MLPerf Inference v0.5, representan la primera suite del consorcio para medir el rendimiento energético y la eficiencia de los sistemas de IA. En este sentido, los puntos de inferencia resultan esenciales para tener una mejor comprensión del tiempo y la potencia que se necesita para desplegar una red neuronal en actividades comunes, como la predicción de imágenes a través de visión por computadora.

Un mejor desempeño de la IA

Para ejemplificar las capacidades de los puntos de referencia, Petter Mattson, ingeniero de Google y director general de MLPerf, afirmó que MLPerf Inference v0.5 podría evaluar el rendimiento de un sistema de reconocimiento de imágenes desarrollado a partir del software de aprendizaje código abierto de Google, aplicando fuentes de datos especializadas en reconocimiento de imágenes, como MobileNets o RestNet50. Luego, las compañías pueden utilizar estos resultados como base para desplegar la IA y determinar qué herramientas y fuentes de datos operan mejor.

En un comunicado compartido con VentureBeat, las empresas vinculadas al consorcio, como Facebook, Google, ARM, Nvidia y General Motors, afirmaron que los estándares de referencia fueron elegidos durante los últimos 11 meses, y que uno de sus objetivos principales es permitirles a las compañías tomar decisiones importantes acerca de qué soluciones y herramientas son más apropiadas para invertir.

Las implementaciones de los puntos de referencia serán incorporadas a herramientas como TensorFlow de Google, o PyTorch de Facebook, además del consorcio ONNX que facilita la interoperabilidad entre los marcos referenciales de la IA y los recursos de hardware.

Mattson afirmó que, al establecer puntos referenciales comunes para analizar nuevos marcos de aprendizaje automático, plataformas en la nube, aceleradores de hardware y aplicaciones en la vida real, MLPerf Inference v0.5 creará reglas del juego equilibradas que incluso son factibles de aplicar para startups y empresas pequeñas.