La licencia de Creative Commons nos ha traído alegrías a lo largo de los años, son de esas iniciativas que si bien permiten a creadores generar algo de ganancias y renombre por sus creaciones, no esconde sus avances o innovaciones tras un muro de pago y burocracia, sino que hace más fácil para todo el mundo que formen parte y se beneficien de los recursos como una comunidad.
Bajo este modelo de licencia es que trabaja Stability AI, creadores de Stable Diffusion y la “rival” de código abierto de OpenAI -que a pesar de su nombre protege ferozmente la propiedad sobre su producto- están promoviendo el uso de su modelo de lenguaje StableLM.
Los modelos de lenguaje son como las cebollas, tienen capas
El Alpha de StableLM está disponible GitHub para sus dos versiones más pequeñas, estas tienen en cuenta 3 mil millones y 7 mil millones de parámetros, pero Stability AI ha comentado que pronto se podrá tener acceso a los modelos de 15 mil millones y 65 mil millones de parámetros.
Si bien parece mucho, hay que tener en cuenta que el gigante GPT-3 utilizo 175 mil millones de parámetros para su creación, y que estos modelos de prueba de parte de Stability están más en consecuencia con otros modelos de lenguaje más modestos como Alpaca, Dolly 2.0, Alpaca o hasta la mismísima LLaMA creada por Meta.
Aun así, lo que pretende demostrar Stability es la capacidad de estos modelos pequeños para ofrecer texto predictivo y secuencial con base en prompts que sea eficiente dentro de límites, parámetros y dispositivos más compactos.
Una IA para todos y todos para una
La democratización de la tecnología de inteligencia artificial y que trabajemos en conjunto de forma transparente para mejorarla siempre ha estado entre los objetivos de Stability, es por ello por lo que no han tenido reparos en citar a The Pile como el conjunto de datos experimental en el que se basaron para programar StableLM.
The Pile es un conjunto de datos de más de 800 GB que posee 1,5 billones de tokens de contenido, y es a su vez una combinación heterogénea de otros 22 conjuntos de datos de alta calidad que han demostrado un gran rendimiento en el entrenamiento de diversos modelos de lenguaje anteriormente.
Esperemos que el mercado de las IA se siga enriqueciendo con modelos y opciones de código abierto, que nos permitan avanzar de forma colaborativa en el campo de las inteligencias artificiales, pero que nadie le diga a OpenAI que dije esto.
