Stability AI lleva su apuesta abierta al texto con StableLM

El 19 de abril de 2023, Stability AI publicó los primeros StableLM Alpha; el lanzamiento permite distinguir pesos accesibles, licencia, datos y reproducibilidad.

Según anunció Stability AI, la empresa detrás de Stable Diffusion, StableLM es una nueva familia de modelos de lenguaje abiertos. El lanzamiento arranca con modelos de 3.000 y 7.000 millones de parámetros y anticipa versiones mayores, entre 15.000 y 65.000 millones. Fuente primaria

La novedad importa porque lleva al terreno del texto la fórmula que dio notoriedad a la compañía: publicar modelos que desarrolladores, investigadores y empresas puedan descargar, estudiar y adaptar. En un mercado marcado por servicios cerrados como ChatGPT o GPT-4, StableLM ofrece una alternativa con los pesos del modelo disponibles públicamente.

Modelos más pequeños, pero utilizables en más equipos

Un modelo de lenguaje es un sistema entrenado con enormes colecciones de texto para predecir la siguiente palabra y, con ello, redactar, resumir, responder preguntas o generar código. El número de parámetros —los valores internos que el modelo ajusta durante su aprendizaje— suele dar una idea de su capacidad, aunque no determina por sí solo la calidad final.

Los primeros StableLM Alpha tienen 3.000 y 7.000 millones de parámetros. Son mucho más pequeños que los grandes modelos comerciales cuyo tamaño no se ha hecho público, pero esa escala tiene una ventaja práctica: requiere menos recursos para ejecutar el sistema y facilita que una organización lo despliegue en su propia infraestructura. Fuente primaria

Stability AI afirma haber entrenado estos modelos con 1,5 billones de tokens, las unidades de texto que procesa un modelo y que pueden equivaler a palabras completas, fragmentos de palabras o signos de puntuación. La compañía explica que el conjunto de entrenamiento parte de The Pile, una colección pública de textos creada para investigación, ampliada con nuevas fuentes experimentales. Fuente primaria

Una licencia abierta con condiciones

Según Stability AI, los pesos de StableLM se han publicado en Hugging Face bajo licencia Creative Commons Attribution-ShareAlike 4.0. Esto permite usar, modificar y redistribuir el modelo, incluso comercialmente, siempre que se reconozca la autoría y que las versiones derivadas se compartan bajo la misma licencia.

No es exactamente lo mismo que liberar todo el proceso de creación. Publicar los pesos permite ejecutar y ajustar el modelo, pero no equivale necesariamente a reproducir desde cero su entrenamiento: para eso harían falta datos, código, configuración y capacidad de cálculo suficientes. Aun así, es un nivel de acceso muy superior al de los asistentes de texto que solo se ofrecen mediante una página web o una API.

Junto a los modelos base, Stability AI ha difundido versiones ajustadas para seguir instrucciones. Este ajuste posterior enseña al sistema a comportarse como asistente conversacional, en lugar de limitarse a continuar texto. Es el paso que convierte un modelo general en una herramienta capaz de responder a peticiones redactadas en lenguaje natural.

El reto no es solo abrir los pesos

La experiencia de Stable Diffusion muestra por qué esta estrategia puede tener impacto. La disponibilidad del modelo impulsó una comunidad de desarrolladores que creó interfaces, extensiones y versiones especializadas para estilos visuales, flujos de trabajo profesionales y equipos modestos. StableLM puede atraer un ecosistema parecido para chatbots privados, herramientas de redacción o asistentes internos.

Pero los modelos de lenguaje plantean problemas propios. Pueden inventar datos con aparente seguridad, reproducir sesgos presentes en sus datos de entrenamiento o generar contenido inadecuado si no se incorporan controles. Las versiones pequeñas también tendrán límites evidentes frente a los mejores sistemas cerrados en razonamiento, conocimiento factual y seguimiento de instrucciones complejas.

La promesa de Stability AI es ampliar la familia con modelos de mayor tamaño. Su éxito dependerá de algo más que la cifra de parámetros: calidad de los datos, resultados en pruebas independientes, facilidad para ajustarlos y claridad sobre sus límites. De momento, StableLM abre una nueva vía para quien quiera experimentar con modelos de texto sin depender por completo de las grandes plataformas comerciales.

“Abierto” tiene varias capas comprobables

Los pesos permiten ejecutar el modelo y modificarlo, pero no reconstruyen automáticamente el proceso que lo creó. Para evaluar apertura conviene preguntar por separado si están disponibles pesos, código de inferencia, código de entrenamiento, datos, receta de preparación, evaluaciones y licencia. StableLM Alpha hacía accesibles los modelos base, mientras que la propia nota de lanzamiento distinguía las versiones base de modelos ajustados para investigación con otra licencia.

Esa distinción modifica lo que un usuario puede hacer. Una licencia puede permitir uso comercial del modelo base y restringir una variante conversacional. Además, los conjuntos incorporados al ajuste tienen sus propias condiciones. Antes de integrar un modelo no basta con leer una etiqueta en una página: hay que localizar el archivo de licencia de la versión exacta y registrar su hash o identificador.

El número de parámetros mide el tamaño de una arquitectura, no la calidad en una tarea. Un modelo pequeño bien entrenado puede superar a otro mayor en un dominio y fallar en razonamiento general. Para compararlos hay que mantener iguales prompt, cuantización, hardware y conjunto de prueba. Si cambia más de una variable, atribuir el resultado al tamaño es especulación.

La reproducibilidad también incluye los datos

Stability AI describía un conjunto experimental basado en The Pile y multiplicado por tres hasta 1,5 billones de tokens, pero indicaba que publicaría detalles después. Esa limitación debe conservarse al contar el lanzamiento: conocer el volumen no permite inspeccionar duplicados, procedencia, idiomas, datos personales o material protegido. Fuente primaria

Una organización que despliega localmente gana control sobre dónde se procesan sus entradas, pero hereda el trabajo de seguridad. Debe revisar dependencias, limitar acceso, probar inyección de prompts, registrar versiones y decidir cómo se actualiza. “En nuestros servidores” reduce ciertas transferencias de datos; no convierte por sí solo el sistema en privado ni seguro.

La evaluación mínima combina calidad, coste y riesgo. Se elige un conjunto de tareas reales, se mide tasa de acierto, memoria necesaria, latencia y fallos dañinos, y se repite tras cada ajuste. También se incluye un modelo cerrado como referencia si la decisión real es elegir entre ambos, no como enemigo abstracto.

La capacidad transferible es sustituir la palabra “abierto” por una ficha de siete campos: pesos, código, datos, receta, evaluación, licencia y gobernanza de cambios. Lo que falte queda marcado como límite. Esa ficha permite comparar proyectos distintos sin premiar una etiqueta que cada proveedor usa de manera diferente.

El hardware debe documentarse porque altera la experiencia. Cuantizar reduce memoria a costa de posible pérdida de calidad; distintas bibliotecas pueden producir velocidades diferentes; una ventana de contexto mayor aumenta consumo. Publicar solo “corre en local” oculta si la prueba exigió una GPU profesional o cabe en un portátil corriente. Una tabla con memoria máxima, tokens por segundo y configuración convierte la promesa de accesibilidad en algo repetible.

También debe conservarse el modelo base junto a cada ajuste. Si una versión especializada cambia comportamiento, el equipo necesita saber qué datos añadió, qué licencia hereda y cómo volver atrás. Esa trazabilidad permite separar una debilidad del modelo original de un fallo introducido durante el ajuste.

Antes de descargar, conviene identificar además quién mantiene el repositorio y cómo comunica vulnerabilidades. Los pesos pueden permanecer disponibles mientras el código que los carga cambia. Firmas, hashes y un entorno aislado reducen el riesgo de confundir un artefacto conocido con una sustitución posterior. Abrir el modelo amplía la capacidad de inspección; aprovecharla exige una cadena de suministro documentada y una persona responsable de revisar cada actualización.

Sin ese responsable, la posibilidad de inspeccionar puede quedarse en una ventaja teórica.