xAI libera Grok-1, su modelo de 314.000 millones de parámetros

xAI ha liberado hoy los pesos y la arquitectura de Grok-1, el modelo de lenguaje que sirve de base a su asistente Grok. La publicación coloca bajo licencia Apache 2.0 un modelo de mezcla de expertos con 314.000 millones de parámetros, una escala poco habitual entre los modelos cuyos componentes pueden descargarse y reutilizarse.

La decisión importa porque abre a investigadores, empresas y desarrolladores la posibilidad de estudiar y adaptar un modelo de gran tamaño sin pedir permiso a xAI. No equivale, sin embargo, a que cualquiera pueda usarlo con la misma facilidad que un chatbot comercial: ejecutar Grok-1 exige una infraestructura informática considerable.

Qué ha publicado xAI exactamente

Los pesos son los valores numéricos que un modelo ha aprendido durante su entrenamiento. Son, en la práctica, la parte que permite al sistema reconocer patrones en el lenguaje y generar respuestas. xAI también ha difundido la arquitectura de Grok-1: la estructura con la que esos pesos se organizan y procesan una petición.

El lanzamiento corresponde al modelo base, entrenado previamente, y no a una versión ajustada para conversar. Un modelo base puede completar texto, resumir o clasificarse para tareas concretas, pero normalmente necesita ajustes adicionales —con ejemplos de instrucciones y respuestas— para comportarse como un asistente útil y seguro en una conversación.

Grok fue presentado por xAI en noviembre de 2023. La empresa, fundada por Elon Musk en julio del pasado año, lo ha integrado como asistente de IA en la red social X para los suscriptores del nivel Premium+. La liberación de hoy permite examinar la tecnología subyacente sin depender de esa interfaz.

Una mezcla de expertos para contener el coste

Los 314.000 millones de parámetros sitúan a Grok-1 por encima de muchos modelos abiertos conocidos por su tamaño total. Pero esa cifra necesita contexto: Grok-1 es un modelo de mezcla de expertos o Mixture of Experts.

En vez de activar todos sus parámetros cada vez que recibe una palabra o una instrucción, esta arquitectura divide parte de su red en varios componentes especializados, llamados expertos. Un mecanismo decide cuáles intervienen en cada fragmento de texto. En Grok-1, dos de ocho expertos se activan para cada token, la unidad mínima de texto que procesa el modelo. Así, aproximadamente una cuarta parte de los parámetros participa en cada cálculo.

Este diseño intenta combinar una capacidad total alta con un coste de ejecución menor que el de un modelo convencional de 314.000 millones de parámetros que activase toda su red en cada paso. No elimina las exigencias de hardware: almacenar los pesos en formatos habituales sigue requiriendo mucha memoria, y servir el modelo a muchos usuarios añade costes de procesamiento.

La mezcla de expertos se ha convertido en una vía relevante para ampliar los modelos sin multiplicar en la misma proporción el cálculo. Mistral AI ya había publicado Mixtral 8x7B, otro modelo abierto con esta técnica. La diferencia es que Grok-1 juega en una escala de parámetros totales mucho mayor.

Apache 2.0 abre la puerta al uso comercial

La licencia Apache 2.0 es uno de los elementos más relevantes del anuncio. Permite copiar, modificar y redistribuir el material, también dentro de productos comerciales, siempre que se respeten sus condiciones de licencia, incluida la conservación de los avisos aplicables. Incluye además una concesión de patentes de quienes aportan el código o material licenciado.

No todas las publicaciones de modelos tienen esta amplitud. Meta distribuyó Llama 2 con una licencia propia que imponía condiciones específicas para algunas organizaciones de gran tamaño. Apache 2.0 ofrece un marco más reconocible para integrar una tecnología en proyectos empresariales, investigar variantes o crear servicios propios alrededor del modelo.

Aun así, disponer de los pesos no significa poder reproducir todo el proceso de creación de Grok-1. Entrenar un modelo de esta escala desde cero requiere enormes cantidades de datos, chips especializados, energía y experiencia técnica. Para la mayoría de organizaciones, el uso más realista será ajustar o ejecutar el modelo ya entrenado, no construir otro equivalente desde el principio.

Más transparencia, pero no una garantía de superioridad

La publicación permite a la comunidad técnica analizar la arquitectura, medir sus capacidades con pruebas independientes y comprobar cómo responde después de ajustes propios. Esa posibilidad es especialmente valiosa frente a los modelos cerrados, cuyo funcionamiento interno no puede inspeccionarse.

El tamaño tampoco determina por sí solo la calidad. La utilidad de un modelo depende de sus datos de entrenamiento, el ajuste posterior, la capacidad de seguir instrucciones, la fiabilidad de sus respuestas y los filtros aplicados en su despliegue. Grok-1 tendrá que ser evaluado fuera de la infraestructura de xAI para saber cómo se compara con alternativas abiertas y con los principales asistentes comerciales.

Para xAI, la medida sirve además para ganar presencia entre desarrolladores en un mercado donde la apertura de pesos se ha convertido en una herramienta de adopción. Para el sector, añade un modelo de gran escala a un ecosistema que ya no se divide de forma simple entre sistemas totalmente abiertos y plataformas completamente cerradas.