Databricks lanza DBRX, un modelo abierto de 132.000 millones

El 27 de marzo de 2024, Databricks publicó DBRX, un modelo de lenguaje de mezcla de expertos con 132.000 millones de parámetros totales y 36.000 millones activos por entrada. El informe técnico de lanzamiento documenta arquitectura, datos, evaluaciones y condiciones de velocidad; las comparaciones siguen siendo mediciones del fabricante y deben viajar con su protocolo.

DBRX llega en un momento en que los modelos abiertos, aquellos cuyos pesos pueden descargarse y ejecutarse fuera de la infraestructura del creador, se han convertido en una alternativa cada vez más seria a las API cerradas de OpenAI, Google o Anthropic. Para las empresas, esa diferencia importa: permite adaptar el modelo a datos propios y decidir dónde se procesan.

Un modelo grande que no activa toda su capacidad

DBRX emplea una arquitectura de mezcla de expertos o MoE. En lugar de usar todos sus parámetros para cada fragmento de texto, el modelo cuenta con 16 redes especializadas —los expertos— y activa cuatro para procesar cada token, la unidad mínima de texto con la que trabaja un modelo de lenguaje.

El resultado son 132.000 millones de parámetros en total, pero 36.000 millones activos en cada paso de generación. Los parámetros son los valores que un modelo ajusta durante su entrenamiento para aprender patrones del lenguaje, el código o las matemáticas. Activar menos no equivale necesariamente a saber menos: permite reservar capacidad para tareas distintas y reducir el cálculo requerido por cada respuesta.

La técnica no es nueva. Google la utilizó en algunos de sus trabajos de investigación y Mistral la popularizó entre los modelos abiertos con Mixtral 8x7B. La diferencia de DBRX está en la escala y en el número de expertos seleccionados por token. Databricks afirma que el modelo fue entrenado con 12 billones de tokens y admite una ventana de contexto de 32.000 tokens, suficiente para analizar documentos extensos o mantener conversaciones largas.

Mejores resultados que los abiertos de referencia

La compañía ha publicado dos variantes: DBRX Base, orientada a desarrolladores e investigadores que quieran ajustarlo a una tarea concreta, y DBRX Instruct, preparado para seguir instrucciones en formato conversacional.

Según los resultados difundidos por Databricks, DBRX Instruct supera a modelos abiertos como Llama 2 70B, Mixtral Instruct y Grok-1 en pruebas habituales de comprensión del lenguaje, programación y razonamiento matemático. En HumanEval, un test de generación de código en Python, alcanza un 70,1%; en MMLU, una batería de preguntas académicas y profesionales, obtiene un 73,7%.

Los benchmarks deben leerse con cautela. Son útiles para comparar modelos en tareas controladas, pero no garantizan que uno responda mejor en un entorno empresarial real, donde pesan la calidad de los datos, la integración con herramientas, la seguridad y el coste de servir millones de consultas. Aun así, las cifras sitúan a DBRX entre los modelos abiertos más capaces disponibles hoy.

Apertura con condiciones y foco empresarial

Databricks distribuye los pesos de DBRX bajo su propia licencia, la Databricks Open Model License, y los ha puesto a disposición a través de Hugging Face. La licencia permite utilizar, modificar y distribuir el modelo, también con fines comerciales, aunque no es una licencia de software libre estándar como Apache 2.0. Conviene que las compañías revisen sus condiciones antes de incorporarlo a un producto.

El lanzamiento encaja con el negocio de Databricks, centrado en plataformas de datos y aprendizaje automático para empresas. Un modelo abierto puede ejecutarse en la infraestructura del cliente, ajustarse con información interna y conectarse a sus sistemas analíticos. Pero ejecutar un modelo de este tamaño sigue exigiendo una infraestructura considerable, incluso si la mezcla de expertos reduce el cálculo frente a un modelo denso equivalente.

DBRX no elimina la ventaja de los grandes modelos cerrados, que suelen ofrecer productos más pulidos, herramientas integradas y una operación gestionada. Sí estrecha la distancia. Para organizaciones que necesitan mayor control sobre sus datos o quieren evitar depender por completo de una única API, el nuevo modelo amplía las opciones disponibles.

Total, activo y memoria responden cosas distintas

En una mezcla de expertos, el total de parámetros describe todo lo que debe almacenarse y los activos aproximan cuánto participa por token. La memoria real añade caché, activaciones y sobrecarga de servicio. Por eso un modelo con menos parámetros activos puede seguir necesitando muchas GPU para alojarse. La comparación correcta fija hardware, precisión, longitud de entrada, lote y número de usuarios.

El enrutador elige expertos para cada token. Esa decisión permite especialización, pero también introduce una pregunta: si ciertos dominios o idiomas activan rutas distintas, ¿cambia la calidad? Una evaluación desglosa resultados por lengua y tarea, observa la carga entre expertos y no supone que el promedio del modelo representa cada grupo.

Cómo leer las ventajas publicadas

El propio informe de DBRX especifica condiciones de inferencia: infraestructura optimizada, precisión y forma de llegada de usuarios. “Hasta” señala un extremo en ese recinto. Para repetirlo se necesita el mismo modelo, tokenizer, tamaño de petición, salida y paralelismo. Cambiar una condición puede invertir la comparación.

Los benchmarks de código y conocimiento sirven como mapa inicial, no como aceptación empresarial. El equipo prepara documentos, consultas y programas propios, añade un verificador y calcula coste por tarea correcta. También conserva ejemplos fallidos. Una cifra alta sin distribución de errores no dice dónde hace falta revisión.

La licencia y los artefactos se guardan con la revisión exacta. Pesos descargables permiten inspección y adaptación, pero los datos de entrenamiento solo están descritos de forma agregada. La apertura se audita por capas: pesos, código, datos, licencia, evaluación y posibilidad de reproducir.

La capacidad transferible es comparar modelos de expertos mediante total almacenado, cálculo activo, protocolo, calidad propia y licencia. Esa ficha evita que “132.000 millones” funcione como una puntuación universal y permite decidir si DBRX encaja en una infraestructura concreta.

Una ficha de despliegue evita comparaciones falsas

Antes de descargar, se identifica DBRX Base o Instruct. La primera variante continúa texto y sirve como punto de ajuste; la segunda intenta seguir instrucciones. Sus evaluaciones no son intercambiables. También se anota tokenizer, contexto y formato de pesos, porque dos archivos con la misma arquitectura pueden exigir recursos y producir conducta distinta.

Para recuperación se crea una colección con versiones, duplicados y documentos irrelevantes. Se registra qué pasajes selecciona el buscador y qué cita el modelo. Así se separa un fallo de recuperación de uno de síntesis. Si solo se puntúa la respuesta final, el equipo puede cambiar el modelo cuando el problema estaba en el índice.

La seguridad de un modelo descargado recae en quien lo sirve. Se diseñan límites, autenticación, registro y respuesta a incidentes; la ausencia de una API del fabricante no elimina abuso. Abrir artefactos amplía capacidad de inspección y también responsabilidad operativa.

Finalmente se repite la evaluación después de cuantizar, ajustar o cambiar el motor de inferencia. Cada modificación crea una variante. Preservar resultados por revisión convierte la libertad de adaptación en evidencia y evita heredar puntuaciones que ya no describen el sistema desplegado.

El informe de aceptación termina con una decisión explícita: ejecutar, ajustar, servir por API o descartar. Cada opción incluye memoria, coste, propietario y riesgos abiertos. Esa salida evita que una evaluación se convierta en una colección de cifras sin consecuencia operativa.

Si el modelo se actualiza, no se reemplaza silenciosamente. La versión nueva entra como candidata y repite el mismo protocolo. Solo entonces hereda el uso.

La misma ficha registra la tarea que DBRX no supera. Un límite conocido permite asignar revisión o elegir otro modelo; ocultarlo bajo el promedio hace que el fallo reaparezca en producción.