Databricks lanza DBRX, un modelo abierto de 132.000 millones

Databricks ha presentado DBRX, un modelo de lenguaje abierto diseñado para competir con los mejores modelos disponibles públicamente. Su principal baza es combinar una escala de 132.000 millones de parámetros con un sistema que solo utiliza una parte de ellos en cada respuesta, una decisión que busca mejorar el rendimiento sin disparar el coste de uso.

DBRX llega en un momento en que los modelos abiertos, aquellos cuyos pesos pueden descargarse y ejecutarse fuera de la infraestructura del creador, se han convertido en una alternativa cada vez más seria a las API cerradas de OpenAI, Google o Anthropic. Para las empresas, esa diferencia importa: permite adaptar el modelo a datos propios y decidir dónde se procesan.

Un modelo grande que no activa toda su capacidad

DBRX emplea una arquitectura de mezcla de expertos o MoE. En lugar de usar todos sus parámetros para cada fragmento de texto, el modelo cuenta con 16 redes especializadas —los expertos— y activa cuatro para procesar cada token, la unidad mínima de texto con la que trabaja un modelo de lenguaje.

El resultado son 132.000 millones de parámetros en total, pero 36.000 millones activos en cada paso de generación. Los parámetros son los valores que un modelo ajusta durante su entrenamiento para aprender patrones del lenguaje, el código o las matemáticas. Activar menos no equivale necesariamente a saber menos: permite reservar capacidad para tareas distintas y reducir el cálculo requerido por cada respuesta.

La técnica no es nueva. Google la utilizó en algunos de sus trabajos de investigación y Mistral la popularizó entre los modelos abiertos con Mixtral 8x7B. La diferencia de DBRX está en la escala y en el número de expertos seleccionados por token. Databricks afirma que el modelo fue entrenado con 12 billones de tokens y admite una ventana de contexto de 32.000 tokens, suficiente para analizar documentos extensos o mantener conversaciones largas.

Mejores resultados que los abiertos de referencia

La compañía ha publicado dos variantes: DBRX Base, orientada a desarrolladores e investigadores que quieran ajustarlo a una tarea concreta, y DBRX Instruct, preparado para seguir instrucciones en formato conversacional.

Según los resultados difundidos por Databricks, DBRX Instruct supera a modelos abiertos como Llama 2 70B, Mixtral Instruct y Grok-1 en pruebas habituales de comprensión del lenguaje, programación y razonamiento matemático. En HumanEval, un test de generación de código en Python, alcanza un 70,1%; en MMLU, una batería de preguntas académicas y profesionales, obtiene un 73,7%.

Los benchmarks deben leerse con cautela. Son útiles para comparar modelos en tareas controladas, pero no garantizan que uno responda mejor en un entorno empresarial real, donde pesan la calidad de los datos, la integración con herramientas, la seguridad y el coste de servir millones de consultas. Aun así, las cifras sitúan a DBRX entre los modelos abiertos más capaces disponibles hoy.

Apertura con condiciones y foco empresarial

Databricks distribuye los pesos de DBRX bajo su propia licencia, la Databricks Open Model License, y los ha puesto a disposición a través de Hugging Face. La licencia permite utilizar, modificar y distribuir el modelo, también con fines comerciales, aunque no es una licencia de software libre estándar como Apache 2.0. Conviene que las compañías revisen sus condiciones antes de incorporarlo a un producto.

El lanzamiento encaja con el negocio de Databricks, centrado en plataformas de datos y aprendizaje automático para empresas. Un modelo abierto puede ejecutarse en la infraestructura del cliente, ajustarse con información interna y conectarse a sus sistemas analíticos. Pero ejecutar un modelo de este tamaño sigue exigiendo una infraestructura considerable, incluso si la mezcla de expertos reduce el cálculo frente a un modelo denso equivalente.

DBRX no elimina la ventaja de los grandes modelos cerrados, que suelen ofrecer productos más pulidos, herramientas integradas y una operación gestionada. Sí estrecha la distancia. Para organizaciones que necesitan mayor control sobre sus datos o quieren evitar depender por completo de una única API, el nuevo modelo amplía las opciones disponibles.