Mistral AI lanza Mistral 7B, un modelo abierto que reta a los grandes

Mistral AI, la startup francesa fundada hace apenas unos meses por antiguos investigadores de Meta y DeepMind, publicó el 27 de septiembre de 2023 Mistral 7B, un modelo de lenguaje de 7.000 millones de parámetros que, según ha anunciado la compañía, supera a Llama 2 13B en todos los benchmarks evaluados pese a tener casi la mitad de tamaño. Fuente del anuncio.

La cifra importa porque invierte la lógica habitual del sector: hasta ahora, más parámetros solía significar más capacidad. Mistral 7B contradice esa correlación directa y, en algunas pruebas, incluso se acerca al rendimiento de Llama 34B, un modelo cinco veces mayor.

Quién está detrás

Mistral AI fue fundada este mismo año en París por Arthur Mensch, exinvestigador de Google DeepMind, junto a Guillaume Lample y Timothée Lacroix, ambos procedentes de Meta AI. La compañía captó notoriedad en junio con una gran ronda semilla cerrada antes de tener un producto público. Mistral 7B es su primera entrega tangible desde entonces.

Cómo lo han lanzado

A diferencia de los grandes anuncios corporativos que suelen acompañar los lanzamientos de modelos, Mistral AI ha optado por una vía minimalista: compartir un enlace de descarga directa (un torrent) en su cuenta de la red social X, sin nota de prensa extensa ni presentación previa. Es un gesto deliberado que remite a la cultura de código abierto de los laboratorios de investigación, y que contrasta con el hermetismo de OpenAI o el despliegue controlado de Google con Bard.

El modelo se distribuye bajo licencia Apache 2.0, una de las licencias abiertas más permisivas que existen: permite uso comercial sin restricciones y sin necesidad de compartir modificaciones. Esto lo diferencia de Llama 2, cuya licencia de Meta impone condiciones de uso comercial más estrictas para determinadas escalas de negocio.

Por qué rinde tan bien siendo pequeño

Según ha detallado la compañía, Mistral 7B incorpora dos técnicas de eficiencia poco habituales combinadas en un modelo de este tamaño: grouped-query attention (GQA), que acelera la inferencia agrupando las consultas de atención del modelo para reducir el coste computacional, y sliding window attention (SWA), un mecanismo que permite procesar secuencias de texto más largas sin disparar el uso de memoria, al limitar la ventana de contexto que cada token debe considerar directamente.

El resultado práctico es un modelo que se puede ejecutar con muchos menos recursos que sus competidores de mayor tamaño, algo relevante para empresas y desarrolladores que no disponen de la infraestructura de un gigante tecnológico.

Qué significa para el sector

El lanzamiento llega en un momento en que el debate sobre modelos abiertos frente a cerrados se ha intensificado. Meta abrió la puerta con Llama y Llama 2, pero Mistral AI va un paso más allá en las condiciones de licencia y demuestra que un equipo pequeño y una startup de apenas meses de vida pueden competir en rendimiento con laboratorios mucho mejor financiados.

Para desarrolladores y empresas, la promesa es doble: un modelo más barato de operar y con menos restricciones legales para su uso comercial. Para el ecosistema europeo de inteligencia artificial, escaso de actores con visibilidad global, Mistral AI se convierte de la noche a la mañana en una referencia a seguir de cerca.

Los parámetros no son una unidad de inteligencia

Decir que un modelo de 7.000 millones supera a otro de 13.000 millones no demuestra que sea mejor para cualquier trabajo. El número de parámetros describe parte de la arquitectura, mientras el resultado depende de datos, entrenamiento, tokenizador, precisión numérica, prompt y prueba elegida. Un modelo pequeño puede ganar una media y perder justo la tarea que importa a un equipo. Fuente del dato.

En el anuncio técnico de Mistral 7B, la empresa publica una tabla de comparaciones, explica grouped-query attention y sliding-window attention y enlaza pesos bajo Apache 2.0. Esa combinación permite hacer preguntas concretas: qué versión se evaluó, contra qué variantes, con qué métricas y si el modelo base o el ajustado para instrucciones produjo el resultado. “Abierto” también debe descomponerse en pesos, código, licencia y documentación.

Grouped-query attention reduce el número de grupos de claves y valores que deben mantenerse durante la inferencia; puede ahorrar memoria y acelerar la generación. Sliding-window attention limita el alcance directo de atención de cada token y propaga información por capas. Son decisiones de eficiencia, no garantías de exactitud. Su valor real aparece al medir latencia, memoria y calidad en el hardware que se va a usar.

Una comparación reproducible cabe en una ficha

La ficha mínima guarda el identificador exacto del modelo, hash o revisión, licencia, formato de pesos, cuantización, plantilla de chat, temperatura, semilla, conjunto de preguntas y criterio de puntuación. También separa calidad de coste: tokens por segundo, memoria máxima y energía o precio de la máquina. Sin esa información, “funciona en local” puede significar experiencias completamente distintas.

Los benchmarks públicos sirven como mapa inicial, pero pueden contaminarse si ejemplos similares entraron en los datos de entrenamiento. Para decidir un uso conviene añadir un conjunto privado de tareas representativas y revisar errores, no solo promedios. En clasificación se observa cada clase; en generación se busca omisión, invención y formato; en código se ejecutan pruebas.

La licencia Apache 2.0 permite usos amplios, incluido el comercial, pero una licencia de pesos no resuelve el origen de cada dato de entrenamiento ni la adecuación a un sector regulado. La evaluación técnica y la revisión jurídica responden preguntas diferentes.

La capacidad transferible es leer un lanzamiento de modelo como un artefacto verificable, no como una clasificación deportiva. Compara la misma versión, tarea, configuración y hardware; conserva resultados fallidos y calcula el coste. Entonces el tamaño deja de ser un sustituto de la capacidad y se convierte en una variable más.

Del benchmark al caso de uso

Un equipo que quiera resumir contratos no debería empezar por una clasificación general. Construye una muestra con cláusulas reales autorizadas, oculta las respuestas y define errores graves: omitir una obligación, confundir partes o inventar un plazo. Ejecuta el modelo base y el ajustado con la misma plantilla. El promedio importa menos que la frecuencia del error que puede causar daño.

Para asistencia en español se mide español. Un buen resultado agregado en pruebas inglesas no garantiza terminología, negación o variantes regionales. Se añaden textos largos, tablas y formatos degradados, porque el entorno real rara vez se parece a un enunciado limpio de benchmark. Después se revisa si cuantizar el modelo para ahorrar memoria cambia precisamente esos casos difíciles.

El despliegue local tampoco elimina riesgos. Hay que verificar dependencias, actualizaciones, acceso al servidor, copias de seguridad y registros. Conservar los pesos dentro de una red puede mejorar control del dato, pero un endpoint mal configurado sigue exponiéndolo. “Local” describe ubicación; no certifica seguridad.

Una comparación honesta publica también los no resultados: tareas donde el modelo no cabe, idiomas que empeoran y salidas que requieren revisión. Esa tabla de límites orienta mejor una compra que una media de benchmarks. Permite además repetir la prueba cuando llegue otra versión sin cambiar el criterio para favorecerla.

Para registrar la decisión, se conserva una matriz de errores con ejemplos anonimizados. Cada fila identifica tarea, salida, gravedad, causa probable y corrección humana necesaria. Si otra versión mejora la puntuación pero aumenta errores graves, la matriz evita declararla ganadora por una media. El objetivo no es demostrar que un modelo es bueno, sino saber para qué puede usarse, con qué supervisión y a qué coste. La fecha y la revisión exacta completan el registro y permiten repetirlo después. Los cambios quedan visibles, no atribuidos a memoria.