Mistral lanza Mixtral 8x7B, IA abierta que iguala a GPT-3.5

Mistral AI ha publicado hoy Mixtral 8x7B, un modelo de lenguaje abierto que, según los primeros resultados difundidos por la propia compañía, iguala o supera a GPT-3.5 de OpenAI y a Llama 2 70B de Meta en buena parte de las pruebas estándar del sector. La startup francesa, fundada hace apenas siete meses por antiguos investigadores de Meta y Google DeepMind, ha coincidido el anuncio con el cierre de una ronda de financiación de unos 385 millones de euros.

Qué es una mezcla de expertos

Mixtral 8x7B no es un modelo monolítico, sino lo que se conoce como "mixture of experts" (mezcla de expertos, MoE). En lugar de activar toda la red neuronal para procesar cada palabra, el sistema reparte el trabajo entre ocho subredes especializadas de 7.000 millones de parámetros cada una y selecciona, para cada token, solo dos de esas ocho a través de un mecanismo de enrutamiento ("router"). El resultado es un modelo con capacidad total de decenas de miles de millones de parámetros, pero que en la práctica solo utiliza una fracción de esa capacidad en cada cálculo, lo que reduce drásticamente el coste computacional frente a un modelo denso de tamaño equivalente.

Esta arquitectura no es una invención de Mistral: Google la ha explorado en investigación durante años, y se especula desde hace meses que modelos como GPT-4 podrían usar variantes de mezcla de expertos internamente, aunque OpenAI nunca lo ha confirmado. Lo que distingue a Mixtral es que Mistral ha decidido publicarlo en abierto, con pesos descargables, algo que ni OpenAI ni Google hacen con sus modelos de referencia.

Una startup que apuesta por lo abierto

Mistral AI se fundó en mayo de este mismo año en París, de la mano de Arthur Mensch, Guillaume Lample y Timothée Lacroix, tres investigadores con paso por Google DeepMind y Meta. Desde su primer lanzamiento, el modelo Mistral 7B publicado en septiembre, la compañía ha defendido una estrategia de pesos abiertos que la distingue de los grandes laboratorios estadounidenses: mientras OpenAI, Anthropic y Google mantienen sus modelos más potentes cerrados y accesibles solo vía API, Mistral libera los suyos para que cualquiera pueda descargarlos, modificarlos y ejecutarlos en su propia infraestructura.

Esa apuesta ha convertido a la startup francesa en la referencia europea del debate sobre IA abierta frente a IA cerrada, justo cuando la Unión Europea negocia los últimos flecos de su ley de inteligencia artificial y los modelos de propósito general se han convertido en uno de los puntos más discutidos de la norma.

Una ronda a la altura de las expectativas

Junto al lanzamiento del modelo, Mistral ha confirmado el cierre de una ronda de financiación de unos 385 millones de euros, una cifra notable para una empresa con apenas siete meses de vida y que en junio ya había levantado 105 millones de euros en una ronda semilla liderada por Lightspeed Venture Partners, entonces la mayor ronda semilla registrada en Europa. El nuevo capital sitúa a Mistral entre las startups europeas de IA mejor financiadas y refuerza su intención declarada de competir directamente con OpenAI, Anthropic y Google en el desarrollo de modelos fundacionales, pero desde un modelo de negocio que combina la publicación abierta de modelos con servicios comerciales de pago para empresas.

Por qué importa

Hasta ahora, quien quería un modelo abierto con prestaciones cercanas a GPT-3.5 tenía que recurrir a Llama 2 70B de Meta, que exige mucha más memoria y potencia de cálculo para ejecutarse. Si las cifras que aporta Mistral se confirman de forma independiente, Mixtral 8x7B ofrecería un rendimiento similar o superior con un coste de inferencia notablemente menor, gracias a que solo activa una parte de sus parámetros en cada paso. Eso abarata la ejecución para desarrolladores y empresas que quieran instalar el modelo en sus propios servidores en lugar de depender de una API externa.

El lanzamiento también marca un hito simbólico: es la primera vez que un modelo abierto de una startup europea se sitúa, según sus propios datos, en el mismo nivel que el producto insignia de OpenAI que popularizó ChatGPT. Queda por ver cómo evalúa la comunidad independiente estas comparativas y qué limitaciones prácticas surgen cuando desarrolladores externos empiecen a desplegar el modelo fuera del laboratorio de Mistral.