Meta lanza Llama 4 y aviva la disputa por los benchmarks

Meta ha publicado Llama 4 Scout y Llama 4 Maverick, dos nuevos modelos de lenguaje que también procesan imágenes de forma nativa. La compañía los presenta como el salto más importante de la familia Llama hasta la fecha: incorporan una arquitectura más eficiente y, en el caso de Scout, una ventana de contexto de hasta 10 millones de tokens.

El anuncio llega acompañado de una discusión incómoda para el sector. La espectacular puntuación de Maverick en LMArena corresponde a una versión experimental orientada a conversación, no al modelo que los desarrolladores pueden descargar hoy. La diferencia no invalida por sí misma el resultado, pero dificulta comparar ese puesto en la clasificación con un producto reproducible.

Dos modelos de expertos, no dos modelos pequeños

Scout y Maverick usan una arquitectura denominada mixture of experts o mezcla de expertos. En lugar de activar toda la red neuronal para cada fragmento de texto, el sistema deriva cada tarea a una parte del modelo. Así puede almacenar cientos de miles de millones de parámetros, pero utilizar una fracción de ellos en cada respuesta.

Llama 4 Scout tiene 109.000 millones de parámetros totales, de los que activa 17.000 millones, repartidos entre 16 expertos. Meta afirma que puede ejecutarse en una sola GPU Nvidia H100 con cuantización a 4 bits, una técnica que reduce el espacio de memoria necesario a cambio de cierta precisión numérica.

Maverick mantiene 17.000 millones de parámetros activos, pero suma 400.000 millones en total y 128 expertos. Requiere un servidor H100 DGX para funcionar en una sola máquina. Es un modelo de mayor capacidad pensado para asistentes, comprensión de imágenes y tareas generales de empresa.

Ambos son multimodales desde su entrenamiento inicial: texto e imágenes se introducen en la misma red, en vez de conectar por separado un modelo visual y otro de lenguaje. Meta también dice haberlos entrenado con más de 30 billones de tokens y datos en 200 idiomas. Esa escala importa especialmente fuera del inglés, aunque las pruebas independientes tendrán que determinar hasta qué punto la mejora se traslada al español y a otras lenguas menos presentes en los datos de entrenamiento.

Diez millones de tokens: una promesa útil, con límites prácticos

La característica más llamativa de Scout es su contexto de 10 millones de tokens, una capacidad que Meta califica de líder del sector. Un token es una unidad de texto: en español, un millón de tokens equivale aproximadamente a varios cientos de miles de palabras.

Sobre el papel, ese límite permitiría analizar repositorios de código, colecciones extensas de contratos o grandes archivos documentales sin dividirlos en fragmentos. Pero admitir esa cantidad de información no implica que todas las aplicaciones puedan usarla de manera barata o rápida. La memoria, el coste de inferencia —el proceso de generar respuestas— y la capacidad del modelo para encontrar un dato relevante dentro de un documento enorme siguen siendo restricciones reales.

El puesto en LMArena no corresponde al modelo publicado

Meta anunció que una versión experimental de Llama 4 Maverick alcanzó 1.417 puntos Elo en LMArena. Esta plataforma enfrenta respuestas de modelos de forma anónima y pide a usuarios humanos que elijan cuál prefieren; después ordena los sistemas con una puntuación inspirada en el ajedrez.

La cifra situó a Maverick entre los asistentes de mayor puntuación del momento y por encima de modelos cerrados como GPT-4o y Gemini 2.0 Flash en esa clasificación. Sin embargo, la propia documentación de Meta aclara que el modelo evaluado era una versión experimental de chat optimizada para ese entorno y distinta del checkpoint abierto que acompaña al lanzamiento.

El matiz es relevante. Un benchmark sirve para orientar decisiones si el sistema medido es el que un usuario puede probar, desplegar o auditar. Cuando una empresa presenta la puntuación de una variante no disponible, el marcador mide una capacidad real, pero no necesariamente la experiencia que obtendrá quien descargue el modelo. LMArena tampoco es una prueba completa: favorece respuestas que gustan en una conversación breve y no sustituye evaluaciones de programación, fiabilidad factual, seguridad o rendimiento con documentos largos.

Behemoth queda como adelanto

Meta ha mostrado además Llama 4 Behemoth, un modelo todavía en entrenamiento con 288.000 millones de parámetros activos y cerca de dos billones totales. La empresa sostiene que supera a GPT-4.5, Claude 3.7 Sonnet y Gemini 2.0 Pro en pruebas científicas y matemáticas como MATH-500 y GPQA Diamond, pero no lo ha liberado.

Scout y Maverick sí están disponibles en llama.com y Hugging Face bajo la licencia comunitaria de Llama. Son pesos abiertos: se pueden descargar y ejecutar, aunque no equivalen a software de código abierto sin restricciones, ya que la licencia de Meta impone condiciones de uso y exige una licencia comercial específica a organizaciones con más de 700 millones de usuarios activos mensuales.

Meta también ha empezado a integrar Llama 4 en Meta AI, accesible en WhatsApp, Messenger, Instagram Direct y la web en los mercados donde ese servicio está disponible. El siguiente examen no será un gráfico de puntuaciones: será comprobar si los modelos descargables mantienen sus promesas en productos reales, con costes asumibles y resultados verificables.