Meta lanza Llama 4 con 10 millones de tokens y polémica

Meta ha presentado Llama 4 Scout y Llama 4 Maverick, sus primeros modelos nativamente multimodales y construidos con una arquitectura de mezcla de expertos (MoE). Scout destaca por una ventana de contexto de hasta 10 millones de tokens; Maverick busca competir con los modelos comerciales más avanzados con un coste de inferencia menor.

El lanzamiento también abre una disputa sobre la comparabilidad de los benchmarks. La puntuación de Maverick en LMArena correspondía a una versión experimental de chat, y no está claro que represente exactamente el comportamiento de los pesos que Meta distribuye públicamente.

Dos modelos con muchos parámetros, pero pocos activos en cada respuesta

Llama 4 Scout tiene 17.000 millones de parámetros activos y 16 expertos, aunque suma unos 109.000 millones de parámetros totales. Meta afirma que puede ejecutarse en una sola GPU NVIDIA H100 con cuantización Int4, una técnica que reduce el tamaño del modelo usando representaciones numéricas más compactas.

Su principal reclamo es una ventana de contexto de 10 millones de tokens. El contexto es la cantidad de información que un modelo puede tener en cuenta durante una interacción. En términos prácticos, esta capacidad permitiría analizar grandes colecciones de documentos, repositorios de código o historiales de conversación sin dividirlos en tantos fragmentos.

Llama 4 Maverick mantiene 17.000 millones de parámetros activos, pero alcanza unos 400.000 millones en total y utiliza 128 expertos. Cada token —una unidad de texto procesada por el modelo— activa solo una parte de esos parámetros. El objetivo es conservar una capacidad cercana a la de un modelo mucho mayor sin pagar el coste completo en cada consulta.

Meta sostiene que Maverick supera a GPT-4o y Gemini 2.0 Flash en varios benchmarks de texto e imagen, y que ofrece resultados comparables a DeepSeek V3 en razonamiento y programación con menos de la mitad de parámetros activos. La compañía también lo presenta como una opción para asistentes generales, comprensión de imágenes y escritura creativa.

La puntuación de LMArena introduce una cautela importante

En la clasificación pública LMArena, donde los usuarios comparan respuestas de modelos sin conocer inicialmente qué sistema las ha generado, una versión experimental de chat de Llama 4 Maverick obtuvo una puntuación Elo de 1417. Meta utilizó esa cifra para destacar su relación entre rendimiento y coste.

El problema es que esa versión de chat no era necesariamente idéntica al modelo instruct descargable. La propia presentación de Meta la identifica como experimental, y la controversia ha puesto el foco en una práctica cada vez más relevante: ajustar una variante específicamente para una prueba concreta puede mejorar su posición en ese ranking sin traducirse en una ventaja equivalente en el uso general.

Eso no invalida LMArena ni demuestra por sí solo que los resultados publicados sean falsos. Sí limita lo que puede concluirse a partir de una única puntuación. En modelos con diferentes instrucciones de sistema, niveles de razonamiento y configuraciones de respuesta, comparar nombres comerciales como si fueran productos completamente fijos resulta cada vez menos fiable.

Multimodalidad desde el entrenamiento

A diferencia de generaciones anteriores que añadían capacidades visuales a un modelo principalmente textual, Llama 4 incorpora texto e imagen en un mismo tronco mediante una técnica denominada early fusion. Meta también ha ampliado el entrenamiento a 200 idiomas, con más de 30 billones de tokens y datos de texto, imagen y vídeo.

La compañía afirma haber utilizado más del doble de datos de preentrenamiento que en Llama 3 y precisión FP8 para entrenar con mayor eficiencia. En el caso de Scout, el entrenamiento específico para contexto largo es el que permite alcanzar los 10 millones de tokens anunciados.

Los dos modelos se pueden descargar desde llama.com y Hugging Face. También llegan a Meta AI en WhatsApp, Messenger, Instagram Direct y la web de Meta. Como en anteriores versiones, se trata de modelos con pesos disponibles bajo la licencia de Llama, no de software de código abierto sin restricciones: sus condiciones de uso siguen siendo las que fija Meta.

Behemoth todavía no está disponible

Meta ha adelantado además Llama 4 Behemoth, un modelo profesor destinado a transferir capacidades a Scout y Maverick. Behemoth suma alrededor de 2 billones de parámetros totales, con 288.000 millones activos y 16 expertos. La compañía afirma que supera a GPT-4.5, Claude Sonnet 3.7 y Gemini 2.0 Pro en varios benchmarks centrados en ciencia, tecnología, ingeniería y matemáticas.

Behemoth continúa en entrenamiento y no forma parte de la descarga pública. Su anuncio sirve para mostrar la escala de la familia Llama 4, pero también deja una diferencia entre lo que Meta puede demostrar hoy y lo que todavía está presentando como promesa.

Para desarrolladores, Scout puede resultar especialmente atractivo cuando el contexto largo importa y el presupuesto de hardware es limitado. Maverick ofrece más capacidad general, aunque su tamaño total seguirá condicionando el despliegue. La siguiente prueba será comprobar si ambos modelos mantienen sus resultados fuera de los benchmarks seleccionados y de las variantes experimentales utilizadas en rankings públicos. Meta ha anunciado que dará más detalles sobre Llama 4 en LlamaCon, previsto para el 29 de abril.