LLaMA demuestra que contar parámetros no basta para medir un modelo

Meta presentó LLaMA el 24 de febrero de 2023 como una familia de modelos de lenguaje para investigación con tamaños de 7.000, 13.000, 33.000 y 65.000 millones de parámetros. La afirmación llamativa era que algunas versiones podían competir en determinadas pruebas con modelos mucho mayores. La lección duradera no es que lo pequeño siempre gane, sino que el número de parámetros solo describe una dimensión. Para comparar modelos hacen falta, como mínimo, datos de entrenamiento, cómputo, configuración de evaluación, coste de uso y condiciones de acceso.

Qué anunció Meta y qué no

El anuncio original de Meta presentaba LLaMA como una familia de modelos fundacionales destinada a ayudar a investigadores. La compañía argumentaba que versiones más pequeñas y eficaces permitirían estudiar enfoques, validar trabajos y explorar usos con menos infraestructura. El modelo de 13.000 millones superaba a GPT-3 de 175.000 millones en la mayoría de las pruebas comparadas por sus autores, mientras el de 65.000 millones resultaba competitivo con Chinchilla y PaLM.

«Supera» necesita conservar su complemento: en qué prueba, con qué instrucciones y bajo qué métrica. No significa que LLaMA sustituyera a todos esos sistemas, que estuviera ajustado para conversar o que fuera mejor en cada idioma y tarea. La comparación agrupaba bancos concretos de pregunta-respuesta, razonamiento, matemáticas o código. Una frase que borra el conjunto de evaluación convierte un resultado reproducible en una jerarquía universal inexistente.

Parámetros son capacidad de representación, no una nota

Los parámetros son valores ajustados durante el entrenamiento. Influyen en memoria, cálculo y capacidad para representar patrones, pero dos modelos con el mismo número pueden diferir por arquitectura, datos, duración, objetivo de aprendizaje y ajuste posterior. Contarlos es parecido a comparar dos bibliotecas por metros de estantería: aporta una restricción física, pero no dice qué libros contienen, cómo están catalogados ni si responden la pregunta del lector.

Un modelo grande que ha visto pocos datos para su escala puede quedar insuficientemente entrenado. Uno menor que procesa más ejemplos puede extraer más rendimiento de cada parámetro. Tampoco existe una única eficiencia: ahorrar cómputo en entrenamiento, memoria al servir, tiempo por respuesta y energía total son objetivos distintos. Una decisión puede mejorar uno y empeorar otro.

Chinchilla cambió la asignación del presupuesto

El trabajo de DeepMind Training Compute-Optimal Large Language Models estudió más de 400 modelos y concluyó que, para su configuración y un presupuesto fijo de cómputo, tamaño y cantidad de tokens debían crecer de forma aproximadamente pareja. Chinchilla usó el mismo cómputo de entrenamiento que Gopher, pero tenía 70.000 millones de parámetros frente a 280.000 millones y se entrenó con cuatro veces más datos.

El resultado mostraba una frontera, no una ley eterna para toda arquitectura. Bajo ese experimento, repartir el presupuesto entre más datos y un modelo menor mejoró el desempeño y redujo memoria y cómputo en inferencia. LLaMA extendía la intuición hacia modelos pensados para que otros investigadores pudieran ejecutar pruebas. El titular correcto es «la asignación importa», no «los parámetros dejaron de importar».

PaLM demuestra que la escala también puede aportar

El artículo de Google PaLM describía un modelo denso de 540.000 millones de parámetros entrenado sobre 6.144 chips TPU v4 y reportaba mejoras en numerosos bancos de lenguaje, razonamiento y código. En algunas tareas, el salto de escala venía acompañado de mejoras pronunciadas. Esa evidencia no contradice Chinchilla: responde a otra pregunta sobre capacidades al ampliar recursos y utiliza una receta distinta.

Por eso una comparación honesta conserva el presupuesto. Si dos modelos usan distinto cómputo, datos y ajuste, atribuir toda la diferencia al tamaño es imposible. Si usan el mismo presupuesto, puede estudiarse cómo conviene repartirlo. Si el objetivo es servir millones de consultas, el coste de inferencia puede justificar gastar más una vez en entrenamiento para obtener un modelo menor. «Óptimo» siempre necesita una función objetivo.

El libro mayor de la eficiencia

Una ficha útil contiene seis columnas. Parámetros: cuánta memoria aproximada exigen los pesos bajo una precisión dada. Tokens y procedencia: cuánto material se procesó, qué dominios e idiomas cubría y cómo se filtró. Cómputo de entrenamiento: operaciones, hardware, tiempo y energía cuando están disponibles. Evaluación: tarea, instrucciones, ejemplos, métrica y variación. Inferencia: latencia, memoria y coste por unidad. Acceso: pesos, código, licencia, restricciones y posibilidad real de reproducción.

Si una columna falta, no debe rellenarse con suposiciones. Un modelo puede anunciar datos «públicamente disponibles» sin que eso permita reconstruir exactamente el corpus. Puede publicar un promedio sin desglose por idioma. Puede ofrecer pesos a investigadores seleccionados sin ser una descarga irrestricta. La ausencia no invalida el trabajo; limita las conclusiones que un tercero puede comprobar.

El trabajo técnico de LLaMA permite ver por qué el desglose importa. Sus comparaciones cambian según el banco: el modelo de 65.000 millones queda por detrás de Chinchilla y PaLM en el promedio MMLU, aunque resulta competitivo o superior en otras pruebas. Los autores señalan diferencias en la mezcla de libros y artículos académicos como una explicación posible. Una sola frase de victoria habría ocultado precisamente el hallazgo útil: las ventajas dependen del dominio y de la composición del entrenamiento.

Más datos tampoco significa automáticamente mejores datos

Un token adicional puede repetir contenido, contener errores o pertenecer a un dominio irrelevante. Filtrado, deduplicación y mezcla determinan qué aprende el modelo. Una colección enorme de páginas en inglés no garantiza competencia equivalente en español; mucho código no garantiza seguridad al programar. La cantidad debe ir acompañada de composición y pruebas por subgrupo.

También existe un límite jurídico y social. Accesible en la web no significa libre de derechos, ausencia de datos personales ni consentimiento para cualquier uso. La evaluación técnica de eficiencia debe convivir con un registro de procedencia, licencias, exclusiones y mecanismos de retirada. Un entrenamiento barato que traslada costes a autores o personas representadas no es eficiente desde la perspectiva completa.

Un modelo fundacional no es todavía un asistente

LLaMA se anunció como modelo de investigación, no como producto conversacional equivalente a ChatGPT. El preentrenamiento enseña a continuar texto; seguir órdenes, rechazar solicitudes peligrosas, citar fuentes o conversar suele requerir capas adicionales. Comparar un modelo base con un servicio ajustado mezcla unidades. También mezcla infraestructura con experiencia: interfaz, recuperación de documentos, filtros y supervisión cambian el resultado que recibe el usuario.

La prueba local debe parecerse al uso deseado. Si se quiere resumir expedientes en español, importan fidelidad, omisiones, longitud, privacidad y rendimiento en el hardware disponible. Un resultado en preguntas de cultura general puede servir como señal de capacidad, pero no como criterio de compra. La eficiencia relevante es coste por resultado aprobado, no parámetros por titular.

Cómo comparar sin caer en una tabla engañosa

Primero se fija la tarea y un umbral de calidad. Después se eligen modelos accesibles bajo condiciones equivalentes, se documentan instrucciones y se repite. Se miden errores por clase, latencia, memoria, energía o precio, y tiempo humano de revisión. Finalmente se registra licencia y capacidad de mover o reproducir el sistema. Solo entonces tiene sentido hablar de una frontera: qué opciones ofrecen mayor calidad para un presupuesto concreto.

La fecha de la medición también cuenta: hardware, bibliotecas y precios cambian, de modo que una tabla sin versión ni momento no puede sostener una decisión futura.

La capacidad transferible es exigir el libro mayor completo cuando alguien presume de un modelo «más pequeño y mejor»: parámetros, tokens, cómputo de entrenamiento, evaluación, coste de inferencia y acceso. LLaMA hizo visible que la ingeniería del aprendizaje puede vencer comparaciones basadas solo en tamaño. También recordó que una cifra menor no garantiza apertura, seguridad ni utilidad; esas propiedades se demuestran en columnas distintas.