Meta presenta LLaMA, modelos de lenguaje eficientes para investigar

Meta ha presentado hoy LLaMA, una familia de modelos de lenguaje creada para investigadores que abarca desde 7.000 hasta 65.000 millones de parámetros. La novedad no está solo en su tamaño: Meta sostiene que ha logrado resultados competitivos frente a modelos mucho mayores gracias a un entrenamiento con más datos y una arquitectura afinada.

LLaMA llega en un momento en que los grandes modelos de lenguaje se han convertido en una infraestructura reservada a unas pocas compañías. Sistemas como GPT-3, de OpenAI, o PaLM, de Google, requieren enormes recursos de cálculo y sus pesos —los valores numéricos aprendidos durante el entrenamiento— no se distribuyen libremente. Meta quiere que parte de esa investigación pueda hacerse con modelos más manejables.

Cuatro tamaños, una misma apuesta

La familia incluye versiones de 7.000, 13.000, 33.000 y 65.000 millones de parámetros. Los parámetros son los valores internos que un modelo ajusta al aprender patrones del lenguaje; no equivalen directamente a inteligencia, pero han sido durante años la medida más visible de la escala de estos sistemas.

La tesis de Meta es que esa medida no basta. El modelo de 7.000 millones de parámetros fue entrenado con un billón de tokens, las unidades de texto que procesa el sistema, mientras que los modelos restantes utilizaron 1,4 billones. Es una cantidad notablemente superior a la empleada en muchos modelos previos de tamaño parecido.

De acuerdo con el paper técnico de Meta, LLaMA de 13.000 millones de parámetros supera a GPT-3, de 175.000 millones, en la mayoría de las pruebas comparadas por los autores. La versión de 65.000 millones obtiene resultados competitivos con Chinchilla, de DeepMind, que tiene 70.000 millones de parámetros, y con PaLM, de Google, que alcanza los 540.000 millones.

Estas comparaciones no convierten automáticamente a LLaMA en un sustituto de esos productos. Los resultados dependen de las pruebas elegidas y un modelo de lenguaje puede rendir bien en exámenes estandarizados sin ser fiable en conversaciones reales ni en tareas profesionales. Pero sí cuestionan una idea muy extendida: que aumentar sin parar el número de parámetros sea la vía principal para mejorar.

Más texto antes que más tamaño

El trabajo se apoya en una conclusión que ya había empezado a cambiar la carrera por los modelos gigantes: un sistema puede quedarse corto si crece en parámetros sin recibir suficientes datos para entrenarse. En lugar de concentrar todos los recursos en ampliar el modelo, LLaMA busca una relación más equilibrada entre su tamaño y el volumen de texto leído.

Sus datos proceden principalmente de Common Crawl, una recopilación masiva de páginas web. También incorpora conjuntos de texto depurado como C4, código de GitHub, Wikipedia, libros, artículos científicos de arXiv y conversaciones de Stack Exchange. Meta afirma haber eliminado duplicados y filtrado parte del contenido de baja calidad, una fase decisiva porque los modelos reproducen tanto los conocimientos como los sesgos y errores presentes en sus datos.

La eficiencia tiene una consecuencia práctica importante. Entrenar un modelo de 65.000 millones de parámetros sigue estando fuera del alcance de la mayoría de universidades y empresas, pero estudiar, ajustar y ejecutar versiones de 7.000 o 13.000 millones puede resultar mucho más accesible que trabajar con modelos de cientos de miles de millones de parámetros.

Acceso para investigadores, no una apertura total

Meta pondrá LLaMA a disposición de investigadores mediante solicitud y bajo una licencia no comercial. La compañía distribuye el código de inferencia —la fase en la que el modelo genera una respuesta— y prevé facilitar los pesos a instituciones y personas con una justificación de investigación.

No es, por tanto, un lanzamiento abierto sin condiciones ni un producto de consumo comparable a ChatGPT. La restricción responde a una preocupación conocida: modelos capaces de generar texto convincente también pueden utilizarse para crear desinformación, suplantaciones o contenido automatizado a gran escala.

Aun así, la publicación tiene potencial para alterar el reparto de fuerzas en la investigación. Si los resultados se confirman fuera de Meta, laboratorios con menos presupuesto podrán experimentar con modelos potentes sin depender por completo de las interfaces y decisiones de las grandes plataformas. La siguiente prueba será comprobar hasta qué punto LLaMA mantiene su rendimiento cuando se adapte a idiomas, dominios especializados y usos concretos que no figuran en las evaluaciones del paper.