Los grandes modelos chocan con rendimientos decrecientes al escalar
Varios informes apuntan a que los laboratorios encuentran mejoras menores al ampliar el preentrenamiento de sus modelos. El foco se desplaza hacia el razonamiento, los datos y el cómputo durante la respuesta.
Los laboratorios que lideran la inteligencia artificial generativa están encontrando mejoras menos espectaculares al ampliar sus modelos con más datos y más capacidad de cálculo. Los informes publicados estos días no certifican el final de las llamadas leyes de escala, pero sí cuestionan la idea de que basta con entrenar un modelo mayor para obtener un salto comparable al de generaciones anteriores.
La discusión importa porque esa receta ha guiado la carrera de la IA desde la aparición de GPT-3 en 2020: más chips, más texto y más parámetros —las variables internas que aprende un modelo— producían resultados más capaces. Si el rendimiento de esa inversión se reduce, cambiarán tanto las prioridades técnicas como la economía del sector.
Qué son las leyes de escala
Las leyes de escala describen una regularidad observada durante el entrenamiento: al aumentar el tamaño del modelo, el volumen de datos y el cálculo empleado, el error de predicción tiende a bajar de una forma relativamente previsible. El trabajo de OpenAI publicado en 2020 ayudó a convertir esa observación en una hoja de ruta industrial.
No significaba que un modelo pudiera aprender cualquier cosa por el mero hecho de crecer. Medía, sobre todo, su capacidad para predecir la siguiente palabra o fragmento de información. Pero esa mejora estadística se tradujo en habilidades prácticas: redactar, programar, resumir, traducir o seguir instrucciones con mucha más solvencia.
En 2022, investigadores de DeepMind ajustaron esa fórmula con Chinchilla. Su conclusión fue que muchos modelos estaban sobredimensionados para la cantidad de datos con que se entrenaban: no bastaba con añadir parámetros; había que aumentar también el material de entrenamiento. La industria respondió con modelos más grandes y con conjuntos de datos aún más extensos.
El problema no es sólo construir modelos mayores
El límite más evidente es que el texto público de internet no crece al ritmo de la inversión en centros de datos. Los laboratorios ya recurren a código, libros, datos licenciados, contenidos multilingües y datos sintéticos, es decir, información generada por otros modelos. Cada alternativa plantea problemas propios de calidad, derechos de autor o riesgo de repetir errores presentes en los datos originales.
También crece la factura. Entrenar un modelo de frontera exige enormes agrupaciones de procesadores especializados, electricidad, redes y meses de trabajo de ingeniería. Meta presentó en julio Llama 3.1 405B, un modelo abierto de aproximadamente 405.000 millones de parámetros. La cifra ilustra la escala alcanzada, aunque el número de parámetros por sí solo ya no permite comparar con precisión dos sistemas.
Los indicios de rendimientos decrecientes no equivalen a que los modelos hayan dejado de mejorar. Una reducción pequeña del error de entrenamiento puede seguir siendo útil, y las evaluaciones de capacidades no siempre avanzan al mismo ritmo que esa métrica. Además, las compañías no publican todos sus experimentos ni sus datos internos, por lo que desde fuera es difícil separar una limitación técnica real de una decisión de producto o de costes.
Más cálculo cuando el modelo responde
La alternativa que gana atención es dedicar más computación a la inferencia: el momento en que el sistema responde a una consulta. En vez de producir la primera respuesta plausible, el modelo puede generar varios pasos intermedios, comprobarlos y dedicar más tiempo a problemas difíciles.
OpenAI presentó en septiembre su serie o1 precisamente con ese enfoque. La compañía sostuvo que el modelo mejoraba en tareas de ciencia, programación y matemáticas al emplear más tiempo de razonamiento antes de contestar. Es una vía distinta del preentrenamiento: no consiste necesariamente en hacer el modelo base mucho mayor, sino en usarlo de forma más deliberada.
El coste es claro. Una respuesta que requiere más cálculo tarda más y resulta más cara de servir. Para un asistente que responde millones de consultas diarias, esa diferencia afecta directamente al precio y a la infraestructura necesaria.
Datos, arquitecturas y productos
El próximo avance probablemente no dependerá de una única palanca. Los laboratorios están trabajando en datos de mayor calidad, herramientas que permitan a los modelos buscar información o ejecutar código, sistemas que verifican sus propias respuestas y arquitecturas más eficientes. También importa convertir una capacidad de laboratorio en un producto fiable: un modelo puede resolver un problema complejo en una prueba y fallar después ante una instrucción ambigua.
La cuestión para empresas y usuarios no es si desaparecerán los modelos grandes, sino qué tipo de mejora recibirán y a qué coste. Si el preentrenamiento ofrece saltos menores, la ventaja competitiva puede desplazarse hacia quien tenga mejores datos, mejores sistemas de razonamiento y capacidad para operar esos modelos sin encarecer cada consulta de forma prohibitiva.
