¿Qué es exactamente un «peso» en un modelo de IA?

En 2020, un grupo de investigadores hizo algo que suena a ciencia ficción de vigilancia: le pidieron a un modelo de lenguaje público, GPT-2, que completara unas pocas palabras concretas, y el modelo respondió con el nombre real, el correo electrónico y el número de teléfono de una persona que no tenía nada que ver con la pregunta. No era una alucinación. Era texto que había estado en los datos de entrenamiento, y el modelo lo repitió literalmente. El hallazgo fue real, se publicó y se repitió, y desde entonces circula en dos versiones igual de imprecisas: «la IA guarda todo lo que lee» y «esto es solo autocompletado, no hay nada que temer». Ninguna de las dos se sostiene, y no hay forma de saber cuál se acerca más a la verdad sin entender primero qué es, literalmente, lo que hay dentro de un modelo. Se llama peso, y casi nunca se explica.

Un peso es un número

Un peso es un número. Uno solo. Un modelo de lenguaje no es más que una red de esos números —millones en los modelos pequeños, cientos de miles de millones en los grandes— organizados en capas, donde cada uno multiplica una señal de entrada y contribuye un poco al resultado final. El glosario oficial de aprendizaje automático de Google lo define sin adornos: un parámetro son «los pesos y los sesgos que un modelo aprende durante el entrenamiento». Aprende quiere decir esto: al principio, esos números son básicamente aleatorios, y el modelo no sirve para nada. Durante el entrenamiento, cada vez que se equivoca, un proceso llamado descenso de gradiente empuja cada peso un poquito, en la dirección que habría reducido el error. Repetido miles de millones de veces, sobre miles de millones de ejemplos, ese empujón acumulado es todo lo que separa a un modelo inútil de uno que escribe con soltura. No hay una idea, una intención ni un concepto guardado en ningún sitio: hay números que, en conjunto, producen el efecto de entender.

Pesos, arquitectura e hiperparámetros no son la misma cosa

Aquí está la confusión que más circula, y que explica buena parte del ruido que se lee sobre IA. Hay tres cosas distintas que la gente mezcla bajo la palabra «modelo»:

• Los pesos son lo que el modelo aprende. Cambian durante el entrenamiento, a partir de los datos.
• La arquitectura es la forma del modelo: cuántas capas tiene, cómo están conectadas, qué tipo de operaciones realiza cada una. La decide un ingeniero antes de entrenar nada, y no cambia durante el entrenamiento — determina cuántos pesos existen y cómo se conectan entre sí, no su valor.
• Los hiperparámetros son los ajustes del propio proceso de entrenamiento: qué tan grandes son los empujones del descenso de gradiente, cuántos ejemplos se procesan juntos, durante cuánto tiempo se entrena. También los fija una persona de antemano. El mismo glosario de Google los define como «las variables que tú, o un servicio de ajuste automático, modificáis entre sucesivas rondas de entrenamiento» — fíjate: se ajustan entre rondas, no son lo que el modelo aprende dentro de cada una.

La arquitectura y los hiperparámetros los decide un humano antes de empezar. Los pesos los decide el propio proceso de entrenamiento, a partir de los datos. Confundir estas tres cosas es la raíz de buena parte de las afirmaciones incoherentes que circulan sobre IA — y distinguirlas es la capacidad central de esta pieza.

El mito de la base de datos — y lo que de verdad se sabe

Volvamos al caso de apertura. ¿Significa que un modelo guarda una copia de todo lo que leyó, como un archivo? No, y la razón es física antes que filosófica: GPT-2 tiene 1.500 millones de parámetros y se entrenó con decenas de gigabytes de texto. No hay espacio matemático para almacenar ese texto entero de forma literal dentro de esos números; la inmensa mayoría de lo que un modelo «sabe» es patrón estadístico, no copia guardada.

Pero tampoco es cierto que no guarde nada. Los mismos investigadores extrajeron cientos de secuencias verbatim de los datos de entrenamiento de GPT-2 —nombres, teléfonos, correos, conversaciones de IRC, fragmentos de código, incluso identificadores UUID de 128 bits— y algunas de esas secuencias aparecían en un único documento del conjunto de entrenamiento. Un año después, el mismo equipo fue más lejos y cuantificó el fenómeno: la memorización no es aleatoria ni universal, sigue relaciones predecibles con tres factores — cuanto más grande es el modelo, más memoriza; cuantas más veces se repite un fragmento en los datos de entrenamiento, más probable es que se memorice literalmente; y cuanto más contexto se le da al pedirlo, más fácil es extraerlo.

Esa es la respuesta honesta, ni alarmista ni tranquilizadora: la memorización es real, medible y predecible, y se concentra en fragmentos concretos —textos repetidos muchas veces, cadenas únicas como una firma de correo— no en una capacidad general de recitar cualquier documento de entrenamiento a voluntad. «Guarda todo» y «no guarda nada» son las dos versiones falsas. La versión real tiene bordes conocidos, y esos bordes están en los propios papers, no en la intuición de nadie.

Por qué «70B» no es una medida de calidad

Esta confusión —peso como número aprendido, no como especificación— tiene una consecuencia práctica inmediata: el recuento de parámetros se lee como si fuera caballos de potencia, y no lo es. En 2022, un equipo de DeepMind entrenó un modelo de 70.000 millones de parámetros, Chinchilla, con más datos de entrenamiento de los que solía usarse para ese tamaño, y lo comparó con modelos mucho más grandes entrenados con el mismo presupuesto de cómputo pero menos datos proporcionalmente. Chinchilla superó de forma consistente a Gopher (280.000 millones de parámetros, cuatro veces más grande), a GPT-3 (175.000 millones) y a Megatron-Turing NLG (530.000 millones, casi ocho veces más grande) en un amplio abanico de pruebas. Un modelo con una fracción de los pesos gano a otro casi ocho veces mayor, porque lo que importaba no era cuántos números tenía, sino cuánto y cómo se habían entrenado esos números.

«70B» describe únicamente el tamaño de una de las tres piezas —cuántos pesos existen—, no si están bien entrenados, con qué datos, ni con qué cuidado. Es una cifra de arquitectura disfrazada de cifra de calidad. Y esto conecta con algo que ya expliqué al hablar de qué comprueba realmente una afirmación de «apertura» en IA: cuando un laboratorio libera «pesos abiertos» de 70.000 millones de parámetros, libera exactamente eso —esos números—, no necesariamente los datos con los que se entrenaron ni la calidad de esa preparación. El tamaño y la apertura son dos preguntas distintas, y ninguna de las dos contesta a la tercera: si el resultado es bueno.

La pregunta que sobrevive a la próxima cifra

Casi todas las afirmaciones confusas sobre inteligencia artificial que vas a leer en los próximos meses —sobre memoria, sobre tamaño, sobre qué hace «mejor» a un modelo— vienen de mezclar tres cosas que son, en realidad, independientes. La próxima vez que oigas una cifra o una promesa sobre un modelo, antes de repetirla, pregúntate: ¿esto habla de sus pesos —lo que aprendió—, de su arquitectura —cómo se diseñó— o de su entrenamiento —cómo se ajustó el proceso? Casi ninguna confusión sobrevive a esa pregunta.