Pesos

Un peso es un número que un modelo de inteligencia artificial ajusta durante el entrenamiento para reducir sus errores. Es la unidad más pequeña de lo que un modelo "aprende": multiplica una señal de entrada y contribuye, en conjunto con millones o miles de millones de números iguales, al resultado final. El glosario oficial de aprendizaje automático de Google define un parámetro —el término técnico que engloba pesos y sesgos— como "los pesos y los sesgos que un modelo aprende durante el entrenamiento".

Al principio del entrenamiento, los pesos de un modelo son prácticamente aleatorios. Un proceso llamado descenso de gradiente los ajusta de forma repetida, empujando cada número un poco en la dirección que habría reducido el error cometido en cada ejemplo. Tras miles de millones de estos ajustes, el conjunto de pesos produce respuestas coherentes. No hay ningún concepto, idea o dato guardado como tal en un lugar concreto: hay números que, combinados, producen el efecto de comprender.

Los pesos no deben confundirse con la arquitectura de un modelo (su forma: cuántas capas tiene, cómo se conectan, decidida por un ingeniero antes de entrenar) ni con los hiperparámetros (los ajustes del propio proceso de entrenamiento, como la velocidad de aprendizaje, también fijados de antemano). La arquitectura y los hiperparámetros los decide una persona antes de empezar; los pesos los produce el propio entrenamiento, a partir de los datos.

Cuando un laboratorio anuncia que libera los "pesos abiertos" de un modelo, libera exactamente estos números para que cualquiera pueda descargarlos y ejecutarlos — no necesariamente el código con el que se entrenaron ni los datos originales. Y una cifra como "70B" solo indica cuántos pesos tiene un modelo, no si están bien entrenados: un modelo con menos pesos pero mejor entrenado puede superar a uno mucho mayor.