GPT-2 y GPT-3: qué cambia al escalar un predictor de texto

Reeditado el 30 de julio de 2026, este artículo corrige dos cifras y una inferencia. GPT-2 tuvo hasta 1.500 millones de parámetros y GPT-3, 175.000 millones: los billion ingleses no son «billones» en español. El aumento de escala amplió fluidez y aprendizaje desde ejemplos, pero una continuación convincente no demuestra comprensión implícita ni autoriza diagnósticos.

Los dos modelos permiten estudiar una idea que sigue vigente: un sistema entrenado para predecir el siguiente token puede reutilizar patrones para muchas tareas si estas se expresan como texto. Para juzgar esa capacidad hay que separar objetivo, datos, escala, contexto, decodificación y evaluación. El nombre del modelo no explica por sí solo el resultado.

Autoregresión: convertir una secuencia en muchas predicciones

Un modelo autorregresivo factoriza la probabilidad de una secuencia: estima cada token condicionado por los anteriores. Durante entrenamiento conoce el prefijo real y aprende a reducir el error del siguiente token. Durante generación recibe sus propias salidas como nuevo contexto. Un error temprano puede desviar lo que sigue, aunque cada paso sea localmente plausible.

GPT-2 y GPT-3 usan bloques de decodificador inspirados en el Transformer, con atención causal: cada posición consulta solo el pasado permitido. Las múltiples cabezas calculan relaciones útiles para predecir; no almacenan una explicación legible ni garantizan que una cabeza corresponda a un concepto humano.

El texto se divide en tokens. Una palabra puede ocupar uno o varios, y la longitud cambia entre idiomas, nombres y código. El modelo no elige directamente «una idea»: distribuye probabilidad sobre el siguiente token. Temperatura, top-k, top-p, semilla, longitud y penalizaciones transforman esa distribución en una salida. Comparar demos exige igualar estos parámetros y contar intentos.

La pérdida de entrenamiento promedia muchos tokens y puede ocultar fallos raros pero importantes. Además, durante entrenamiento el modelo recibe prefijos correctos; durante uso recibe su propia cadena, con errores acumulados. Por eso una pérdida menor no describe por completo repetición, contradicción o deriva en textos largos. Se evalúan secuencias completas, no solo la probabilidad media del siguiente token, y se separan longitud, género e idioma.

GPT-2: escala, WebText y una liberación por etapas

El informe Language Models are Unsupervised Multitask Learners describió GPT-2 con variantes hasta 1.500 millones de parámetros y WebText, un corpus creado a partir de enlaces salientes de publicaciones de Reddit que superaban un umbral de valoración. No era «toda la web» ni un conjunto neutral; el criterio de selección incorporaba preferencias de esa comunidad.

El trabajo evaluó tareas sin ajustar parámetros específicos, expresándolas mediante el contexto. Algunos resultados mejoraron con tamaño y otros quedaron lejos de sistemas especializados. Esa combinación es el hallazgo: una misma pérdida produce representaciones reutilizables, pero la transferencia se mide tarea por tarea. Coherencia más larga no prueba conocimiento correcto.

El corpus determina también qué mundo puede reflejar el modelo. Enlaces populares no representan conversaciones privadas, documentación reciente ni todos los idiomas. Filtrar calidad puede reducir ruido y reforzar una definición cultural de calidad. Una ficha de datos debería registrar fuentes, fechas, idiomas, licencias, deduplicación y material excluido. Sin ella no se puede saber si una capacidad procede de generalización o de cobertura.

OpenAI escalonó inicialmente la publicación del modelo mayor alegando preocupaciones por usos dañinos. El informe sobre estrategias de liberación e impactos sociales documentó el proceso, trabajo con socios y observaciones sobre generación. Sirve para distinguir una decisión de gobernanza de una propiedad matemática del modelo: riesgo, acceso y evidencia cambian con el contexto de uso.

GPT-3: escala e instrucciones como datos temporales

El artículo Language Models are Few-Shot Learners presentó GPT-3 con 175.000 millones de parámetros y evaluó tareas en cero, uno y pocos ejemplos dentro del contexto, sin actualizar pesos. El modelo podía inferir el formato de una tarea a partir de una descripción o demostraciones. Eso se llama aprendizaje en contexto; no equivale necesariamente a aprender una regla estable fuera de esa conversación.

Los ejemplos ocupan ventana, su orden influye y una demostración ambigua puede enseñar el patrón equivocado. Para medir capacidad se repiten órdenes y formulaciones, se comparan cero y pocos ejemplos y se informa dispersión. También se necesita una línea base ajustada: que un modelo no actualizado resuelva algo es interesante, pero no lo convierte automáticamente en la opción más precisa o eficiente.

El contexto funciona como memoria de trabajo externa y efímera. Puede incluir reglas, ejemplos y documentos, pero no cambia necesariamente los parámetros. Al desaparecer el contexto, desaparece esa adaptación. En un producto se registra la plantilla completa, se limita qué datos entran y se prueba la sensibilidad a ejemplos conflictivos. Afirmar que el sistema «aprendió» sin aclarar si fue ajuste de pesos o condicionamiento temporal confunde dos mecanismos.

Las leyes de escalado para modelos de lenguaje observaron relaciones de potencia entre pérdida, tamaño, datos y cómputo dentro del régimen estudiado. Una curva empírica no promete que cualquier capacidad aparecerá al añadir parámetros. Si crece el modelo sin suficientes datos o presupuesto de entrenamiento, los recursos quedan mal asignados; y una pérdida menor no se traduce de manera uniforme a todas las tareas.

Fluidez, significado y verdad son pruebas diferentes

Predecir texto exige capturar sintaxis, asociaciones y regularidades del mundo expresadas en el corpus. Pero la fluidez del resultado y el proceso humano de comprender no son variables idénticas. Bender y Koller argumentaron en Climbing towards NLU que entrenar únicamente sobre forma lingüística no proporciona por sí solo la relación entre expresión, intención y mundo. La tesis debe leerse como distinción conceptual, no como negación de toda capacidad útil.

La factualidad también necesita evaluación propia. TruthfulQA construyó preguntas diseñadas alrededor de falsedades imitativas y encontró que modelos mayores podían repetir respuestas falsas aprendidas del texto humano. El resultado no dice que escalar siempre reduzca verdad; muestra que probabilidad lingüística y veracidad pueden divergir y que un benchmark convencional puede no detectar esa divergencia.

Por ello no se atribuyen «diagnósticos preliminares» a un modelo a partir de generación general. Medicina requiere población, tarea, comparación clínica, sensibilidad, especificidad, calibración, daños y supervisión. Lo mismo vale para derecho, soporte o periodismo. Una salida puede ser borrador, búsqueda o transformación con revisión; su rol se define por evidencia, no por estilo.

Cómo leer una comparación entre modelos autoregresivos

Primero anote el objetivo y la unidad de tokenización. Después, datos: origen, periodo, filtros, duplicados y posible contaminación del examen. Tercero, presupuesto: parámetros, tokens de entrenamiento y cómputo. Cuarto, contexto: instrucción, ejemplos, orden y longitud. Quinto, decodificación: algoritmo, temperatura, candidatos y selección. Solo entonces compare la métrica.

La prueba debe incluir exactitud, calibración, robustez a paráfrasis, subgrupos, coste y fallos. Para generación factual se dividen respuestas en afirmaciones y se verifican fuentes; para clasificación se restringen etiquetas; para código se ejecutan pruebas; para resumen se comprueba fidelidad. Una preferencia por el estilo no reemplaza la corrección.

También se busca contaminación. Si una pregunta o respuesta estaba en el corpus, el resultado no mide la misma generalización que un problema nuevo. No siempre puede conocerse todo el entrenamiento, así que se usan conjuntos fechados, transformaciones, datos privados autorizados y declaraciones de incertidumbre. Una cifra sin trazabilidad se presenta como límite, no como certeza.

En despliegue se añade una última capa: permisos y revisión. El modelo no ejecuta automáticamente aquello que puede redactar. Las herramientas se limitan por tarea, las acciones sensibles requieren confirmación y la interfaz muestra fuentes y incertidumbre cuando existen. Se monitorizan abstenciones, correcciones y daños, no solo satisfacción. Un generador útil es un componente dentro de un proceso responsable, no el proceso entero.

GPT-2 y GPT-3 fueron hitos por mostrar cuánto podía transferirse desde predicción autoregresiva al aumentar escala y usar el contexto como interfaz. La capacidad transferible es reconstruir cualquier afirmación generativa por objetivo, datos, escala, contexto, decodificación y prueba. Ese esquema reconoce el avance sin convertir fluidez en comprensión, ni una posibilidad de uso en evidencia clínica o empresarial.