GPT

GPT nombra una familia de modelos de lenguaje que genera una secuencia prediciendo su siguiente token a partir de los anteriores. Las siglas reúnen tres decisiones: generación, preentrenamiento y arquitectura Transformer. No designan un modelo único ni garantizan conocimiento verificado. Una frase puede ser gramatical, pertinente y falsa porque el objetivo de generación premia la continuación probable, no la comprobación del mundo.

Esa distinción evita una pregunta engañosa: «¿Qué puede hacer GPT?». La respuesta cambia según la versión, el entrenamiento posterior, el contexto entregado, las herramientas conectadas y las reglas del producto. Un modelo base, uno ajustado para seguir instrucciones y un asistente con búsqueda pueden compartir linaje y comportarse de forma muy distinta. La capacidad útil para el lector es reconstruir cuál de esas capas produjo el resultado que tiene delante.

Qué significan las tres letras

Generativo significa que el modelo produce una distribución sobre posibles continuaciones. El sistema elige un token, lo incorpora al contexto y vuelve a calcular el siguiente. Repetir ese ciclo compone una respuesta larga. «Token» no equivale necesariamente a palabra: puede representar una palabra completa, una parte, un signo o bytes, según el tokenizador. Por eso longitud visible, número de tokens y coste computacional no son la misma medida.

Preentrenado significa que los parámetros se ajustan primero sobre una tarea amplia antes de la adaptación específica. El paper original de 2018, Improving Language Understanding by Generative Pre-Training, describe dos etapas: un objetivo de modelado de lenguaje sobre texto sin etiquetar y después ajuste supervisado para tareas concretas. El trabajo convirtió entradas estructuradas en secuencias de tokens y usó una variante decodificadora del Transformer.

Transformer identifica la familia arquitectónica introducida en Attention Is All You Need. El artículo de 2017 propuso una red basada en mecanismos de atención, sin recurrencia ni convoluciones. GPT utiliza bloques decodificadores con atención enmascarada: cada posición puede atender al contexto permitido, pero no a los tokens futuros que todavía debe predecir. La arquitectura organiza el cálculo; no convierte por sí misma una continuación en evidencia.

Del token a una respuesta

Antes de generar, el texto se transforma en identificadores de tokens. Cada identificador entra como un vector y se combina con información de posición. Las capas de atención permiten que una posición use señales de otras posiciones del contexto; las capas posteriores producen puntuaciones para el vocabulario. Una normalización las convierte en probabilidades y una regla de decodificación elige la continuación. Temperatura, muestreo o elección del máximo cambian la variación, no el conocimiento almacenado en los parámetros.

El contexto contiene las instrucciones, ejemplos, conversación y documentos que el sistema haya colocado dentro de la ventana disponible. Dentro de una generación, GPT condiciona su salida a esa secuencia. Una memoria persistente entre sesiones, una base vectorial o un buscador son componentes externos que pueden aportar información nueva. Si un producto «recuerda» un dato o consulta la web, hay que atribuir esa capacidad al sistema completo, no suponer que apareció en el modelo base.

El preentrenamiento comprime regularidades estadísticas del corpus en parámetros. No guarda un índice consultable que relacione cada frase generada con una página concreta. A veces puede reproducir o reconocer material; otras combina patrones y produce una referencia plausible que no existe. Pedir «las fuentes» después de una respuesta no demuestra de dónde salió cada afirmación. La verificación exige abrir documentos reales y comprobar localmente que sostienen el dato.

Adaptar no siempre significa volver a entrenar

En el primer GPT, adaptar implicaba actualizar parámetros con datos etiquetados de la tarea. GPT‑3 mostró otra vía: especificar una tarea mediante instrucciones y ejemplos dentro del contexto. El paper Language Models are Few-Shot Learners, presentado en 2020, evaluó un modelo autorregresivo de 175.000 millones de parámetros en cero, uno y pocos ejemplos sin actualizaciones de gradiente durante esas pruebas. Eso es aprendizaje en contexto: cambia la entrada y el comportamiento observado, no los pesos del modelo.

El ajuste para seguir instrucciones modifica otra capa. El trabajo de 2022 sobre InstructGPT partió de GPT‑3, reunió demostraciones escritas por etiquetadores, ajustó un modelo supervisado y después utilizó rankings humanos para optimizarlo con aprendizaje por refuerzo. En la distribución de prompts de aquel estudio, evaluadores prefirieron las salidas del modelo InstructGPT de 1.300 millones de parámetros a las de GPT‑3 de 175.000 millones. El resultado no dice que el pequeño sea universalmente más capaz: muestra que tamaño y adecuación a la intención son ejes distintos.

Una aplicación actual puede sumar instrucciones del sistema, recuperación de documentos, ejecución de código, llamadas a herramientas, filtros y una interfaz que decide qué historial enviar. Esas piezas alteran lo que el usuario observa sin cambiar necesariamente el modelo central. «GPT respondió» es, por tanto, una atribución incompleta. Para reproducir un resultado hay que fijar al menos modelo o instantánea, mensaje de sistema, conversación, herramientas, parámetros de generación y fecha.

Por qué la fluidez no verifica hechos

La predicción del siguiente token aprende sintaxis, asociaciones, formatos y muchas regularidades útiles porque todas ayudan a anticipar texto. La misma destreza permite completar con seguridad aparente una premisa falsa. Si se pregunta por «el premio Nobel que recibió una persona que nunca lo ganó», el patrón lingüístico puede favorecer una explicación antes que una corrección. Seguir bien la forma de la pregunta y comprobar su supuesto son capacidades separadas.

También puede perderse una condición. Una respuesta resume que un método «mejora el rendimiento» y omite que el resultado pertenecía a un conjunto, una métrica o una configuración concreta. El texto resultante puede conservar la conclusión y borrar el perímetro que la hacía cierta. Por eso una cifra necesita enlace junto a la afirmación, y una cita exige localizar las palabras en el original. La confianza verbal del modelo no es una medida calibrada de verdad.

Conectar recuperación reduce un problema y abre otro. El sistema puede recibir el documento correcto, pero aún debe escoger el fragmento, respetar fechas y distinguir lo que el texto afirma de lo que se infiere. Una respuesta con enlaces tampoco está verificada automáticamente: el enlace puede tratar otro tema o sostener solo una parte. La prueba más barata es local: abrir la fuente, buscar el dato y leer el alcance y las limitaciones alrededor.

«GPT» sin versión es una afirmación incompleta

Los nombres de producto pueden permanecer mientras cambia el modelo que hay debajo. Una misma etiqueta puede incorporar una nueva instantánea, más contexto o herramientas distintas. También se confunden modalidades: que un servicio acepte imágenes no significa que todos los modelos llamados GPT tengan esa entrada; que una interfaz navegue no significa que sus parámetros se hayan actualizado con la página. La ficha de una prueba debe identificar el componente evaluado y qué información externa recibió.

Los benchmarks tampoco eliminan esa necesidad. Un resultado pertenece a una versión, un conjunto de ejemplos, una forma de puntuar y un protocolo de prompting. Puede medir respuesta cerrada y no uso abierto; puede tolerar varias formulaciones o exigir coincidencia exacta. Antes de trasladar el número a otro caso, hay que preguntar si la unidad, el criterio de éxito y la información disponible coinciden. «Supera el benchmark» no equivale a «resuelve cualquier tarea del mismo nombre».

Una prueba que separa las capas

Para evaluar una capacidad, escriba primero la tarea como entrada, salida y criterio. Después prepare un caso ordinario, uno cerca del límite y uno con una premisa falsa. Registre el prompt completo, modelo, fecha, herramientas y configuración. Si la tarea usa documentos, proporcione un texto conocido y exija que cada afirmación señale el pasaje que la sostiene. Compruebe esos pasajes fuera del modelo. Así se distingue generar una respuesta, recuperar evidencia y verificarla.

Compare después cuatro condiciones si están disponibles: modelo base, modelo instruido, modelo con ejemplos en contexto y sistema con herramienta. No dé por hecho que la condición más compleja gana. Mida el mismo criterio y conserve también abstenciones, citas inexistentes y condiciones omitidas. Una herramienta puede mejorar la recuperación y empeorar la selección de fuente; un ajuste puede mejorar obediencia y mantener errores factuales. Nombrar el eje evita convertir una mejora local en una capacidad universal.

Al leer «GPT puede hacer X», pregunte: ¿qué versión?, ¿modelo o producto?, ¿con ajuste de parámetros o solo con ejemplos?, ¿tenía herramientas?, ¿qué contexto recibió?, ¿cómo se puntuó?, ¿qué fallos hubo? Si la respuesta no permite reconstruir esas condiciones, la afirmación describe una demostración, no una propiedad estable de la familia.

La capacidad transferible es separar arquitectura, entrenamiento, adaptación y sistema. GPT genera token a token con parámetros preentrenados; el ajuste cambia su conducta, el contexto puede enseñar una tarea sin cambiar pesos y las herramientas añaden acceso a recursos externos. Ninguna capa sustituye la verificación. Cuando se fijan versión, objetivo, contexto y evidencia, una salida deja de juzgarse por lo convincente que suena y pasa a juzgarse por lo que realmente demuestra.