BERT, GPT, T5 y XLNet: cómo evaluar clasificación y sentimiento

El 11 de octubre de 2018 se depositó el trabajo que presentó BERT. Sus autores mostraron que una representación preentrenada con contexto a izquierda y derecha podía adaptarse a tareas de lenguaje añadiendo una capa de salida y realizando ajuste fino. El avance mejoró la clasificación de texto, pero no resolvió la pregunta decisiva: ¿qué etiqueta predice el sistema, sobre qué población y con qué coste cuando se equivoca?

“Análisis de sentimiento” parece una tarea única, aunque puede significar polaridad de una reseña, emoción del autor, postura hacia un tema, tono de una frase o sentimiento respecto de un aspecto concreto. Positivo, negativo y neutral no son propiedades físicas escondidas dentro del texto. Son categorías definidas por un protocolo de anotación.

La capacidad transferible consiste en separar arquitectura, régimen de adaptación y evidencia. El nombre del modelo describe cómo aprende o produce representaciones; la fiabilidad se demuestra después, con una etiqueta definida, datos adecuados, una partición limpia, métricas ligadas al daño y pruebas fuera del dominio cómodo.

La base común no decide la tarea

BERT y GPT pertenecen a la familia Transformer, presentada en junio de 2017 por Attention Is All You Need. El paper propuso una arquitectura de transducción de secuencias basada en atención, sin recurrencia ni convoluciones. Su evidencia principal procedía de traducción automática y análisis sintáctico; no demostró por sí mismo que cualquier Transformer clasificara bien sentimiento.

La atención permite que la representación de un token incorpore información de otras posiciones. Eso ayuda cuando “banco” cambia con la frase o una negación altera un adjetivo. No garantiza que el modelo comprenda ironía, intención o emoción como una persona. El resultado depende del objetivo de preentrenamiento, los datos de adaptación y la definición de la salida.

La arquitectura es el vehículo; el clasificador es un sistema más amplio. Incluye tokenización, longitud máxima, regla de truncado, ejemplos, cabeza de salida o prompt, umbral, versión del modelo y tratamiento posterior. Cambiar cualquiera de esas piezas puede cambiar la decisión aunque el nombre comercial permanezca igual.

BERT y GPT: representar o continuar

BERT preentrena representaciones bidireccionales mediante contexto izquierdo y derecho. Para clasificar sentimiento suele añadirse una cabeza que recibe una representación de la secuencia y se ajusta con ejemplos etiquetados. La ventaja práctica es una salida controlada entre clases conocidas; el límite es que la frontera aprendida hereda dominio, ruido y sesgos de las etiquetas.

El primer GPT fue descrito en Improving Language Understanding by Generative Pre-Training. Preentrenaba un modelo autoregresivo sobre texto sin etiquetar y después lo afinaba de forma discriminativa para tareas como clasificación documental. No era simplemente un generador al que se preguntaba por una etiqueta: el ajuste supervisado era central en el método.

GPT‑3 exploró cero, uno o pocos ejemplos incluidos en el contexto sin actualizar los pesos para cada tarea. Ese régimen reduce la necesidad inicial de entrenamiento, pero traslada parte del sistema al prompt: orden de las etiquetas, demostraciones, instrucción y formato de salida deben versionarse. Que el modelo responda “positivo” no prueba que mantenga esa clasificación ante paráfrasis, otro idioma o un mes distinto.

T5 y XLNet cambian el objetivo, no la obligación de evaluar

T5 expresa todas las tareas como texto a texto. Clasificar puede convertirse en recibir una entrada con un prefijo y generar la cadena de una etiqueta. El trabajo comparó objetivos, arquitecturas, corpus y métodos de transferencia en numerosas tareas. Un formato común facilita compartir infraestructura; no vuelve comparables las métricas ni las consecuencias de resumir, traducir y detectar una urgencia.

XLNet usa un objetivo autoregresivo generalizado que maximiza la probabilidad esperada sobre permutaciones del orden de factorización. No entrega al modelo una frase con palabras físicamente barajadas. El paper buscaba capturar contexto bidireccional sin el enmascaramiento de BERT y comparó ambos enfoques en veinte tareas, incluida clasificación de sentimiento.

Esos resultados pertenecen a conjuntos, configuraciones y fechas concretas. “Superó a BERT” no significa que cualquier XLNet venza a cualquier BERT ajustado para otro idioma o dominio. La afirmación reproducible conserva versión, conjunto de prueba, métrica y procedimiento.

La etiqueta es una hipótesis sobre el texto

Antes de elegir modelo hay que escribir qué representa cada clase. “Negativo” puede querer decir que el autor desaprueba un producto, que relata un hecho dañino o que emplea palabras de valencia negativa. Una noticia sobre una caída de la inflación contiene vocabulario de descenso sin expresar necesariamente un sentimiento negativo. Un mensaje cortés puede encerrar una queja urgente.

El Stanford Sentiment Treebank se creó para estudiar composición y asignó etiquetas tanto a frases completas como a fragmentos de sus árboles sintácticos. Eso permite observar negación y contraste; también delimita el dominio: reseñas de cine en inglés. Un resultado allí no acredita atención al cliente en español ni informes financieros.

Las instrucciones de anotación forman parte de los datos. Conviene medir acuerdo entre personas y conservar desacuerdos o incertidumbre cuando el caso es ambiguo. Obligar a tres revisores a producir una etiqueta única puede borrar precisamente la señal que un sistema responsable debería tratar con cautela.

Partir los datos sin dejar entrar el futuro

Entrenamiento enseña parámetros; validación sirve para elegir modelo, umbral y configuración; prueba estima rendimiento al final. Consultar repetidamente la prueba para decidir cambios la convierte en otra validación y deja de medir generalización. Textos duplicados o casi idénticos entre particiones producen una mejora aparente basada en memoria.

La división aleatoria tampoco siempre responde a la pregunta real. Para clasificar mensajes futuros, una partición temporal entrena con pasado y prueba con un periodo posterior. Para medir transferencia entre empresas o productos, se separan dominios o autores. Si reseñas del mismo usuario aparecen a ambos lados, el modelo puede aprender su estilo en vez del fenómeno buscado.

En finanzas, una puntuación de tono no prueba capacidad de anticipar precios. Harían falta datos ordenados temporalmente, información disponible solo hasta cada decisión, costes de transacción y una comparación fuera de muestra. Una fuga de una fecha futura puede transformar información imposible en una estrategia ficticiamente excelente.

Exactitud no basta cuando las clases están desbalanceadas

Si el 95% de los mensajes es ordinario y el 5% urgente, predecir siempre “ordinario” logra 95% de exactitud y falla todas las urgencias. La matriz de confusión muestra qué clase se confunde con cuál. La precisión de una clase pregunta cuántos avisos emitidos eran correctos; la exhaustividad o recall pregunta cuántos casos reales logró encontrar.

Macro-F1 concede el mismo peso a cada clase y ayuda a ver minorías; una media ponderada puede quedar dominada por la clase frecuente. Ninguna métrica elige el coste por la organización. Perder una urgencia puede ser peor que revisar una falsa alarma, mientras bloquear por error un pago legítimo puede tener otro equilibrio. El umbral se decide con esos costes y se reevalúa cuando cambia la prevalencia.

La calibración añade otra pregunta: entre casos a los que el sistema asigna alrededor de 80% de probabilidad, ¿acierta aproximadamente ocho de cada diez? Una puntuación ordena ejemplos; una probabilidad calibrada permite construir reglas de revisión. Sin comprobarla, mostrar “98% de confianza” puede dar una precisión que los datos no sostienen.

Probar lenguaje, dominio y capacidad de abstención

Una prueba útil contiene negación, ironía, intensificadores, citas, mensajes bilingües, errores ortográficos, jerga, textos largos y cambios de tema. También mide subgrupos relevantes y periodos distintos. El objetivo no es fabricar una colección imposible, sino descubrir dónde cambia la tasa y el tipo de error.

La abstención puede convertir un clasificador imperfecto en un componente útil. Si las clases están próximas, falta contexto o la entrada está fuera del dominio, el sistema deriva a revisión en lugar de fingir certeza. Hay que medir cobertura —qué proporción decide automáticamente— junto con calidad sobre los casos decididos y carga que envía a personas.

Tras el despliegue se vigilan distribución de entradas, prevalencia de clases, confianza, correcciones humanas y resultados posteriores. Una caída puede venir de vocabulario nuevo, una campaña, un producto distinto o cambios en quien etiqueta. Reentrenar sin diagnosticar puede consolidar el error.

Una comparación que se pueda reproducir

El informe mínimo identifica modelo y versión, objetivo, datos de preentrenamiento conocidos, método de adaptación, prompt o cabeza, etiquetas, instrucciones, particiones, duplicados, métricas por clase, calibración, umbral y coste de error. También conserva semillas o repeticiones cuando el entrenamiento o la inferencia varían.

BERT puede ser una buena base para una clasificación estrecha con suficientes etiquetas. Un GPT en contexto puede acelerar un prototipo con pocos ejemplos. T5 ofrece una interfaz uniforme; XLNet explora otro objetivo de preentrenamiento. Esas son propiedades de diseño, no un podio permanente.

La elección responsable no empieza preguntando qué nombre es más grande. Empieza definiendo la decisión y su daño, y termina con evidencia sobre datos que representan el uso real. Arquitectura, adaptación y evaluación forman tres columnas distintas; cuando un resultado omite una, todavía describe una capacidad potencial, no una clasificación fiable.