T5 y BART: cómo comparar dos modelos secuencia a secuencia

Reeditado el 30 de julio de 2026, este artículo conserva una comparación útil sin convertirla en combate de marcas: T5 y BART son modelos Transformer secuencia a secuencia con codificador y decodificador, pero organizan de forma distinta el preentrenamiento y la interfaz de tareas. Esa diferencia ayuda a entender cómo un objetivo fabrica las capacidades que luego medimos.

Elegir entre ellos no se resuelve diciendo que uno «comprende» y otro «genera». Ambos leen una secuencia y producen otra; ambos pueden ajustarse para resumen, traducción, respuesta o clasificación textualizada. La decisión exige mirar corrupción de entrada, objetivo de reconstrucción, formato de tarea, datos, decodificación y evaluación.

La base común: codificar una entrada y generar una salida

El Transformer original empleó atención y bloques de codificador y decodificador para traducción. El codificador construye representaciones de la entrada; el decodificador genera de izquierda a derecha atendiendo a lo ya producido y a esas representaciones. La arquitectura permite entrenamiento paralelo en la entrada, pero la generación autorregresiva sigue avanzando token a token.

Secuencia a secuencia no significa que la salida deba tener igual longitud ni que el modelo copie. Una pregunta puede producir una respuesta, un documento un resumen y una frase una etiqueta. El formato unifica la interfaz, no la semántica: cada tarea conserva sus datos, errores y criterios. Generar «positivo» para clasificar sentimiento sigue siendo clasificación.

Antes de estos modelos, RNN y LSTM ya transformaban secuencias. El cambio no fue que fueran incapaces de manejar textos largos, sino que la atención y el paralelismo alteraron cómo se representan dependencias y escala el entrenamiento. Longitud de contexto, memoria, coste y calidad de datos continúan imponiendo límites.

T5: convertir tareas en texto a texto

El trabajo T5 estudió objetivos, arquitecturas, conjuntos y transferencia en un marco común. Su preentrenamiento principal corrompe tramos del texto y pide generar los segmentos omitidos, representados mediante tokens centinela. Durante el ajuste, una indicación textual puede distinguir tareas: traducir, resumir o producir una etiqueta.

La contribución duradera es metodológica. Si varias tareas comparten interfaz, se pueden controlar mejor diferencias de datos y objetivo. Pero el prefijo no otorga una capacidad por sí mismo. Hace falta que el entrenamiento relacione esa instrucción con ejemplos, y una etiqueta generada puede salir fuera del conjunto permitido. En producción se valida y, si procede, se restringe la salida.

mT5 trasladó el enfoque a un corpus multilingüe y evaluó transferencia entre lenguas. «Multilingüe» no significa rendimiento equivalente: cantidad y calidad de texto, tokenización, escritura y tarea cambian la cobertura. El análisis se hace por idioma y población, no con un promedio que permita a las lenguas mayores ocultar a las pequeñas.

La interfaz texto a texto tiene un coste que conviene medir. Una etiqueta de una palabra puede requerir decodificación y admitir variantes ortográficas; un clasificador con cabeza cerrada produce solo clases permitidas. A cambio, el formato generativo permite compartir modelo y ejemplos entre tareas. La elección no es estética: se comparan errores inválidos, calibración, latencia y mantenimiento. Cuando la salida pertenece a un catálogo, una restricción explícita puede ser más fiable que esperar obediencia lingüística.

BART: aprender a deshacer ruido

BART se presentó como autoencoder de eliminación de ruido para preentrenar modelos secuencia a secuencia. Aplica transformaciones como enmascarar tramos o permutar oraciones y entrena al modelo para reconstruir el texto original. El codificador puede ver la entrada corrompida en ambas direcciones; el decodificador genera la reconstrucción de forma autorregresiva.

Ese objetivo resulta intuitivamente cercano a tareas que transforman un texto completo en otro, pero no garantiza fidelidad. Un resumen puede ser fluido y añadir una causa o cifra ausente. La corrupción elegida también incorpora un sesgo: reconstruir oraciones permutadas enseña una regularidad distinta de recuperar un nombre enmascarado. Para atribuir una mejora hay que comparar objetivos con arquitectura, datos y presupuesto controlados.

La idea de preentrenar reconstruyendo no nació de una sola familia. MASS enmascaró un fragmento de una oración y entrenó al decodificador para predecirlo, con el fin de preentrenar modelos seq2seq. Comparar estos trabajos enseña a mirar la unidad oculta, lo que ve el codificador y lo que debe producir el decodificador, en vez de memorizar nombres.

La adaptación también cambia la comparación. Ajustar todos los parámetros, solo una parte o añadir módulos ligeros altera memoria, coste y riesgo de olvidar capacidades. Más épocas pueden mejorar el conjunto de entrenamiento y empeorar textos nuevos. Se conserva una validación temporal, se detiene según un criterio previo y se prueba el modelo base junto al adaptado. Una ganancia pequeña en la tarea no compensa necesariamente una pérdida grande de robustez.

Resumen y generación: la decodificación también es parte del sistema

Después del entrenamiento, la salida depende de búsqueda voraz, haz, muestreo, penalizaciones, longitud mínima y máxima, y criterios de parada. Dos ejecuciones del mismo modelo pueden comportarse de forma distinta si cambia la decodificación. Un resultado elegido entre veinte candidatos no equivale a una respuesta de primer intento; el protocolo debe declarar cuántos intentos y quién selecciona.

Para resumen, el solapamiento de palabras no basta. ROUGE se propuso como paquete de medidas automáticas que comparan candidatos con resúmenes humanos. Puede ser útil para comparaciones, pero una coincidencia alta no garantiza fidelidad y una paráfrasis correcta puede obtener menos solapamiento. Se añaden comprobaciones de afirmaciones, entidades, números, omisiones y evaluación humana con una guía.

PEGASUS diseñó un objetivo de preentrenamiento orientado al resumen: seleccionar y generar oraciones importantes retiradas del documento. El ejemplo ilustra una regla general: acercar la tarea previa a la final puede ayudar, pero también hace más importante comprobar que la selección no enseña un atajo específico del conjunto.

Las aplicaciones de poesía, periodismo, derecho o salud no se deducen de la arquitectura. Necesitan corpus con permiso, definición de calidad, responsables, revisión y prueba en el dominio. Generar un artículo plausible no verifica hechos; resumir una sentencia no determina su interpretación; producir texto empático no convierte al sistema en terapeuta.

Una matriz para elegir y evaluar

La comparación empieza con seis filas. Entrada: texto limpio, ruidoso, multilingüe o estructurado. Objetivo previo: qué se oculta y reconstruye. Interfaz: prefijo, tarea y vocabulario de salida. Adaptación: datos, parámetros modificados y ejemplos. Decodificación: algoritmo y restricciones. Prueba: fidelidad, utilidad, subgrupos, coste y latencia.

Después se construye una línea base idéntica para ambos modelos. Se fijan particiones por documento, autor u organización, se iguala el presupuesto, se ensayan varias semillas y se informa dispersión. Para clasificación se restringen etiquetas y se mide por clase; para resumen se comprueban afirmaciones; para traducción se evalúan terminología y fenómenos por idioma. El ganador puede cambiar por tarea.

El análisis de errores usa categorías que permitan intervenir: omisión, añadido no respaldado, entidad equivocada, número alterado, contradicción, repetición, salida inválida y fallo de idioma. Se cuentan por longitud y subgrupo y se conservan ejemplos. Después se cambia una sola variable —datos, objetivo, decodificación o restricción— y se repite. Sin esa disciplina, una mejora de promedio puede esconder que el sistema aprendió a escribir mejor el mismo error.

En despliegue se registra modelo, conjunto de adaptación, indicación, parámetros de decodificación y fuente de entrada. El usuario necesita saber cuándo el texto es propuesta y qué debe verificar. Los cambios pasan pruebas de regresión y existe vuelta a la versión anterior. T5 y BART no resuelven por arquitectura procedencia, privacidad ni responsabilidad: esas propiedades pertenecen al servicio que los integra.

La afinación por instrucciones extiende la interfaz, no invalida este análisis. El trabajo FLAN mostró transferencia al ajustar modelos en muchas tareas expresadas con instrucciones. Aun así, la capacidad depende de la mezcla, las plantillas y la relación con la prueba. Una instrucción natural no sustituye una especificación de salida ni una evaluación.

T5 y BART son valiosos porque hacen visible la relación entre corrupción, reconstrucción y transferencia. La capacidad transferible es reconstruir cualquier modelo seq2seq por entrada, objetivo, interfaz, adaptación, decodificación y prueba. Con esa matriz se elige una herramienta por evidencia y se evita confundir texto elegante con fidelidad, o una lista de aplicaciones imaginadas con resultados observados.