Resúmenes automáticos: cómo medir cobertura y fidelidad

El 23 de octubre de 2019 se publicó la primera versión de T5, un trabajo que trató traducción, respuesta a preguntas y resumen con un mismo formato: texto de entrada, texto de salida. Esa unificación facilitó adaptar un modelo a la condensación de documentos, pero no resolvió la decisión que importa al lector. Un resumen puede sonar impecable y, aun así, omitir el dato decisivo, cambiar una atribución o añadir una relación ausente del original.

La capacidad útil consiste en separar tres cualidades que una demostración suele mezclar: fluidez, cobertura y fidelidad. La primera pregunta si el texto se lee bien; la segunda, si conserva la información necesaria; la tercera, si cada afirmación se sostiene en la fuente. Ninguna garantiza las otras dos. Un cuarto eje, la utilidad, depende de para quién y para qué se hizo el resumen.

Extraer y redactar son operaciones diferentes

Un resumen extractivo selecciona frases o fragmentos del documento. Reduce el espacio para introducir formulaciones nuevas, pero puede cortar antecedentes, unir pasajes incompatibles o producir una secuencia poco natural. Un resumen abstractivo genera otra redacción, como haría una persona al condensar varias ideas. Puede integrar mejor la información, aunque abre la puerta a nombres, cifras, negaciones o causas que no aparecen en la fuente.

La arquitectura Transformer, presentada el 12 de junio de 2017 en «Attention Is All You Need», sustituyó recurrencia y convoluciones por atención en su diseño principal. La atención relaciona posiciones de una secuencia, una propiedad relevante cuando la premisa de una conclusión aparece páginas antes. El artículo original evaluó sobre todo traducción automática: no demostró por sí solo que un sistema pudiera resumir documentos largos con fidelidad.

BERT, publicado en 2018, preentrenó representaciones condicionadas por el contexto izquierdo y derecho. Sus experimentos cubrieron comprensión, respuesta a preguntas e inferencia, pero no resumen generativo. Esas representaciones pueden adaptarse para puntuar frases o analizar documentos; atribuir al artículo una capacidad de redacción que no evaluó confunde mecanismo con resultado.

El conjunto de datos también define la tarea

T5 convirtió cada tarea en una transformación de texto a texto y evaluó el resumen en conjuntos como CNN/Daily Mail y XSum. XSum fue diseñado para la «síntesis extrema»: una sola frase que diga de qué trata una noticia de la BBC. Ese objetivo no equivale a resumir un contrato, un historial clínico o una reunión, donde una sola omisión puede cambiar una obligación o una decisión.

PEGASUS, presentado en ICML 2020, preentrenó un codificador-decodificador retirando frases consideradas importantes y pidiendo al modelo que las generara a partir del resto. Los autores probaron doce tareas en dominios como noticias, ciencia, correos, patentes y proyectos legislativos. La amplitud mejora la evidencia, pero cada banco conserva su propia noción de longitud, relevancia y referencia correcta.

Por eso una puntuación nunca viaja sola. Debe acompañarse del conjunto, la partición de prueba, la longitud de salida, la versión del modelo y el procedimiento de decodificación. Un sistema optimizado para producir un titular puede parecer omiso si se le exige un informe ejecutivo; otro preparado para noticias puede no reconocer qué cláusula importa en un contrato.

Un documento largo exige diseñar el sistema

Cuando la fuente supera la ventana de contexto, el modelo no puede tratarla como una sola entrada. Dividirla en fragmentos y resumir cada uno puede duplicar hechos, perder relaciones entre secciones o elevar una frase secundaria porque aparece en varios resúmenes parciales. Una jerarquía de fragmentos, resúmenes intermedios y síntesis final también propaga errores: una omisión temprana ya no está disponible en el último paso.

La solución operativa empieza antes de generar. Hay que definir audiencia, longitud, preguntas obligatorias, términos que deben conservarse y deducciones que no se permiten. Un parte clínico, una sentencia y una transcripción no comparten la misma noción de importancia. Pedir simplemente «resume esto» deja esas decisiones ocultas dentro del modelo y vuelve imposible juzgar si cumplió.

Después conviene conservar un mapa entre cada afirmación de la salida y el pasaje que la respalda. El mapa no convierte automáticamente la frase en verdadera: un fragmento puede contradecir otro o no justificar la inferencia. Sí reduce el coste de revisión y permite etiquetar qué está dicho de forma directa, qué se deduce y qué permanece incierto. En documentos con páginas o secciones estables, esas coordenadas deben acompañar al resumen.

ROUGE mide coincidencia, no verdad

ROUGE, presentado en 2004, compara unidades como n-gramas o subsecuencias entre un resumen candidato y uno o varios textos de referencia. Hace posible evaluar muchas salidas de forma reproducible y puede aportar una señal sobre cobertura léxica. No verifica que una atribución sea correcta ni que dos palabras iguales desempeñen el mismo papel. Dos resúmenes fieles pueden emplear vocabulario distinto; uno infiel puede repetir términos de la fuente.

El límite se comprobó en «On Faithfulness and Factuality in Abstractive Summarization». Sus autores realizaron una evaluación humana amplia de varios sistemas y encontraron contenido no respaldado en todos ellos. Las métricas habituales correlacionaban peor con fidelidad que medidas de inferencia textual. El resultado no dice que todo resumen abstractivo sea falso; demuestra que la fluidez y el solapamiento no bastan para verificarlo.

FactCC abordó el problema entrenando un verificador con transformaciones artificiales y pidiéndole que localizara tanto apoyo como conflicto. Su evaluación humana mostró que los pasajes señalados podían ayudar a revisar. Es una herramienta de asistencia, no un juez definitivo: el entrenamiento parte de tipos de error sintetizados y su rendimiento cambia entre CNN/Daily Mail y XSum. Un detector de inconsistencias también necesita validación en el dominio donde se usará.

Cuatro pruebas en lugar de una nota única

La primera prueba es de cobertura. Antes de ver la salida, una persona enumera hechos, decisiones o cláusulas imprescindibles; después registra cuáles aparecen. Así no se confunde «se parece al resumen de referencia» con «contiene lo que este lector necesita».

La segunda es de fidelidad. Cada afirmación se contrasta con su pasaje y se revisan de forma específica entidades, cantidades, unidades, fechas, negaciones, relaciones causales y quién dijo qué. Las omisiones también se clasifican: no es igual perder un ejemplo que perder la condición que limita una cifra.

La tercera mide calidad de redacción sin dejar que compense errores: coherencia, claridad, ausencia de repeticiones y longitud. La cuarta es extrínseca: se entrega el resumen a usuarios representativos y se comprueba si completan la tarea correcta. Un resumen clínico puede medirse por la información que un profesional recupera; uno de reunión, por decisiones, responsables y plazos correctamente identificados.

Los resultados se presentan por eje y por tipo de documento. Una media global puede ocultar que el sistema funciona bien en textos breves y falla en tablas, anexos o fuentes contradictorias. También deben conservarse los originales, las salidas, instrucciones, parámetros y versiones. Cambiar modelo, ventana, segmentación o formato obliga a revalidar: una mejora de estilo puede empeorar la fidelidad.

Un protocolo de uso que sobrevive al modelo

En operación, la interfaz debería mostrar el resumen junto a los pasajes de respaldo, permitir corregirlos y registrar desacuerdos. En ámbitos de alto impacto, el sistema prepara un borrador; la persona responsable contrasta la fuente antes de decidir. Si falta un dato o dos secciones discrepan, la salida debe declarar el hueco en vez de completar una historia probable.

La pregunta competente no es «¿qué modelo resume mejor?», sino «¿mejor para qué documento, audiencia y coste de error, medido con qué pruebas?». BERT, T5 y PEGASUS describen mecanismos y regímenes distintos; ROUGE aporta una medida parcial; FactCC aporta otra. La confianza aparece cuando cobertura, fidelidad, redacción y utilidad se evalúan por separado y cada afirmación puede volver al documento que la sostiene.