Tener fuentes no basta: cómo comprobar una respuesta de IA con RAG

Una cita no es un veredicto

Una herramienta de IA responde una pregunta, muestra enlaces y parece haber resuelto el problema de la fiabilidad. Pero hay una diferencia que conviene aprender a ver: que el sistema haya encontrado un documento no significa que ese documento pruebe la frase que acaba de escribir. Una fuente puede hablar del mismo asunto, ser antigua, describir otra población o incluso contradecir el resumen.

Esa diferencia importa cada vez que una respuesta vaya a orientar una compra, una decisión profesional, una clase, una noticia o una conclusión técnica. El objetivo no es desconfiar por sistema de toda respuesta con RAG, sino dejar de delegar el último paso: comprobar la relación entre una afirmación y su evidencia.

La capacidad que te llevas: separar recuperación, atribución y respaldo; después revisar con cinco preguntas si una fuente sostiene la afirmación que la IA le asigna.

Qué hace RAG —y qué no hace

RAG significa retrieval-augmented generation: antes o mientras redacta, el sistema busca pasajes en una colección de documentos y los incorpora como contexto. El artículo que popularizó el enfoque, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, combinaba la memoria aprendida del modelo con un índice recuperable de Wikipedia. Es una idea útil: acerca la respuesta a información identificable y permite actualizar la colección sin reentrenar todo el modelo.

Pero el mecanismo tiene dos pasos distintos. Primero, un recuperador selecciona pasajes que parecen relevantes para la pregunta. Después, un generador redacta una respuesta a partir de esos pasajes y de sus propias pautas. Ninguno de los dos pasos garantiza por sí solo que cada oración esté justificada. El recuperador puede traer un texto cercano pero insuficiente; el generador puede ampliar una frase prudente hasta una conclusión rotunda.

Por eso conviene nombrar cuatro niveles, de menor a mayor exigencia:

1. Recuperación: el sistema encontró un documento relacionado.
2. Atribución: señala qué documento o pasaje dice haber usado.
3. Respaldo: ese pasaje realmente implica la afirmación concreta, con el mismo alcance y condiciones.
4. Cobertura: las fuentes respaldan todas las afirmaciones materiales, incluidos límites y excepciones.

Muchos productos enseñan bien los dos primeros niveles. El usuario necesita comprobar los dos últimos. El marco académico AIS, “Attributable to Identified Sources”, se diseñó justamente para preguntar si una afirmación generada sobre el mundo exterior puede verificarse en una fuente identificada. No mide si el enlace queda elegante al final del párrafo; examina la relación entre enunciado y fuente.

El protocolo de cinco preguntas

Imagina que la IA escribe: «Esta técnica reduce los errores un 40%» y añade un enlace. Antes de repetirlo, recorre estas cinco preguntas.

1. ¿Cuál es la afirmación exacta?

Separa la frase en piezas: ¿qué técnica?, ¿qué error?, ¿frente a qué comparación?, ¿en qué población?, ¿durante cuánto tiempo? “Reduce errores” no es lo mismo que “mejora una métrica en un conjunto de prueba”. Las respuestas de IA suelen empaquetar varios saltos en una oración lisa. Cuanto más importante sea la decisión, más pequeñas deben ser las unidades que verificas.

2. ¿La fuente es la original y está disponible?

Abre el enlace. Una nota de prensa puede describir un estudio, pero no sustituye al estudio; un blog puede resumir una norma, pero no sustituye a la norma. Busca el paper, el expediente, la documentación técnica, el conjunto de datos o la página oficial pertinente. Si solo hay un resumen secundario, la afirmación merece una etiqueta mental: aún no verificada en origen.

Tampoco basta con que el dominio sea prestigioso. Una fuente primaria puede ser parcial si pertenece a quien vende el producto; eso no la invalida, pero cambia lo que puede demostrar. Puede acreditar qué declara una empresa o cómo configuró una prueba; quizá no basta para demostrar que el resultado se repetirá fuera de ella.

3. ¿El pasaje dice eso, o solo habla de algo parecido?

Esta es la prueba central. Localiza el párrafo, tabla o cita exacta y compara sujeto, verbo, número, fecha y condición. Una fuente que dice “en nuestros experimentos” no respalda “en la práctica”. Una que dice “puede ayudar” no respalda “elimina”. Una que estudia adultos no demuestra un efecto en menores.

Lee también la frase anterior y la siguiente. Los límites suelen vivir allí: una exclusión, una advertencia metodológica, una condición de licencia. La investigación de GopherCite, publicada en 2022, es especialmente útil como recordatorio: sus autores entrenaron modelos para citar evidencia específica y concluyeron que citar es solo una parte de una estrategia de confianza; incluso una afirmación apoyada por evidencia no tiene por qué ser verdadera. La cita hace el examen posible; no lo aprueba por adelantado.

4. ¿Cubre la respuesta completa?

Una respuesta puede tener una buena cita para su frase inicial y dejar sin apoyo la conclusión que de verdad importa. Marca las afirmaciones materiales: cifras, causalidades, comparaciones, recomendaciones y predicciones. Después pregunta cuál fuente respalda cada una.

Un patrón de alarma frecuente es la cita única al final de un párrafo largo. Puede respaldar una sola oración, no las cinco anteriores. Otro es usar tres enlaces para dar sensación de solidez cuando todos proceden de la misma nota o repiten el mismo comunicado. Tres ecos no son tres comprobaciones independientes.

5. ¿Sigue siendo aplicable a esta pregunta?

Verifica fecha, versión, jurisdicción y contexto. Una guía de 2023 puede estar sustituida; una política de Estados Unidos quizá no aplica en España; una documentación de una versión anterior no describe el producto actual. RAG suele ser muy bueno recuperando textos relacionados, pero no siempre sabe cuál es el vigente ni qué permiso tienes para usarlo. Si la respuesta no muestra fecha o versión, pídela.

Cómo usarlo sin convertirte en auditor a tiempo completo

No hace falta auditar cada frase de una consulta trivial. Ajusta el esfuerzo al daño posible. Para una receta o una lluvia de ideas, puede bastar con tratar la respuesta como borrador. Para salud, derecho, dinero, seguridad, investigación o una decisión que afecte a otra persona, abre las fuentes y comprueba las afirmaciones que cambian la decisión. Si no puedes abrirlas, no conviertas la respuesta en una certeza.

También puedes mejorar la pregunta. Pide: “Separa hechos de inferencias; cita el pasaje exacto para cada afirmación; indica fecha y versión; di qué no cubren tus fuentes”. No obliga al sistema a acertar, pero hace visibles los huecos y te entrega un objeto verificable en vez de una prosa persuasiva.

La pista que conviene conservar

La lección no es “las citas de IA son falsas”. Es más precisa: una cita es una pista hacia una comprobación, no la comprobación misma. RAG reduce una dificultad importante al traer documentos al momento de responder. Sigue quedando la tarea humana de comprobar si el documento respalda la frase, si cubre la conclusión y si sigue aplicando.

Cuando aparezca la próxima interfaz que prometa respuestas “con fuentes”, no preguntes solo “¿tiene enlaces?”. Pregunta: ¿qué afirmación prueba cada uno, en qué pasaje y con qué límite? Esa costumbre seguirá sirviendo aunque cambien el modelo, el buscador o el nombre comercial.