Un agente no es mejor solo por reflexionar más

El 17 de julio de 2026, un equipo de investigadores presentó un experimento poco habitual sobre agentes de IA: en vez de preguntar solo cuántos datos extraen, analiza cómo se comportan mientras trabajan. El preprint compara un flujo fijo de modelos de lenguaje con agentes que pueden usar herramientas, reintentar una tarea, reflexionar sobre un fallo y recuperar memoria de experiencias anteriores. Su mensaje es sobrio: añadir esos componentes cambia mucho la ejecución, pero no garantiza por sí mismo una mejora grande del resultado final.

El mismo trabajo, dos maneras de hacerlo

La prueba consiste en leer artículos académicos en PDF e identificar los conjuntos de datos mencionados. Después el sistema debe crear registros estructurados con el nombre del conjunto, una descripción, el dominio, la referencia del artículo y, cuando exista, un enlace. La evidencia puede aparecer en el resumen, el método, una tabla, un pie de figura, las referencias o el código asociado, por lo que es un buen caso para estudiar decisiones a varios pasos.

El flujo fijo sigue siempre el mismo orden: obtiene el PDF, extrae texto, identifica los nombres de conjuntos de datos y completa sus fichas. Un agente puede detenerse ante una salida incompleta, probar otra herramienta, consultar una memoria o volver a ejecutar un paso con una instrucción distinta. La comparación es útil porque mantiene el mismo corpus, el mismo esquema de salida y la misma familia de modelos; así, las diferencias pueden atribuirse al control de la ejecución y no a un cambio de tarea.

Medir las huellas de la decisión

Los autores llaman a su objetivo «controlabilidad conductual». Para ellos, un agente debe ser observable, configurable, reproducible y comparable. Observable significa conservar trazas de las herramientas usadas, los resultados intermedios, los reintentos y las decisiones de parada. Configurable significa que los límites de reintentos, los umbrales de calidad, la memoria y la reflexión no sean secretos del sistema. Reproducible exige registrar modelos, instrucciones y condiciones de ejecución.

Esta perspectiva desplaza la atención de una cifra única. Dos sistemas pueden devolver el mismo número de registros, pero uno puede haber llegado mediante pasos repetibles y verificables, mientras el otro puede haber hecho llamadas innecesarias, repetido errores o usado memoria irrelevante. Para una organización que necesita auditar extracción de información, esa diferencia importa tanto como la cobertura.

Reflexión y memoria tienen costes

El estudio distingue un flujo S0, un agente con reflexión basada en reglas, otro con reflexión adicional del propio modelo y un diseño S2 con doce herramientas atómicas y selección dinámica. El agente optimizado puede buscar en secciones, tablas y referencias, verificar enlaces y normalizar registros según el estado del documento. Esa variedad permite recuperar evidencia que una secuencia rígida podría pasar por alto.

Pero más acciones también implican más tiempo, más trazas que revisar y nuevas formas de fallo. Los autores señalan que la reflexión del modelo modifica de forma notable las señales de proceso, aunque las mejoras de salida son modestas con un presupuesto fijo de reintentos. Además, la memoria puede ayudar a reutilizar experiencias, pero puede introducir información obsoleta o equivocada si no se filtra.

La prudencia de un experimento controlado

Las pruebas usan artículos de NeurIPS 2024, hasta 50 documentos y un máximo de cinco registros por artículo. No cuentan con una anotación humana exhaustiva de todas las menciones de conjuntos de datos. Por eso las cuentas de registros y la completitud de campos son indicadores de ejecución, no una medida definitiva de precisión o cobertura.

Esa limitación no invalida el trabajo; aclara qué pregunta responde. No demuestra que un agente reflexivo sea universalmente superior. Muestra una forma más exigente de evaluarlo: pedir no solo una respuesta, sino también evidencia de cómo llegó a ella y controles para repetir o corregir su recorrido. En sistemas que actúan con herramientas, entender el proceso puede ser la condición para confiar razonablemente en el resultado.