Manus y la prueba de los agentes: hacer una tarea no es demostrar autonomía

El 6 de marzo de 2025, Manus se presentó como un «agente general» capaz de recibir un objetivo y entregar un resultado terminado: investigar candidatos, comparar viviendas, analizar datos o construir una página. Su vídeo oficial de presentación muestra planificación, navegación y ejecución dentro de un ordenador virtual. La demostración atrajo una atención enorme y acceso por invitación, pero una selección de casos exitosos no permite calcular cuántas tareas fallan ni cuánto trabajo humano hubo detrás.

La comparación con DeepSeek confunde dos capas. DeepSeek destacó por modelos fundacionales: sistemas que predicen y generan contenido. Manus es un producto agente que puede apoyarse en modelos de terceros y añadirles instrucciones, memoria, herramientas, un entorno de ejecución y un bucle que observa resultados y decide el siguiente paso. Evaluarlo solo por el modelo subyacente sería como juzgar un servicio de reparto por el motor de la furgoneta.

Qué convierte a un chatbot en agente

Un chatbot produce una respuesta. Un agente mantiene un estado y encadena acciones para cambiar algo fuera de la conversación. Una arquitectura mínima recibe un objetivo, lo divide en pasos, elige una herramienta, ejecuta, observa qué ocurrió, corrige el plan y decide cuándo terminar. Puede abrir páginas, escribir código, leer archivos o generar un artefacto. El valor aparece en el bucle, no en la etiqueta «autónomo».

Ese bucle ya existía en otros productos. OpenAI describió deep research el 2 de febrero como una capacidad que busca, interpreta y sintetiza fuentes durante varios pasos, con navegación y Python. Hugging Face publicó dos días después una reproducción abierta de un agente de investigación y explicó sus piezas: un modelo, un marco que organiza acciones y herramientas para buscar o ejecutar código. Manus amplía la promesa hacia productos finales más variados, pero no inventa la estructura agente.

«Autónomo» tampoco significa «sin supervisión». Un usuario define el objetivo, aporta permisos, puede intervenir y valida el resultado. El equipo del proveedor selecciona herramientas, límites y mensajes del sistema. Si una persona debe corregir el tercer paso, la tarea puede seguir siendo útil, aunque la autonomía sea parcial. Conviene medir niveles: sugerir acciones; ejecutar con confirmación; ejecutar dentro de un recinto; o actuar en sistemas externos sin aprobación. Cada nivel cambia el riesgo.

Lo que GAIA mide y lo que deja fuera

Manus apoyó parte de su lanzamiento en resultados de GAIA. El paper original de GAIA describe 466 preguntas que exigen razonamiento, navegación web, uso de herramientas y, a veces, archivos o imágenes. Las respuestas son breves y verificables; 300 permanecen ocultas para sostener un marcador privado. Los niveles aproximan el número de pasos y herramientas necesarios. Es una prueba más cercana a la ejecución que un examen de opción múltiple.

El propio paper aporta un control que ayuda a interpretar el marcador: sus participantes humanos resolvieron el 92% de las preguntas, frente al 15% de GPT-4 con complementos en la evaluación publicada en 2023. Esa brecha no es una clasificación vigente de productos ni una comparación directa con Manus; fija el propósito de GAIA: medir robustez en tareas sencillas para una persona pero difíciles para un sistema. Por eso una mejora porcentual debe leerse contra versión, herramientas y fecha del experimento, no como una medida universal de autonomía.

Sin embargo, acertar una respuesta de GAIA no equivale a completar con seguridad un encargo empresarial. El propio diseño aclara que la interacción web se limita esencialmente a clics: no pretende evaluar publicar comentarios, reservar reuniones o realizar acciones que podrían generar spam. Tampoco mide bien el coste monetario, el tiempo, la cantidad de reintentos, el daño de una acción equivocada o la facilidad con que un tercero manipula al agente mediante una página.

Hay que pedir el protocolo antes de aceptar una tabla. ¿Se evaluó el conjunto público o el privado? ¿Es pass@1, el primer intento, o se elige entre muchas ejecuciones? ¿Qué herramientas estaban disponibles? ¿Cuánto tiempo y presupuesto recibió cada tarea? ¿Se contó una intervención humana? Hugging Face informó en febrero de un 55,15% en la validación de GAIA para su reproducción abierta y mostró que sustituir acciones escritas como código por acciones en JSON bajaba mucho el resultado. La observación enseña algo importante: el armazón puede cambiar el rendimiento aunque el modelo sea el mismo.

El test que un usuario sí puede reproducir

Antes de confiar una tarea real a Manus o a cualquier agente, conviene construir una prueba pequeña con diez encargos representativos. No deben ser demos bonitas, sino trabajo cotidiano: una fuente que no responde, dos archivos con nombres similares, una cifra contradictoria, una instrucción ambigua y un formulario que nunca debe enviarse sin aprobación. Hay que fijar de antemano qué salida cuenta como correcta y qué acción está prohibida.

El registro mínimo tiene seis columnas. Resultado: ¿entregó el artefacto pedido? Exactitud: ¿cada dato puede comprobarse? Proceso: ¿la traza permite ver fuentes y acciones? Recuperación: ¿detectó un error y cambió de estrategia? Recursos: ¿cuánto tiempo, llamadas y dinero consumió? Seguridad: ¿respetó permisos y pidió confirmación antes de una acción irreversible? Un porcentaje de tareas «terminadas» que ignora cualquiera de esas columnas puede premiar un sistema rápido pero peligroso.

La prueba debe ejecutarse varias veces. Los modelos generan resultados variables y la web cambia; un único éxito puede ser suerte. Tres intentos por tarea permiten observar dispersión. También conviene comparar contra dos bases: una persona con herramientas normales y el mismo modelo usado como chatbot. Si el agente no mejora tiempo o calidad respecto al chat, su autonomía añade complejidad sin beneficio.

Para tareas sensibles, el entorno importa tanto como la inteligencia. El agente debería empezar en una caja aislada, con datos ficticios, credenciales limitadas, lista explícita de dominios y capacidad de lectura antes que escritura. Las acciones externas —enviar, comprar, borrar, publicar— necesitan una barrera de confirmación. La pantalla que muestra «el ordenador del agente» es útil para observar, pero una animación visible no sustituye un registro exportable y permisos verificables.

Cuatro fallos que una demo suele ocultar

El primero es la terminación falsa: el agente declara éxito aunque falte un archivo o una página contenga datos inventados. El segundo es el bucle, cuando repite búsquedas o llamadas y eleva coste sin avanzar. El tercero es la deriva de objetivo: optimiza una parte fácil y olvida la condición que daba sentido al encargo. El cuarto es la inyección de instrucciones: una web o documento le ordena revelar información o ignorar al usuario.

Estos fallos no vuelven inútiles a los agentes. Cambian el lugar donde debe ponerse la ingeniería. Hace falta validar entregables, limitar pasos y presupuesto, separar contenido no confiable de instrucciones, conceder la capacidad mínima y hacer que un humano apruebe los efectos importantes. La calidad del modelo ayuda a planificar, pero no elimina controles que también serían necesarios con un empleado nuevo.

Más allá del «segundo DeepSeek»

A 6 de marzo, la afirmación sólida sobre Manus es limitada: existe una demostración oficial de un agente que combina planificación y herramientas, la empresa declara buenos resultados en GAIA y el acceso público es demasiado restringido para una evaluación independiente amplia. No hay base para afirmar que sea el primer agente general, que trabaje siempre sin supervisión o que un marcador pruebe superioridad en todas las tareas.

La noticia útil no es que China haya producido otro símbolo viral, sino que la competencia se desplaza del modelo aislado al sistema que lo rodea. Un agente es modelo más herramientas, estado, permisos, verificadores y estrategia de recuperación. El lector que conserve esa fórmula podrá juzgar el siguiente lanzamiento: no preguntará qué vídeo parece más autónomo, sino qué porcentaje de tareas reales termina correctamente, a qué coste, con qué trazabilidad y sin cruzar qué límites.