Motorway reduce los fallos de su agente de IA con evaluación continua

Motorway, un mercado británico de vehículos usados, ha reducido los resultados incorrectos de su agente de IA de uno por cada ocho consultas a uno por cada 50. La mejora procede de un sistema de evaluación desarrollado con AWS que prueba el agente antes de publicarlo y vigila su comportamiento una vez está en producción.

El caso importa porque los agentes no se limitan a redactar una respuesta: eligen herramientas, aplican filtros, consultan bases de datos y mantienen el contexto de una conversación. Un error en cualquiera de esos pasos puede devolver al cliente un coche que no cumple sus requisitos, incluso si la explicación del sistema parece convincente.

Un buscador que debe entender peticiones imprecisas

Motorway organiza una subasta diaria en la que hasta 8.000 concesionarios pujan por hasta 2.500 vehículos. Su agente permite buscar el inventario mediante lenguaje natural, en lugar de obligar a navegar durante horas por hojas CSV y filtros rígidos.

El sistema expone ocho herramientas que combinan filtros estructurados sobre más de 89 atributos de cada vehículo con búsqueda semántica. Esta última transforma el significado de una consulta en representaciones numéricas para localizar resultados parecidos aunque el usuario no emplee los términos exactos del catálogo.

Así, una consulta para encontrar SUV diésel por debajo de 25.000 libras cerca del concesionario requiere interpretar combustible, tipo de coche, presupuesto y ubicación. Otra petición sobre un vehículo deportivo y automático para una familia exige decidir qué parte debe resolverse con filtros y qué parte con una búsqueda más abierta.

Con unos 1.500 usuarios concurrentes en las horas de mayor actividad, la compañía no puede tratar esos fallos como casos aislados. Una selección errónea de herramienta, parámetros mal enviados o la pérdida de una restricción introducida en un turno anterior pueden erosionar rápidamente la confianza de los concesionarios.

Tres controles antes de poner el agente en marcha

La arquitectura usa Strands Agents SDK para construir el agente y Amazon Bedrock AgentCore para ejecutarlo y supervisarlo. AWS describe AgentCore como un servicio gestionado para desplegar y operar agentes a escala.

La evaluación se divide en dos fases. Durante el desarrollo y la integración continua, el equipo usa la biblioteca de código abierto strands-agents-evals para ejecutar casos de prueba. Después del despliegue, AgentCore Evaluations analiza el comportamiento real para detectar errores que las pruebas sintéticas no habían cubierto.

El control se organiza en tres capas:

• Uso de herramientas: verifica que el agente elige la herramienta adecuada y transmite los parámetros correctos. El umbral exigido es superior al 95%.
• Razonamiento: evalúa si las decisiones que llevan a una respuesta son coherentes. Debe superar el 85%.
• Calidad de la respuesta: mide si el resultado final es útil, preciso y accionable, con un mínimo del 90%.

Los dos primeros elementos no son equivalentes. Un agente puede mostrar al usuario una respuesta aparentemente correcta tras haber seguido una ruta poco sólida. Ese comportamiento tiende a fallar cuando cambian las condiciones o la consulta se formula de otro modo.

Para comprobar el uso de herramientas se emplean evaluadores deterministas: código que compara la acción realizada con la acción esperada. En cambio, razonamiento y calidad de salida se revisan con un modelo de lenguaje que actúa como juez. Este enfoque, conocido como LLM-as-judge, da flexibilidad para valorar respuestas abiertas, pero también introduce variabilidad.

Repetir la prueba para medir la consistencia

El problema de la variabilidad es central en los agentes basados en modelos de lenguaje. La misma petición puede producir trayectorias distintas en ejecuciones diferentes. Por ello, el sistema propone la métrica pass^k: una prueba se ejecuta varias veces y se mide si el agente supera el criterio de forma consistente, no solo en un intento favorable.

La combinación de pruebas previas y vigilancia en producción ha reducido además el tiempo para detectar incidencias desde unas horas a unos minutos, según AWS y Motorway. La canalización de despliegue incorpora cinco etapas con puertas de calidad que bloquean una publicación si alguna métrica cae por debajo de los umbrales fijados.

El resultado es una lección práctica para empresas que quieren usar agentes en procesos comerciales: no basta con demostrar que el asistente responde bien en una demostración. Hay que comprobar qué herramientas activa, qué datos utiliza, cómo conserva las restricciones del usuario y si mantiene el rendimiento cuando la misma tarea se repite. En servicios donde una mala recomendación afecta directamente a una venta, la evaluación deja de ser una fase final y pasa a formar parte del producto.