FlowEval quiere medir si una interfaz creada por IA se puede usar, no solo si parece buena

El 5 de mayo de 2026, un equipo con participación de Apple y colaboradores académicos presentó FlowEval para evaluar interfaces generadas por IA. Una interfaz creada por un agente de código puede tener botones, tarjetas y una tipografía convincente, pero eso no demuestra que una persona pueda completar la tarea para la que se diseñó.

La propuesta no pide a otro modelo que mire una captura y dé una nota. Parte de una web de referencia que se considera funcional, ejecuta tareas concretas en ella y en una versión generada, y compara las huellas de ambos recorridos. Si los pasos, pantallas y transiciones de la interfaz generada se parecen a los de la referencia, la puntuación sube.

Medir un flujo, no solo una pantalla

FlowEval usa un agente de uso de ordenador para abrir el sitio de referencia y el análogo generado, mover el ratón, escribir, pulsar y capturar pantallas mientras ejecuta una tarea. Cada recorrido se transforma en una secuencia de representaciones visuales. Después, el sistema calcula cuánta similitud hay entre secuencias con métricas tomadas de otros campos del aprendizaje automático.

Una de ellas es el alineamiento temporal dinámico, que permite comparar dos recorridos aunque tengan diferente duración. Otra busca solapamientos entre fragmentos de las secuencias. La que mejor funcionó en el estudio fue Word Mover’s Distance, una medida de distancia entre distribuciones que aquí se aplica a las representaciones de los estados de pantalla.

El objetivo práctico es importante: una empresa puede elegir diseños y tareas de referencia que expresen su propio lenguaje de producto. Así, en lugar de preguntar a un juez automático si una pantalla parece buena en abstracto, se comprueba si el resultado soporta un flujo que el equipo ya ha validado.

Qué encontraron los autores

Para estudiar si la métrica se acerca al criterio humano, los investigadores generaron 945 interfaces a partir de 27 sitios de referencia, siete modelos de generación de código y cinco repeticiones por prompt. Después recogieron 429 comparaciones ciegas entre pares de webs generadas. Dos evaluadores expertos en interacción persona-ordenador probaron las interfaces y eligieron cuál funcionaba mejor.

Según el preprint, Word Mover’s Distance alcanzó una correlación de Spearman de 0,96 con la clasificación de esos expertos y un 73,0% de acuerdo binario. En esa prueba también superó a un juez multimodal basado en modelo de lenguaje. Es un resultado prometedor porque ofrece una puntuación explicable: el equipo puede revisar en qué punto del flujo se alejaron los recorridos.

Pero las cifras deben leerse como una demostración de viabilidad. La validación tuvo solo dos anotadores y un agente de navegación. Además, los modelos generaron las páginas en una sola pasada con requisitos estructurados, algo más claro que muchas peticiones reales a un asistente de código. Los autores reconocen que los agentes y las APIs cambian rápido, y que un agente de navegación débil puede fallar incluso si la interfaz está bien implementada.

Una pieza de la evaluación, no el veredicto completo

La calidad de una interfaz no cabe en un único recorrido. Accesibilidad, rendimiento, seguridad, estética, comprensión del contenido y satisfacción de las personas siguen requiriendo otras pruebas. Una interfaz muy original también puede apartarse de una referencia por una buena razón, y los flujos de los benchmarks públicos no cubren todos los casos con inicio de sesión, pagos o estados complejos.

Por eso FlowEval resulta más útil como complemento que como sustituto de la revisión humana. Para equipos que piden interfaces a agentes de código, ofrece una pregunta concreta y automatizable: ¿esta versión permite hacer lo que una buena referencia permite hacer? Convertir esa pregunta en trazas y compararlas puede ayudar a detectar antes los fallos que una captura bonita deja escondidos.