AgentFAIR propone auditar datos geográficos con agentes de IA

El 17 de julio de 2026, los investigadores Ming Chen y Pranav Pai presentaron AgentFAIR, un sistema de agentes de IA diseñado para revisar si un conjunto de datos geográficos cumple los principios FAIR: que sea localizable, accesible, interoperable y reutilizable. El trabajo es un preprint y sus resultados deben leerse como una evaluación inicial, no como una certificación definitiva de la calidad de los datos.

No es la «fairness» de los algoritmos

Aquí FAIR no habla de sesgo o justicia algorítmica. Es el acrónimo de Findable, Accessible, Interoperable and Reusable, cuatro cualidades que hacen que un dato científico pueda encontrarse, entenderse por una máquina, combinarse con otros y volver a utilizarse. En los datos geográficos la tarea se complica: además de un título y una licencia, importan elementos como el sistema de coordenadas, la extensión espacial y temporal, los formatos o los servicios que permiten acceder a las capas.

Los autores parten de un problema muy concreto. Las herramientas automáticas existentes no siempre coinciden porque aplican reglas, fuentes de evidencia y escalas distintas. En su diagnóstico de 50 conjuntos de datos procedentes de diez repositorios, la desviación media entre herramientas normalizadas fue de 15 puntos porcentuales y llegó a 30,3 puntos en un caso. Eso no prueba cuál herramienta «acierta» más; muestra que una cifra aislada puede ocultar criterios incompatibles.

Trece revisores y una capa de crítica

AgentFAIR combina extracción tradicional de metadatos con modelos de lenguaje. Primero carga la página de un conjunto de datos, incluso cuando parte de la información se genera con JavaScript, y reúne señales de HTML, JSON-LD, RDF/XML, DataCite y otros formatos. Después reparte la revisión entre 13 agentes especializados, uno por cada subprincipio FAIR. Cada uno asigna una madurez de 0 a 3, señala la evidencia que sostiene su decisión y propone una mejora.

La pieza distintiva es un agente crítico. No decide si un dato es bueno por intuición: revisa si hay evidencia para la puntuación y si dos conclusiones se contradicen. Si falta una prueba o la confianza es baja, puede pedir una reevaluación focalizada. El sistema deja como resultado un informe legible, un JSON, una base de evidencia SQLite y trazas locales para poder revisar de dónde salió cada recomendación.

Qué encontraron, y qué no demuestran

En su muestra, los autores informan de medias del 79,7% para localización, 70,4% para accesibilidad, 45,3% para interoperabilidad y 72,0% para reutilización. La interoperabilidad aparece como el punto más débil: no basta con que un archivo esté publicado; sus metadatos y convenciones deben poder dialogar con los de otros sistemas. En un subconjunto de diez conjuntos analizado repetidamente, el acuerdo por subprincipio fue del 89% con el crítico y del 71% al retirarlo. También comunican un coste aproximado de 0,054 dólares por conjunto evaluado.

Son resultados prometedores, pero el propio artículo marca límites importantes. Solo estudia 50 conjuntos, las comparaciones con herramientas de referencia no equivalen a una medida de exactitud y la validación se realizó con una sola familia de modelos. La revisión con expertos abarcó 15 conjuntos y alcanzó un 82% de alineación, una señal útil pero todavía pequeña para declarar que el método generaliza.

La utilidad está en poder discutir la nota

La aportación más interesante no es que una IA entregue otra puntuación global. Es que puede convertir una auditoría tediosa en una conversación verificable: «esta licencia no está expresada de forma reutilizable», «falta un identificador persistente» o «el sistema de referencia de coordenadas no aparece con un estándar reconocible». Para quienes custodian datos ambientales, urbanos o climáticos, esa diferencia importa porque permite corregir el problema concreto.

El código se publica bajo licencia AGPL-3.0 y el repositorio advierte de que no incluye los resultados brutos del benchmark ni una batería exhaustiva de pruebas; además, su servicio local no está preparado para exponerse sin más a Internet. AgentFAIR no sustituye la revisión experta. Propone, más modestamente, que los agentes hagan visible la evidencia que un experto necesita para decidir si unos datos están realmente listos para ser reutilizados.

FAIR no es una nota de calidad universal

Los principios FAIR originales describen condiciones para que datos y metadatos puedan encontrarse y reutilizarse por personas y máquinas. No dicen que el contenido sea correcto, representativo o adecuado para cualquier investigación. Un conjunto puede tener identificador persistente, licencia y formato interoperable, y contener mediciones sesgadas. También puede ser científicamente valioso y obtener una nota baja porque su documentación es insuficiente.

Por eso conviene leer los cuatro ejes por separado. Localizable pregunta si existen identificadores y metadatos que permiten descubrir el recurso. Accesible pregunta mediante qué protocolo y bajo qué condiciones se recupera. Interoperable observa vocabularios, formatos y referencias que otros sistemas pueden interpretar. Reutilizable exige procedencia, licencia, contexto y detalle suficiente para otro uso. Compensar una debilidad grave con un promedio alto escondería justamente el trabajo que una auditoría debería señalar.

Cómo auditar al auditor

La primera prueba es conservar evidencia. Cada puntuación debe apuntar al campo, documento o respuesta del servicio que la produjo, junto con la fecha de consulta. Si la página cambia, el equipo necesita saber qué vio el sistema. El preprint de AgentFAIR convierte esa trazabilidad en una parte del diseño, pero la utilidad depende de que las citas sean específicas y de que los materiales dinámicos puedan volver a examinarse.

La segunda es fijar la rúbrica antes de mirar el resultado. Dos herramientas pueden usar la misma palabra y exigir pruebas distintas. Una puede aceptar una licencia escrita en texto libre; otra puede pedir un identificador normalizado. El desacuerdo no se resuelve escogiendo la nota más alta. Se resuelve publicando qué evidencia satisface cada nivel y probando casos conocidos que deberían aprobar o fallar.

La tercera es separar consistencia de exactitud. Repetir una evaluación y obtener respuestas parecidas indica estabilidad, no que la respuesta sea correcta. Comparar con expertos ayuda, pero también requiere una guía común y registrar sus desacuerdos. El archivo de software en Zenodo permite fijar una versión del artefacto; futuras evaluaciones deberían fijar también modelos, instrucciones y dependencias para que una mejora o regresión pueda atribuirse.

La cuarta es probar entradas adversas y ausentes. Una página puede incluir metadatos contradictorios, una licencia visible pero no legible por máquina, enlaces rotos o instrucciones maliciosas destinadas al agente. Un evaluador que navega contenido externo necesita tratarlo como datos, no como órdenes. El propio trabajo incluye un límite de seguridad local; desplegarlo como servicio público requiere aislamiento, límites y revisión adicionales.

La capacidad transferible es rechazar la puntuación global hasta poder seguir su evidencia. Ante cualquier auditor automático de datos, hay que pedir rúbrica, versión, trazas, casos de prueba y separación entre consistencia y exactitud. La buena automatización no reemplaza la discusión sobre la nota: la hace reproducible.

El resultado más útil de una evaluación puede ser «no sabemos». Si la licencia no aparece, el sistema debe distinguir entre licencia ausente, página inaccesible y extractor incapaz de leerla. Esos estados conducen a acciones diferentes y no deberían recibir la misma explicación segura. La incertidumbre bien registrada ayuda a priorizar revisión humana. La certeza inventada, en cambio, convierte una limitación del evaluador en una acusación contra el conjunto de datos. Un informe digno conserva también los conflictos sin resolver.