Integración de Datos

La integración de datos es el proceso de combinar información procedente de fuentes heterogéneas —bases de datos relacionales, APIs, ficheros, hojas de cálculo, sensores o servicios en la nube— para ofrecer al usuario una vista unificada y coherente, como si toda esa información residiera en un único lugar. No consiste en copiar datos de un sitio a otro, sino en reconciliar su significado: alinear esquemas distintos, resolver identidades duplicadas y garantizar que las cifras cuadren.

Conviene distinguirla de la simple ingesta. Ingerir es mover datos; integrar es reconciliar su semántica. Maurizio Lenzerini, en su influyente trabajo «Data Integration: A Theoretical Perspective» (2002), formalizó un sistema de integración como la relación entre un esquema global, los esquemas de las fuentes y el mapeo que los conecta. Esa tensión entre lo que el usuario quiere ver y cómo están realmente almacenados los datos es el corazón del problema.

Los problemas centrales: esquemas, entidades y calidad

El primer obstáculo es la heterogeneidad de esquemas: dos fuentes pueden llamar «cliente» y «customer» al mismo concepto, o repartir una dirección en campos distintos. Alinearlas es el schema matching y el schema mapping, temas centrales en «Principles of Data Integration» de Doan, Halevy e Ives. El segundo es la resolución de entidades (también deduplicación o record linkage): decidir que «J. Pérez, Madrid» y «Juan Pérez, ES» son la misma persona pese a no compartir clave. Elmagarmid, Ipeirotis y Verykios recopilaron estas técnicas en «Duplicate Record Detection: A Survey» (2007). El tercero es la calidad y consistencia: valores ausentes, formatos incompatibles o contradicciones entre fuentes que hay que reconciliar antes de fiarse del resultado.

Arquitecturas: del ETL al lago de datos

El enfoque clásico es el ETL (extraer, transformar, cargar): se extraen los datos, se limpian y transforman, y se cargan en un almacén de datos o data warehouse, cuyas prácticas popularizaron Bill Inmon y Ralph Kimball en los años noventa. Con el abaratamiento del almacenamiento surgió el ELT, que carga primero y transforma después, y el lago de datos o data lake —término acuñado por James Dixon en 2011— que guarda los datos en su formato natural. Frente a estas soluciones materializadas existe la integración virtual o federada, que deja los datos en origen y los combina en el momento de la consulta.

Por qué importa para la inteligencia artificial

Un modelo de aprendizaje automático es tan bueno como los datos que lo alimentan. Antes de entrenar hay que reunir señales dispersas en un conjunto coherente: la integración es condición previa, no un lujo posterior. Una mala resolución de entidades duplica ejemplos y sesga el modelo; los esquemas mal alineados introducen ruido silencioso. Por eso la integración de datos enlaza directamente con la ingeniería de características y con el gobierno del dato —marcos como DAMA-DMBOK insisten en ello—, disciplinas que aseguran que lo que llega al modelo sea fiable, trazable y de significado consistente.