Big Data

El término Big Data designa conjuntos de datos tan grandes, tan veloces o tan heterogéneos que desbordan las herramientas convencionales de almacenamiento y análisis, junto con las técnicas creadas para capturarlos, guardarlos y explotarlos. No es una tecnología concreta ni un umbral fijo de gigabytes, sino un problema de ingeniería y un campo de práctica: cómo extraer información útil de datos que crecen más rápido de lo que una sola máquina puede procesar.

La expresión se popularizó en los años 2000, cuando la web, los sensores y los dispositivos móviles empezaron a generar volúmenes que las bases de datos relacionales tradicionales no absorbían con comodidad.

Las tres V (y las que llegaron después)

El marco más citado para describir Big Data son las «tres V», formuladas por el analista Doug Laney en una nota de investigación de META Group publicada en 2001, titulada «3D Data Management». Laney identificó tres ejes: volumen (la cantidad de datos), velocidad (el ritmo al que se generan y deben procesarse) y variedad (la mezcla de formatos, de tablas ordenadas a texto, imágenes o registros de sensores). Más tarde, otros actores del sector ampliaron la lista: IBM añadió la veracidad (la fiabilidad y la calidad de los datos) y Oracle sumó el valor (la utilidad real que se extrae). No hay consenso sobre cuántas «uves» existen ni sobre un umbral fijo que separe el Big Data del dato ordinario: conviene tomarlas como regla mnemotécnica útil, no como definición matemática.

De Hadoop y Spark a la nube y el lakehouse

La primera generación de herramientas nació para repartir el trabajo entre muchos ordenadores baratos. Apache Hadoop, con su sistema de ficheros HDFS y el modelo de programación MapReduce, y más tarde Apache Spark, que aceleró el procesamiento en memoria con sus RDD (conjuntos de datos distribuidos resilientes), marcaron la década de 2010. No forman una generación cerrada ni obsoleta: siguen siendo familias activas y cada despliegue responde a requisitos distintos. El estado actual se apoya en almacenes de datos en la nube como Snowflake o Google BigQuery, que separan el almacenamiento del cómputo y escalan bajo demanda; en el patrón lakehouse, que combina la flexibilidad del lago de datos con las garantías del almacén mediante formatos de tabla abiertos como Delta Lake (Databricks) o Apache Iceberg (nacido en Netflix); y en el procesamiento en streaming con Apache Kafka —creado en LinkedIn— y Apache Flink para datos en movimiento.

Gobernanza del dato

Acumular datos sin control ya no se considera una virtud. La gobernanza agrupa las prácticas que mantienen un acervo de datos fiable y utilizable: la calidad (que los datos sean correctos y completos), el linaje (poder rastrear de dónde viene cada dato y cómo se transformó), el catálogo (saber qué se tiene y qué significa) y la privacidad y el cumplimiento normativo, con regulaciones como el RGPD europeo que obligan a saber dónde están los datos personales y con qué fin se usan.

Big Data e IA

La relación entre Big Data e inteligencia artificial es real, pero conviene enunciarla con sobriedad. Los grandes modelos de aprendizaje automático se entrenan con volúmenes enormes de datos, y sin esa materia prima no existirían en su forma actual. Pero el dato masivo no «da» inteligencia por sí solo: sin datos de calidad, sin objetivos claros y sin métodos adecuados, más datos solo producen más ruido. Big Data aporta la infraestructura y la materia prima; la utilidad depende de qué se pregunta y de cómo se procesa.