Distancia euclidiana: cuándo «cerca» significa algo

El 12 de enero de 1999, Vladimir Pestov depositó un trabajo que relacionaba la búsqueda por similitud con la concentración de medida en espacios de muchas dimensiones. La fecha importa porque el problema no nació con los actuales modelos de IA: una regla tan familiar como la distancia euclidiana puede perder poder discriminativo cuando la representación crece. Antes de aceptar que dos registros son «cercanos», hay que preguntar qué representa cada coordenada, en qué unidad está y si una línea recta corresponde a la semejanza que interesa.

La fórmula mide una diagonal, no el significado

Dados dos vectores con el mismo número de coordenadas, la distancia euclidiana resta cada par de valores, eleva cada diferencia al cuadrado, suma los cuadrados y toma la raíz cuadrada. Para los puntos (2, 10) y (5, 14), las diferencias son 3 y 4; la suma de cuadrados es 9 + 16 = 25, y la distancia es 5. Es la generalización del teorema de Pitágoras: longitud en línea recta dentro del sistema de coordenadas elegido.

El resultado cumple las propiedades de una métrica. Nunca es negativo; vale cero entre un punto y él mismo; no cambia al intercambiar los puntos; y la ruta directa no supera la longitud de pasar por un tercero. La última condición es la desigualdad triangular. Estas propiedades permiten razonar sobre vecindarios y descartar zonas de búsqueda, pero no dicen que las coordenadas sean apropiadas para el problema.

En ocasiones basta la distancia euclidiana al cuadrado. Eliminar la raíz no cambia el orden de las distancias porque la raíz cuadrada crece de forma monótona para valores no negativos. Puede servir para encontrar el mismo vecino más próximo con menos cálculo. Sin embargo, el cuadrado ya no es una métrica: sobre la recta, entre 0 y 2 da 4, mientras que pasar por 1 suma 1 + 1. Conviene no intercambiar ambas cantidades solo porque producen el mismo ranking.

La escala decide qué coordenada manda

Supongamos que un sistema compara clientes mediante ingresos anuales en euros y antigüedad en años. Una diferencia de 10.000 euros aporta 100.000.000 a la suma de cuadrados; una diferencia de 10 años aporta 100. Sin transformación, los ingresos dominan la distancia, aunque para la decisión concreta la antigüedad pudiera ser igual o más importante. La fórmula no ha fallado: ha ejecutado la ponderación implícita en las unidades.

Una respuesta frecuente es estandarizar cada variable: restar su media y dividir por su desviación típica. La documentación de StandardScaler explica que calcula esas estadísticas en las muestras de entrenamiento y advierte que una característica con varianza varios órdenes de magnitud mayor puede dominar el objetivo. También señala un límite: el método es sensible a valores atípicos. Estandarizar no vuelve equivalentes dos variables por decreto; cambia la pregunta a diferencias expresadas en desviaciones típicas.

La transformación debe aprenderse con el conjunto de entrenamiento y aplicarse después, sin recalcularla con los casos reservados para evaluación. De lo contrario, la media y la escala incorporan información del futuro examen. Además, escalar es una decisión de peso: dividir una coordenada por dos reduce a una cuarta parte su contribución cuadrática. La auditoría debe conservar parámetros, población usada para estimarlos y motivo de cada transformación.

Compartir columnas no garantiza compartir geometría

Dos filas pueden tener la misma forma numérica y aun así vivir en una representación engañosa. La hora 23 y la hora 0 están separadas por 23 unidades si se codifican como números ordinarios, aunque sean horas contiguas del reloj. Una codificación circular con seno y coseno conserva esa vecindad. El cambio no es cosmético: sustituye una recta por un círculo, que es la geometría real de la variable.

Las categorías también exigen cuidado. Con codificación one-hot, dos categorías distintas quedan a distancia raíz de dos entre sí. Eso impone la misma separación entre «rojo» y «azul» que entre «rojo» y «ambulancia». Puede ser una elección razonable cuando solo importa la identidad, pero no representa por sí sola una relación semántica. Los valores ausentes, los indicadores binarios y las coordenadas redundantes añaden decisiones parecidas.

Por eso la afirmación correcta es condicional: la distancia euclidiana mide la longitud entre vectores expresados en el mismo sistema de coordenadas. Cercanía geométrica no implica semejanza útil si las unidades son incompatibles, sobran dimensiones o la representación pierde significado. Puede asignar una observación a su vecino o centroide más próximo después de transformar las variables de forma coherente; no demuestra que esa transformación conserve lo relevante.

Euclídea, Manhattan y coseno responden preguntas distintas

La distancia Manhattan suma diferencias absolutas. La euclidiana eleva las diferencias al cuadrado antes de agregarlas y, por ello, penaliza más una desviación grande concentrada en una coordenada. Ninguna es universalmente superior. Si un desplazamiento solo puede seguir una cuadrícula, Manhattan puede reflejar mejor el recorrido; si la geometría admite una línea recta y las escalas son coherentes, la euclidiana puede ser la opción natural.

La similitud coseno cambia el foco de la magnitud a la dirección. Su definición oficial en scikit-learn es el producto escalar dividido por el producto de las normas. Dos vectores proporcionales apuntan en la misma dirección aunque uno sea mucho más largo. Esto puede ser útil con perfiles donde importa la composición relativa, pero sería una mala elección si el tamaño absoluto contiene la señal que debe conservarse.

Cuando ambos vectores tienen norma euclidiana uno, las dos nociones se conectan: la distancia al cuadrado es 2 menos 2 veces el coseno. En ese caso, ordenar por menor distancia euclidiana equivale a ordenar por mayor similitud coseno. La equivalencia depende de la normalización; fuera de ella, la magnitud vuelve a intervenir. Esta identidad permite descubrir comparaciones que parecen enfrentar métricas cuando en realidad enfrentan preprocesamientos.

Qué cambia al añadir dimensiones

Cada coordenada añade un término no negativo a la suma de cuadrados. Si muchas dimensiones contienen ruido, todas aportan pequeñas diferencias que pueden ocultar las pocas dimensiones informativas. El trabajo de Pestov demuestra, bajo supuestos geométricos expresos, que la maldición de la dimensionalidad en ciertas búsquedas por similitud se relaciona con la concentración de medida. No afirma que toda base de datos de alta dimensión fracase; muestra por qué el vecindario puede dejar de ser selectivo en clases importantes de espacios.

La prueba útil no consiste en repetir que «alta dimensión es mala». Hay que medir la distribución de distancias: vecino más próximo, distancias típicas y puntos lejanos para consultas representativas. Si las diferencias relativas se estrechan al añadir variables, el ranking se vuelve sensible a ruido, redondeos o muestras nuevas. También conviene retirar grupos de coordenadas y comprobar si cambian los vecinos y el rendimiento de la tarea final.

Dimensión de columnas y dimensión intrínseca no son lo mismo. Mil variables pueden describir una estructura de pocos grados de libertad; veinte variables independientes pueden ser más difíciles. La reducción de dimensión puede ayudar si conserva la señal relevante, pero su calidad no se prueba porque un gráfico resulte limpio. Debe validarse con vecinos, decisiones o predicciones fuera de la muestra empleada para ajustar la transformación.

La métrica también cambia el algoritmo

Los métodos de vecinos cercanos usan una distancia para recuperar ejemplos próximos y, por ejemplo, predecir una etiqueta. La guía oficial de vecinos de scikit-learn presenta la euclidiana como la opción más habitual, pero explica que el mejor valor de k depende de los datos: aumentarlo reduce el efecto del ruido y difumina fronteras. También advierte que los empates entre vecinos idénticamente distantes pueden depender del orden de entrenamiento.

El coste computacional tampoco se separa de la geometría. Comparar todos los pares por fuerza bruta crece con muestras y dimensiones. Estructuras como KD-tree descartan regiones mediante cotas de distancia y suelen ser eficaces en baja dimensión; la misma guía señala que pueden perder eficiencia al crecer la dimensión. Elegir métrica implica decidir qué se parece, pero también qué índices y atajos siguen siendo válidos.

La implementación merece una prueba numérica

Una biblioteca no siempre calcula cada resta de manera literal. Para aprovechar operaciones matriciales, la implementación de distancias euclidianas de scikit-learn usa la identidad entre normas y productos escalares. Es eficiente y admite matrices dispersas, pero la documentación avisa de cancelación catastrófica y de que la matriz resultante puede no ser exactamente simétrica. Una propiedad matemática puede sufrir pequeñas desviaciones de coma flotante sin que la definición haya cambiado.

Antes de confiar en una canalización, conviene probar puntos conocidos: distancia cero de cada fila consigo misma; simetría dentro de una tolerancia; el triángulo 3-4-5; y un caso donde una sola unidad cambie. Luego se repite con la escala real, valores extremos, ausentes y tipos numéricos usados en producción. Si una diferencia minúscula altera un desempate o un umbral, el sistema necesita una regla explícita, no más decimales.

Una auditoría de «cercanía» en siete preguntas

Primero: ¿qué representa una fila? Segundo: ¿qué significa cada coordenada y cuál es su unidad? Tercero: ¿qué transformación convierte esas columnas en un espacio comparable y con qué datos se aprendió? Cuarto: ¿por qué línea recta, suma absoluta o dirección corresponden al objetivo? Quinto: ¿cómo se comportan las distancias al añadir o retirar variables? Sexto: ¿el vecino recuperado mejora la tarea en datos no usados para diseñar el sistema? Séptimo: ¿qué coste tiene equivocarse de vecino?

Estas preguntas separan la matemática correcta de la decisión útil. Un cálculo reproducible puede responder fielmente a una representación equivocada; una representación sensata puede fallar al cambiar la población; y una buena recuperación puede alimentar un umbral con costes mal elegidos. El registro debe incluir versión de datos, preprocesamiento, métrica, parámetros, empates, distribución de distancias y resultado posterior, no solo la cifra final.

La capacidad transferible es leer cualquier afirmación de «similitud» como una cadena verificable: representación, escala, geometría, algoritmo y decisión. La distancia euclidiana es una regla precisa, no un certificado de parecido. Cuando alguien diga que dos casos están cerca, ya puede pedir las coordenadas, cambiar una unidad, ensayar otra métrica y comprobar si el vecino sigue siendo el mismo. Ahí empieza la evidencia.