Detección de Anomalías

La detección de anomalías —también conocida como detección de valores atípicos u outliers— es la tarea de identificar observaciones que se desvían de forma significativa del patrón esperado, es decir, de aquello que un modelo considera «normal». La referencia panorámica del campo, el survey de Chandola, Banerjee y Kumar (2009), la define como el problema de encontrar patrones en los datos que no se ajustan al comportamiento previsto, y distingue tres tipos: anomalías puntuales (una observación aislada y rara), contextuales (anómala solo en cierto contexto, como una temperatura alta en invierno) y colectivas (un conjunto de datos que en bloque resulta anómalo aunque cada punto por separado parezca ordinario).

Conviene mirar la anomalía desde la estimación de densidad: lo anómalo es, sencillamente, lo poco probable. Un modelo que aprende cómo se distribuyen los datos normales puede marcar como sospechoso todo lo que cae en regiones de baja densidad. Esta idea conecta la detección de anomalías con el aprendizaje no supervisado y recorre casi todos los métodos que se describen a continuación.

Enfoques según la disponibilidad de etiquetas

Los métodos se agrupan sobre todo por cuántos ejemplos etiquetados hay. En el enfoque supervisado se dispone de ejemplos marcados como normales y anómalos y se entrena un clasificador; es el caso menos frecuente, porque las anomalías son raras y etiquetarlas resulta caro. El enfoque semi-supervisado aprende un modelo solo a partir de datos que se saben normales y considera anómalo cualquier caso que se aleje de ese perfil; encaja bien cuando lo «normal» abunda y lo anómalo casi no se ha visto. El enfoque no supervisado, el más común en la práctica, no usa etiquetas: asume que las anomalías son minoritarias y distintas del grueso de los datos, y las descubre por su rareza estadística. Esta triple división procede del propio survey de Chandola y colegas y ordena buena parte de la literatura.

Métodos principales

Los métodos estadísticos son los más antiguos: modelan la distribución de los datos y fijan un umbral, de modo que lo que queda en las colas —por ejemplo, más allá de cierto número de desviaciones típicas— se marca como anómalo. Los métodos basados en distancia y densidad parten de la vecindad de cada punto: los k-vecinos más cercanos y, sobre todo, el Local Outlier Factor (LOF, de Breunig, Kriegel, Ng y Sander, 2000) comparan la densidad local de un punto con la de sus vecinos y señalan a quienes viven en zonas mucho más despobladas.

El Isolation Forest (Liu, Ting y Zhou, 2008) cambia el ángulo: en lugar de modelar lo normal, aísla lo anómalo. Construye árboles de partición aleatoria y observa que las anomalías, al ser «pocas y diferentes», quedan aisladas con muy pocos cortes, es decir, a menor profundidad media. El One-Class SVM (Schölkopf y colaboradores, 2001) traza una frontera que envuelve a los datos normales en un espacio de características y trata como anómalo lo que cae fuera. Por último, los autoencoders, redes neuronales que aprenden a comprimir y reconstruir los datos normales, marcan como anómalo aquello que reconstruyen mal: un error de reconstrucción alto delata un patrón que la red nunca aprendió.

Usos y retos

La detección de anomalías sostiene aplicaciones muy tangibles: la detección de fraude con tarjetas y pagos, la ciberseguridad y la detección de intrusiones en redes, la monitorización industrial y de sistemas (para anticipar averías o caídas de servicio) y usos clínicos en salud. En todas ellas, lo interesante es justo lo infrecuente.

Esa rareza es también su mayor dificultad. El desequilibrio de clases es extremo —las anomalías pueden ser una entre millones—, lo que complica entrenar y evaluar. Definir qué es «normal» tampoco es trivial cuando cambia con el tiempo: la deriva de los datos hace que un comportamiento hoy legítimo pareciera sospechoso ayer, y obliga a reajustar los modelos. Y como la frontera entre normal y anómalo casi nunca es nítida, la tasa de falsos positivos suele ser alta: demasiadas alarmas erosionan la confianza de quien las revisa. No hay un método universalmente mejor; la elección depende del tipo de datos, de cuántas etiquetas haya y del coste relativo de fallar por exceso o por defecto.