Interpretación de Modelos

La interpretación de modelos abarca el conjunto de enfoques que buscan que un humano entienda por qué un modelo de aprendizaje automático produce una decisión. Bajo ese paraguas conviven tres ideas que conviene no confundir: la interpretabilidad, la explicabilidad y la causalidad.

Tres conceptos distintos

La interpretabilidad es una propiedad del propio modelo: el grado en que su lógica es directamente inspeccionable porque se ha diseñado para ser transparente, como una regresión lineal, un árbol de decisión o un conjunto de reglas. La explicabilidad (XAI) es distinta: son técnicas post hoc que producen una explicación aproximada de un modelo «caja negra» ya entrenado, sin abrirlo. Y la causalidad es otra cosa más: se refiere a relaciones de causa y efecto en el mundo. Ni la interpretabilidad ni la explicabilidad establecen causalidad por sí solas: ambas describen el comportamiento del modelo, no el proceso que genera los datos.

Qué dicen (y qué no) los valores de Shapley

Un método muy usado son los valores de Shapley, popularizados por la herramienta SHAP (Lundberg y Lee, 2017), que reparten una predicción concreta entre las características de entrada según su contribución respecto a una línea base. Conviene subrayar un límite: son atribuciones de importancia, no pruebas de causa. Un valor alto significa que esa característica empujó mucho esa predicción del modelo, no que cause el resultado en la realidad; si el modelo se apoya en una correlación espuria, SHAP se la atribuirá igualmente. Extraer conclusiones causales exige un marco causal explícito, no una atribución de importancia.

Métodos y sus límites

Los métodos se ordenan en dos ejes. Por un lado, intrínsecos —el modelo es interpretable por diseño— frente a post hoc —LIME, SHAP o los mapas de saliencia, aplicados tras el entrenamiento—. Por otro, locales —explican una predicción— frente a globales —describen el modelo completo—. Sus límites son reales: una explicación post hoc puede no ser fiel al modelo que dice explicar, puede ser inestable —LIME varía según el muestreo aleatorio— y puede generar una falsa sensación de confianza. Por eso Cynthia Rudin defiende que, en decisiones de alto riesgo como la sanidad o la justicia, es preferible usar modelos intrínsecamente interpretables antes que explicar cajas negras a posteriori.