Explicabilidad y Transparencia en IA

La explicabilidad de un sistema de inteligencia artificial es la capacidad de justificar sus decisiones concretas en términos comprensibles, sobre todo cuando su funcionamiento interno es opaco —la llamada «caja negra» de las redes neuronales profundas—. Es una de las tres exigencias que la divulgación apresurada tiende a mezclar, junto con la interpretabilidad y la transparencia.

No son sinónimos. La interpretabilidad es una propiedad del propio modelo: que su estructura sea lo bastante simple para seguir su razonamiento sin herramientas añadidas. La transparencia opera en el plano de la gobernanza: documentar los datos, el diseño, los límites y la responsabilidad del sistema para que terceros puedan auditarlo.

Explicabilidad, interpretabilidad y transparencia: tres cosas distintas

La distinción importa porque las tres se logran de maneras diferentes y ninguna implica a las otras. Un modelo puede ser explicable sin ser interpretable: se le añaden explicaciones a posteriori sin que su lógica interna cambie. Puede ser transparente sin ser interpretable: su documentación es pública aunque sus cálculos sigan siendo inescrutables. Y un árbol de decisión pequeño es interpretable de raíz, sin necesidad de explicación externa alguna. Tratarlas como una sola lleva a creer que publicar una explicación equivale a haber comprendido el modelo, que es justo el error que la literatura técnica advierte.

Métodos post-hoc frente a modelos interpretables

Cuando el modelo ya es una caja negra, se recurre a métodos post-hoc, que explican decisiones tras el entrenamiento. LIME, propuesto por Ribeiro, Singh y Guestrin en 2016, aproxima el comportamiento del modelo alrededor de una predicción concreta con un modelo lineal local. SHAP, de Lundberg y Lee (2017), reparte la contribución de cada variable a una predicción usando los valores de Shapley de la teoría de juegos. En imagen se usan los mapas de saliencia, que resaltan los píxeles más influyentes.

La alternativa es no usar una caja negra. Los modelos intrínsecamente interpretables —árboles de decisión, listas de reglas, modelos lineales— son legibles por diseño. Cynthia Rudin defendió en Nature Machine Intelligence (2019) que en decisiones de alto riesgo conviene preferirlos antes que explicar cajas negras, porque una explicación aproximada no es lo mismo que un modelo que se entiende, y a menudo el interpretable no pierde exactitud.

Transparencia, gobernanza y regulación

La transparencia se ha vuelto práctica documental. Las tarjetas de modelo (model cards), propuestas por Mitchell y colegas en 2019, resumen el uso previsto de un modelo, sus condiciones de evaluación y su rendimiento desglosado por grupos. Las datasheets de Gebru y colegas hacen lo propio con los conjuntos de datos: origen, composición y usos recomendados. En el plano regulatorio, el Reglamento de IA de la Unión Europea impone obligaciones de transparencia —como avisar de que se interactúa con una IA o marcar el contenido sintético— que se aplican a partir de agosto de 2026. El RGPD, por su parte, exige «información significativa sobre la lógica» de las decisiones automatizadas en los arts. 13(2)(f), 14(2)(g) y 15(1)(h) —el art. 22 regula el derecho a no ser objeto de una decisión totalmente automatizada, no esa obligación informativa—. Sobre si existe un verdadero «derecho a la explicación» de decisiones concretas, el Tribunal de Justicia de la UE lo resolvió en su sentencia C-203/22, de 27 de febrero de 2025: los interesados tienen derecho a una explicación inteligible del procedimiento y los principios aplicados a su caso —entregar la fórmula matemática o el algoritmo en bruto no basta, y el secreto comercial no puede usarse para negarla.

Límites: explicaciones que no son fieles

El punto más incómodo: una explicación post-hoc puede ser infiel, es decir, no reflejar el razonamiento real del modelo. Slack y colegas mostraron en 2020 que LIME y SHAP pueden ser engañados para ocultar el sesgo de un clasificador. Adebayo y colegas (2018) comprobaron que muchos mapas de saliencia apenas cambian aunque se aleatoricen los pesos de la red, señal de que no capturan sus verdaderas señales de decisión. El riesgo es la falsa confianza: una explicación plausible pero engañosa persuade más que la ausencia de explicación. Nada de esto está resuelto; medir cuándo una explicación es fiel sigue siendo un problema abierto.