Interpretabilidad en aprendizaje automático: cómo entender y explicar los modelos

Cuando un modelo decide si le conceden un crédito, si su currículo pasa el primer filtro o qué tratamiento se le propone, la pregunta que importa deja de ser «¿acierta?» y pasa a ser «¿por qué ha decidido eso?». Ese es el terreno de la interpretabilidad, y conviene entenderlo porque de él salen derechos concretos que usted tiene.

Dos formas de entender un modelo

En un extremo están los modelos intrínsecamente interpretables: un árbol de decisión o una regresión lineal se pueden leer directamente, porque su estructura es la explicación. En el otro, las cajas negras —redes neuronales profundas, conjuntos de miles de árboles— cuyo funcionamiento interno no se sigue con la vista.

Para las segundas se usan técnicas post hoc: métodos aplicados después del entrenamiento que intentan reconstruir por qué el modelo respondió lo que respondió. Y ahí está el compromiso que organiza todo el campo: los modelos más potentes suelen ser los menos legibles.

Las dos técnicas que hay que conocer

LIME, presentado por Marco Ribeiro, Sameer Singh y Carlos Guestrin en 2016, funciona por aproximación local: en lugar de explicar el modelo entero, construye un modelo sencillo que se le parezca solo en el entorno de la predicción concreta que se quiere entender. De ahí su nombre — explicaciones locales, interpretables y agnósticas al modelo.

SHAP, de Scott Lundberg y Su-In Lee (2017), aborda lo mismo con otra herramienta: reparte la responsabilidad de una predicción entre las variables de entrada usando los valores de Shapley, un concepto que viene de la teoría de juegos cooperativos y que responde a la pregunta de cómo repartir de forma justa el resultado de un esfuerzo colectivo. Aquí el «esfuerzo colectivo» es la predicción y los «jugadores» son las variables. El artículo unifica bajo ese marco seis métodos anteriores que iban por separado.

Junto a ellas conviven modelos pensados para ser legibles desde el diseño, como los modelos aditivos generalizados y sus variantes con interacciones, y técnicas de visualización como t-SNE o UMAP, que no explican la decisión pero ayudan a ver cómo se organizan los datos.

La objeción que conviene tomarse en serio

Todo lo anterior asume que el camino es explicar cajas negras. Hay una voz importante que sostiene lo contrario, y una pieza sobre interpretabilidad que la omita está incompleta.

Cynthia Rudin publicó en 2019, en Nature Machine Intelligence, un artículo cuyo título ya es la tesis: «Deje de explicar modelos de caja negra para decisiones de alto riesgo y use modelos interpretables en su lugar». Su argumento: «intentar explicar modelos de caja negra, en lugar de crear modelos que sean interpretables desde el principio, probablemente perpetúe malas prácticas». Y su conclusión: «hay un camino hacia delante: consiste en diseñar modelos que sean intrínsecamente interpretables».

El matiz importa. Una explicación post hoc es una aproximación al comportamiento del modelo, no el modelo. Puede ser buena y seguir sin capturar lo que de verdad ocurrió en una decisión concreta. Cuando lo que está en juego es una condena, un crédito o un diagnóstico, Rudin sostiene que ese margen no es aceptable.

Lo que la ley dice de verdad

Aquí hay un error muy extendido que conviene deshacer, porque lo repite casi toda la cobertura del asunto: el Reglamento General de Protección de Datos no reconoce en su articulado un «derecho a explicación». Esa expresión procede de los considerandos y del debate doctrinal, no de las normas vinculantes.

Lo que dice el artículo 22.1, literalmente, es otra cosa: «Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar».

Es decir: el derecho es a no ser decidido solo por una máquina. Y cuando se aplican dos de las excepciones previstas —que la decisión sea necesaria para un contrato, o que medie consentimiento explícito—, el apartado 3 obliga al responsable a garantizar al menos tres cosas concretas: intervención humana, la posibilidad de expresar el punto de vista propio y la de impugnar la decisión.

Un apunte práctico para quien quiera comprobarlo: el portal oficial europeo EUR-Lex devuelve páginas vacías a los lectores automatizados, así que la vía que sí funciona es el PDF del Boletín Oficial del Estado, que reproduce el texto íntegro del Diario Oficial. El artículo 22 se lee en dos minutos.

Explicar no es auditar

Hay una confusión que conviene deshacer porque decide qué se le puede exigir a un sistema. Explicar es responder por una decisión concreta; auditar es comprobar cómo se comporta el sistema en conjunto. No son el mismo trabajo ni responden a la misma pregunta.

Una explicación local —lo que dan LIME o SHAP— dice qué variables pesaron en su caso. Es lo que necesita quien quiere impugnar una decisión. Pero no dice nada sobre si el modelo trata peor a un grupo de personas que a otro: eso solo aparece mirando muchas decisiones a la vez, comparando resultados entre poblaciones. Un sistema puede dar explicaciones impecables una por una y ser sistemáticamente injusto.

Los tres derechos, en la práctica

Volviendo al artículo 22: cuando la decisión es únicamente automatizada y encaja en dos de las excepciones, el apartado 3 obliga a garantizar intervención humana, expresar el punto de vista propio e impugnar. Conviene ver qué son en una reclamación real.

Intervención humana significa que una persona con capacidad para cambiar el resultado revise el caso — no que alguien firme lo que el sistema ya decidió. Expresar el punto de vista significa poder aportar información que el modelo no tenía: un ingreso no declarado, una circunstancia que su formulario no contemplaba. E impugnar significa que existe un procedimiento con respuesta, no un buzón.

Los tres son exigibles y ninguno requiere entender cómo funciona el modelo. Ésa es su virtud: funcionan aunque el sistema sea una caja negra, que es exactamente el escenario en el que uno los necesita.

Dónde se aplica esto

En riesgo crediticio, la interpretabilidad permite que quien evalúa una solicitud pueda explicar por qué se aprueba o se rechaza — y, del otro lado, que quien la recibe pueda impugnarla con argumentos. En imagen médica, las visualizaciones de las zonas que más pesaron en una clasificación ayudan al facultativo a decidir si la sugerencia del modelo tiene sentido clínico o si se ha fijado en un artefacto.

En ambos casos, lo que la interpretabilidad aporta no es confianza automática: es la posibilidad de discrepar con fundamento.

La capacidad: qué pedir cuando una máquina decide sobre usted

1. Pregunte si la decisión fue únicamente automatizada. Es la condición que activa el artículo 22. Si hubo intervención humana real —no un sello de aprobación— el marco es otro.

2. Pida los tres derechos concretos, no «una explicación». Intervención humana, expresar su punto de vista e impugnar. Están en el articulado y son exigibles; «explíquemelo» es más vago y más fácil de despachar.

3. Distinga explicación de funcionamiento. Si le dan una explicación generada post hoc, le están dando una aproximación de por qué el modelo pudo decidir eso, no un registro de lo que hizo. Preguntar cuál de las dos cosas es le sitúa por delante de la mayoría de quienes usan estos sistemas.

El fondo

• Ribeiro, Singh y Guestrin (2016), LIME.
• Lundberg y Lee (2017), SHAP. La conexión con los valores de Shapley se desarrolla en el cuerpo del artículo, no en su resumen.
• Rudin (2019). El título completo es parte del argumento: truncarlo pierde la tesis.
• Reglamento (UE) 2016/679 en el PDF del BOE. El artículo 22 está en la parte de derechos del interesado.