Sesgo en aprendizaje automático: cómo evaluar la equidad sin recetas falsas

En febrero de 2018, Joy Buolamwini y Timnit Gebru publicaron una evaluación de tres sistemas comerciales de clasificación de género a partir de imágenes. Gender Shades encontró errores de hasta el 34,7% para mujeres de piel más oscura y un máximo del 0,8% para hombres de piel más clara. Una cifra agregada habría ocultado la diferencia entre subgrupos.

El resultado no demuestra que toda disparidad sea discriminación jurídica ni que exista una corrección automática. Demuestra algo anterior: escoger población, etiquetas y desglose determina qué fallo puede verse. El sesgo puede entrar al decidir qué problema resolver, recoger datos, construir una referencia, optimizar una métrica, fijar un umbral o desplegar el sistema dentro de una institución.

La capacidad transferible consiste en seguir una cadena explícita: daño → población → referencia → métrica → intervención → efecto. “El modelo es justo” borra esa cadena. Una afirmación auditable dice qué daño intenta reducir, para quién, frente a qué alternativa y qué desigualdades permanecen.

Primero se define el daño, no la métrica

Un sistema de contratación puede negar oportunidades; un reconocimiento de voz puede ofrecer peor calidad a un grupo; un generador puede reproducir estereotipos aunque no asigne empleos. Son daños de asignación, de calidad de servicio o de representación. No comparten necesariamente una métrica.

Predecir una decisión histórica tampoco equivale a predecir una verdad neutral. Si la etiqueta es “fue contratado”, el modelo aprende procesos anteriores de selección, incluidos sus criterios y exclusiones. Si la etiqueta es “devolvió un préstamo”, las condiciones del crédito también influyen en el resultado. El objetivo debe describir el fenómeno que mide y la intervención que habilita.

Suresh y Guttag organizaron siete fuentes de daño a lo largo del ciclo de aprendizaje automático, desde datos históricos y representación hasta evaluación, agregación y despliegue. Su marco evita localizar todo el problema en “datos sesgados”: una muestra puede ser equilibrada y el sistema causar daño porque la tarea, el umbral o la institución están mal diseñados.

Los promedios esconden intersecciones

Gender Shades examinó la composición de dos conjuntos usados para análisis facial y halló predominio de personas de piel más clara: 79,6% en IJB-A y 86,2% en Adience. Después construyó un conjunto equilibrado por género y tipo de piel para evaluar sistemas. La brecha máxima no aparecía al mirar solo la exactitud total.

Evaluar por una variable cada vez tampoco basta. Un resultado aceptable para “mujeres” y para “personas de piel más oscura” puede ocultar un fallo concentrado en la intersección. El informe necesita grupos relevantes para el uso, cruces con tamaño suficiente y el número de casos detrás de cada porcentaje.

Las muestras pequeñas producen estimaciones inestables. Junto a la tasa deben aparecer numerador, denominador e incertidumbre. Que un grupo tenga cero errores en diez ejemplos no prueba perfección. Ampliar datos, agrupar solo con una justificación o declarar que la evidencia es insuficiente resulta más honesto que publicar un porcentaje preciso sin base.

Cuatro definiciones responden a preguntas distintas

Paridad demográfica compara la proporción de decisiones favorables entre grupos. Puede ser pertinente cuando preocupa el acceso final, pero no condiciona al resultado de referencia. Igualdad de oportunidades iguala la tasa de verdaderos positivos entre quienes cumplen la condición relevante: pregunta si los casos positivos tienen la misma posibilidad de ser detectados.

Odds igualadas extiende esa idea a verdaderos y falsos positivos. Hardt, Price y Srebro formalizaron el criterio para aprendizaje supervisado y mostraron un posprocesamiento de un predictor cuando se dispone de predicción, resultado y pertenencia al grupo protegido. El procedimiento satisface esa definición; no convierte la decisión en justa bajo cualquier marco.

Calibración por grupo pide que una misma puntuación tenga un significado comparable: entre personas con riesgo 0,7, aproximadamente la misma fracción debería experimentar el resultado. Sirve para interpretar puntuaciones, pero no garantiza iguales tasas de error cuando cambian prevalencias y umbrales.

La equidad individual propone tratar de forma similar a personas similares. Dwork, Hardt, Pitassi, Reingold y Zemel hicieron explícita la necesidad de una métrica específica de la tarea. Ahí vive la dificultad normativa: quién define semejanza, qué atributos cuentan y si la distancia reproduce desigualdades previas.

No siempre se pueden satisfacer todas

Kleinberg, Mullainathan y Raghavan estudiaron puntuaciones de riesgo calibradas y dos condiciones de balance para clases positivas y negativas. Salvo situaciones restringidas, como predicción perfecta o determinadas relaciones entre tasas base, las tres condiciones no pueden cumplirse a la vez.

El teorema no dice que la equidad sea imposible ni elige una métrica. Dice que una tabla con todos los indicadores en verde puede esconder una definición trivial, un cambio de población o un error. La organización debe declarar qué condición prioriza y por qué el daño de incumplir otra es aceptable o se mitiga por otra vía.

La referencia también puede ser injusta o medirse con error diferente entre grupos. Igualar tasas respecto de una etiqueta defectuosa estabiliza su defecto. Antes de optimizar conviene auditar cómo nació el resultado real, quién quedó fuera de observación y qué decisiones anteriores lo causaron.

Preprocesar, entrenar o posprocesar cambia lugares distintos

En datos se puede ampliar representación, revisar etiquetas, reponderar ejemplos o corregir procesos de recogida. Quitar una columna protegida rara vez elimina proxies: código postal, historial laboral o patrones de lenguaje pueden reconstruir información correlacionada. A veces el atributo protegido es necesario precisamente para medir disparidades, con salvaguardas de privacidad y base jurídica adecuadas.

Durante el entrenamiento pueden añadirse restricciones o varios objetivos. Eso hace visible la tensión entre rendimiento y una medida elegida, pero el valor de cada término y el conjunto sobre el que se calcula siguen siendo decisiones. En posprocesamiento se ajustan umbrales o se aleatorizan decisiones para alcanzar tasas determinadas; es más fácil de aplicar a un modelo existente, aunque puede producir trato explícitamente distinto por grupo y requiere análisis jurídico y operativo.

Ninguna técnica corrige por sí sola un producto innecesario o una institución sin recurso. Si una predicción influye en libertad, crédito, empleo, salud o educación, también importan autoridad, explicación, revisión humana competente, canal de impugnación y reparación. Una mejora estadística puede reducir un daño sin legitimar el sistema completo.

La trampa de abstraer el problema social

Selbst, Boyd, Friedler, Venkatasubramanian y Vertesi describieron cinco trampas de abstracción en sistemas sociotécnicos. Entre ellas están modelar un problema social como si pudiera aislarse, ignorar efectos de retroalimentación y aplicar una solución diseñada para un contexto en otro distinto.

Un modelo policial, por ejemplo, puede recibir más registros de zonas ya vigiladas y recomendar todavía más vigilancia allí. La observación futura depende de la decisión anterior. Tratar esos registros como una muestra pasiva de “dónde ocurre el delito” confunde actividad observada con fenómeno total y crea un bucle.

La alternativa no consiste en abandonar la medición, sino en dibujar el sistema: quién decide, quién recibe beneficios, quién soporta errores, qué datos produce cada intervención y qué opción existía antes. El comparador relevante puede ser una decisión humana opaca, una regla sencilla o no usar el sistema, no un ideal abstracto sin coste.

Documentar datos y modelos hace visibles las condiciones

Datasheets for Datasets propone documentar motivación, composición, proceso de recogida y usos recomendados de un conjunto. Una ficha útil incluye población representada, ausencias conocidas, procedimiento de etiquetado, consentimiento cuando corresponda, transformaciones, versiones y condiciones para actualizar o retirar datos.

Model Cards for Model Reporting traslada la idea al modelo: uso previsto, usos inadecuados, procedimiento de evaluación y rendimiento en condiciones y subgrupos relevantes. Una tarjeta no garantiza que el sistema sea ético. Conserva el contexto necesario para que otra persona pueda impugnar una extrapolación.

Ambos documentos deben enlazarse con versiones. Si cambian datos, modelo, umbral o población, la evaluación anterior puede dejar de describir el servicio. Un registro de decisiones explica por qué se eligió una métrica, quién participó, qué alternativas se descartaron y cuándo se revisará.

Una auditoría que termina en efectos

El primer paso es formular daño, decisión y población. El segundo, comparar la distribución de datos y errores, incluidos cruces y denominadores. El tercero, escoger métricas compatibles con el daño y reconocer las que entran en conflicto. El cuarto, intervenir en la etapa donde nace el problema y volver a medir utilidad y disparidades.

Después del despliegue se observan resultados reales, correcciones, quejas y cambios de distribución. La tasa de selección no revela si las personas elegidas recibieron un beneficio; la igualdad de error no revela si la etiqueta era válida; una media mensual puede ocultar un deterioro repentino. La auditoría necesita consecuencias y una fecha de caducidad.

La afirmación final debe conservar límites: “en este conjunto, versión y umbral, la diferencia estimada en esta tasa fue X, con este denominador”. Eso no cabe en la palabra “justo”, y por eso es más valioso. La equidad algorítmica no es una propiedad que se instala; es una elección sobre daños que se documenta, se contrasta con personas afectadas y se revisa cuando el sistema cambia.