Métricas de aprendizaje automático: elegir el error que importa

El 30 de julio de 2026, evaluar un modelo de aprendizaje automático ya no consiste en buscar la cifra más alta de una tabla. La pregunta útil es anterior: ¿qué error puede permitirse el sistema y cuál sería intolerable? Un filtro médico, un detector de fraude y un recomendador pueden obtener el mismo 90 % de aciertos y, aun así, tener calidades radicalmente distintas. La capacidad que importa es traducir una decisión real a una matriz de errores, elegir una métrica coherente con su coste y comprobar después el umbral, la calibración y los grupos afectados.

La métrica empieza en la decisión, no en el modelo

En una clasificación binaria hay cuatro resultados posibles. Un verdadero positivo y un verdadero negativo son aciertos; un falso positivo activa una respuesta que no correspondía, y un falso negativo deja escapar el caso que se buscaba. La exactitud o accuracy divide todos los aciertos entre todos los casos, pero oculta qué clase de error se cometió. Si solo una de cada cien observaciones es positiva, responder siempre «negativo» produce un 99 % de exactitud y un sistema inútil para encontrar positivos.

Por eso la primera herramienta no es una fórmula aislada, sino la matriz de confusión con números absolutos. Antes de comparar modelos conviene escribir qué acción sigue a cada casilla. En una prueba de cribado, un falso negativo puede retrasar atención; en un sistema antifraude, un falso positivo puede bloquear una compra legítima. No hace falta fingir que ambos costes caben en una cifra universal: hay que declararlos y decidir cuál se prioriza.

La prevalencia —la proporción real de positivos— también cambia la lectura. Un rendimiento medido en un conjunto artificialmente equilibrado no se traslada sin más a una población donde el evento es raro. La muestra de evaluación debe representar el uso previsto, estar separada del entrenamiento y conservar el orden temporal cuando el futuro no podía conocerse en el pasado. La validación cruzada es un método para estimar variación entre particiones; no es una métrica ni repara una muestra mal diseñada.

Precisión, recall y F1 responden preguntas diferentes

La precisión pregunta: de todo lo que el modelo marcó como positivo, ¿qué fracción lo era? El recall o sensibilidad pregunta: de todos los positivos reales, ¿qué fracción encontró? Aumentar uno puede reducir el otro porque ambos dependen del umbral que convierte una puntuación continua en una decisión. El umbral de 0,5 no es una ley natural; solo es un valor por defecto, y puede ser incorrecto para el coste del caso de uso.

F1 es la media armónica de precisión y recall. Resulta útil cuando interesa equilibrarlos y no se desea que un valor muy alto esconda otro muy bajo, pero omite los verdaderos negativos. Tampoco dice si un falso positivo cuesta lo mismo que un falso negativo. El coeficiente de correlación de Matthews incorpora las cuatro casillas de la matriz y fue presentado originalmente como una medida de la calidad de una predicción binaria; el artículo original puede consultarse en [Biochimica et Biophysica Acta]. Ninguna de estas opciones elimina la obligación de enseñar la matriz.

Una curva ROC representa la tasa de verdaderos positivos frente a la de falsos positivos al mover el umbral. Su área, ROC-AUC, mide ordenación: con qué frecuencia un positivo recibe una puntuación mayor que un negativo. El tutorial de Tom Fawcett explica esa lectura y las propiedades del espacio ROC en [Pattern Recognition Letters]. Pero una AUC alta no fija el umbral de producción ni garantiza buena precisión cuando los positivos son muy escasos.

En clases muy desequilibradas suele ser más reveladora la curva precisión-recall. Jesse Davis y Mark Goadrich demostraron la relación entre ambos espacios y advirtieron que una curva puede parecer mejor en ROC sin mantener esa ventaja en precisión-recall; su trabajo está disponible en el [documento original de ICML]. El patrón transferible es sencillo: ROC-AUC evalúa separación global; precisión-recall concentra la mirada en la clase positiva. Ninguna sustituye el punto operativo elegido.

Una probabilidad útil debe estar calibrada

Discriminar y estimar probabilidades son tareas distintas. Dos modelos pueden ordenar los casos casi igual y, por tanto, obtener una ROC-AUC parecida, mientras uno asigna probabilidades mucho más fiables. Si cien predicciones cercanas al 0,8 contienen aproximadamente ochenta positivos, esa zona está bien calibrada. Si solo aparecen cuarenta, el número 0,8 transmite una confianza que los datos no sostienen.

La calibración importa cuando la puntuación entra en una decisión económica o clínica: reservar capacidad, priorizar revisiones o combinar el riesgo con otros factores. Se examina con diagramas de fiabilidad y con medidas como la puntuación de Brier o la pérdida logarítmica. El trabajo de Chuan Guo y colaboradores documentó que redes neuronales modernas podían estar mal calibradas aun siendo precisas, y comparó técnicas de recalibración en el [paper de ICML].

También aquí hay trampas. Un único error medio de calibración depende de cómo se agrupen las probabilidades y puede ocultar zonas críticas. Conviene mostrar la distribución de predicciones, el número de observaciones por intervalo y, cuando la decisión lo exige, intervalos de incertidumbre. La calibración se debe comprobar en datos posteriores o independientes: ajustarla y juzgarla sobre la misma muestra vuelve optimista el resultado.

Cada tipo de tarea exige una familia de medidas

En regresión, el error absoluto medio conserva las unidades del objetivo y trata los desvíos de forma lineal; el error cuadrático medio penaliza más los errores grandes. Elegir entre ambos expresa una preferencia sobre el daño, no una superioridad matemática general. El coeficiente R² compara con una referencia basada en la media, pero no informa por sí solo del tamaño práctico del error. La documentación oficial de [scikit-learn sobre evaluación] reúne las definiciones y deja visible que distintas tareas requieren distintos scorers.

En búsqueda y recomendación, el orden importa. Precisión en k, recall en k, ganancia acumulada descontada normalizada o mean reciprocal rank observan posiciones concretas de la lista. Hay que declarar k, la regla de relevancia y el universo de candidatos; inventar una sigla opaca no añade rigor. Una métrica sin definición reproducible impide comparar resultados y debe quedar fuera del informe.

En agrupamiento sin etiquetas, la puntuación de silueta compara cohesión dentro del grupo y separación respecto al grupo vecino. Es un diagnóstico geométrico, no una prueba de que los grupos sean útiles o reales. En generación, similitud textual o preferencia humana capturan dimensiones distintas y pueden premiar atajos. El principio permanece: primero se define la conducta deseada y el fallo dañino; después se escoge una batería pequeña de medidas que los haga visibles.

Interpretar no es medir rendimiento

LIME y SHAP ayudan a atribuir una predicción a rasgos de entrada; no son métricas de calidad del modelo. LIME aproxima localmente el comportamiento de un predictor mediante un modelo interpretable, según el [trabajo de Ribeiro, Singh y Guestrin]. SHAP propone valores aditivos basados en ideas de teoría de juegos, descritos por Lundberg y Lee en su [paper original]. Una explicación plausible puede acompañar a una predicción equivocada, y una atribución inestable puede variar con el método o la muestra de referencia.

Una ficha de evaluación sólida separa al menos seis capas: métrica principal y métricas de guardarraíl; matriz de errores en números absolutos; curva y umbral operativo; calibración; resultados por subgrupos relevantes; e incertidumbre o variación temporal. Añade una referencia sencilla —una regla, el modelo anterior o la decisión humana disponible— para saber si la complejidad aporta valor. Si se ensayan muchos modelos sobre el mismo conjunto de prueba, ese conjunto acaba participando de facto en el ajuste y se necesita una comprobación final verdaderamente intacta.

El último paso es observar producción. Cambios de población, sensores, precios o comportamiento pueden alterar prevalencia, calibración y costes sin que el código cambie. No basta vigilar la media: se necesitan alertas ligadas a la decisión y una política de revisión. Así se lee cualquier afirmación de rendimiento: qué población se evaluó, qué error cuenta, qué umbral se usó, si la probabilidad está calibrada y quién soporta los fallos. Esa secuencia convierte una cifra vistosa en evidencia que puede auditarse.