Métricas de Evaluación

Las métricas de evaluación son las medidas cuantitativas con que se juzga el rendimiento de un modelo de aprendizaje automático: traducen sus aciertos y errores en números comparables. No existe una sola métrica válida para todo. La elección correcta depende del tipo de problema —clasificación o regresión— y, sobre todo, del coste que tiene cada tipo de error en el mundo real.

Por eso, como recuerdan la documentación de scikit-learn y el Machine Learning Crash Course de Google, medir bien es tan decisivo como entrenar bien: una métrica mal escogida puede hacer pasar por excelente a un modelo inútil.

Clasificación: de la matriz de confusión a la ROC-AUC

En clasificación, casi todo parte de la matriz de confusión, que cruza lo predicho con lo real en cuatro casillas: verdaderos positivos (VP), falsos positivos (FP), falsos negativos (FN) y verdaderos negativos (VN). De ahí se derivan las métricas clásicas. La exactitud (accuracy) es la proporción de aciertos sobre el total. La precisión (precision) mide, de todo lo que el modelo marcó como positivo, cuánto lo era de verdad: VP / (VP + FP). La sensibilidad o exhaustividad (recall) mide, de todos los positivos reales, cuántos detectó: VP / (VP + FN). La F1 es la media armónica de precisión y sensibilidad, un único número que las equilibra. La curva ROC representa la tasa de aciertos frente a la de falsas alarmas al variar el umbral de decisión, y su área bajo la curva (AUC) resume en un valor lo bien que el modelo separa las clases.

Por qué la exactitud engaña con datos desbalanceados

La exactitud es intuitiva, pero traiciona cuando las clases están desbalanceadas. Si solo el 1 % de las transacciones son fraude, un detector que dijera siempre «no hay fraude» acertaría el 99 % de las veces… sin haber detectado un solo fraude. Su exactitud sería brillante y su utilidad, nula. Por eso importan la precisión y la sensibilidad, que sí miran a la clase rara. Entre ambas hay un compromiso: exigir más sensibilidad (no perder ningún fraude) suele bajar la precisión (más falsas alarmas), y al revés. Dónde situarse en ese equilibrio es una decisión de negocio, no solo estadística.

Regresión: MAE, MSE, RMSE y R²

Cuando el modelo predice un número continuo, no una etiqueta, se usan otras medidas. El error absoluto medio (MAE) promedia el tamaño de los errores sin importar su signo. El error cuadrático medio (MSE) eleva cada error al cuadrado, penalizando con dureza los grandes; su raíz, el RMSE, devuelve el resultado a las unidades originales y es más fácil de interpretar. El coeficiente de determinación (R²) indica qué proporción de la variabilidad de los datos explica el modelo: 1 es un ajuste perfecto y 0 equivale a predecir siempre la media. La lección de fondo es constante: escoger la métrica adecuada al problema y al coste de cada error es tan importante como el propio modelo. Y para que esas cifras sean fiables conviene estimarlas con validación cruzada, no sobre un único reparto de los datos.