Métricas de Evaluación

Las métricas de evaluación son las medidas cuantitativas con que se juzga el rendimiento de un modelo de aprendizaje automático: traducen sus aciertos y errores en números comparables. No existe una sola métrica válida para todo. La elección correcta depende del tipo de problema —clasificación o regresión— y, sobre todo, del coste que tiene cada tipo de error en el mundo real.

La documentación de scikit-learn recomienda elegir la función de puntuación desde el objetivo y la aplicación final; el Machine Learning Crash Course de Google añade que importan la tarea, el coste de cada error, el equilibrio de clases y el umbral. Una cifra alta bajo una métrica desalineada puede describir un modelo inútil para la decisión real.

Clasificación: de la matriz de confusión a la ROC-AUC

En clasificación, casi todo parte de la matriz de confusión, que cruza lo predicho con lo real en cuatro casillas: verdaderos positivos (VP), falsos positivos (FP), falsos negativos (FN) y verdaderos negativos (VN). De ahí se derivan las métricas clásicas. La exactitud (accuracy) es la proporción de aciertos sobre el total. La precisión (precision) mide, de todo lo que el modelo marcó como positivo, cuánto lo era de verdad: VP / (VP + FP). La sensibilidad o exhaustividad (recall) mide, de todos los positivos reales, cuántos detectó: VP / (VP + FN). La F1 es la media armónica de precisión y sensibilidad, un único número que las equilibra. La curva ROC representa la tasa de aciertos frente a la de falsas alarmas al variar el umbral de decisión, y su área bajo la curva (AUC) resume en un valor lo bien que el modelo separa las clases.

Por qué la exactitud engaña con datos desbalanceados

La exactitud es intuitiva, pero traiciona cuando las clases están desbalanceadas. Si solo el 1 % de las transacciones son fraude, un detector que dijera siempre «no hay fraude» acertaría el 99 % de las veces… sin haber detectado un solo fraude. Su exactitud sería brillante y su utilidad, nula. Por eso importan la precisión y la sensibilidad, que sí miran a la clase rara. Entre ambas hay un compromiso: exigir más sensibilidad (no perder ningún fraude) suele bajar la precisión (más falsas alarmas), y al revés. Dónde situarse en ese equilibrio es una decisión de negocio, no solo estadística.

Regresión: MAE, MSE, RMSE y R²

Cuando el modelo predice un número continuo, no una etiqueta, se usan otras medidas. El error absoluto medio (MAE) promedia el tamaño de los errores sin importar su signo. El error cuadrático medio (MSE) eleva cada error al cuadrado, penalizando con dureza los grandes; su raíz, el RMSE, devuelve el resultado a las unidades originales y es más fácil de interpretar. El coeficiente de determinación (R²) compara el error del modelo con el de predecir la media del objetivo: 1 corresponde a predicciones perfectas y 0 al rendimiento de ese predictor constante cuando el objetivo no es constante. R² también puede ser negativo si el modelo es peor que esa referencia, de modo que no debe leerse como un porcentaje universal de calidad. La lección de fondo es escoger la métrica según el problema y el coste de cada error. La validación cruzada repite la estimación sobre particiones distintas para medir variación y reducir la dependencia de un único reparto; aun así, el esquema de partición debe respetar grupos, tiempo y cualquier dependencia de los datos.