Regresión

La regresión es la tarea del aprendizaje automático supervisado que consiste en predecir un valor continuo —un número— a partir de una o varias variables de entrada. Se distingue así de la clasificación, su tarea hermana, que en lugar de un número predice una categoría: si un correo es spam o no, si un tumor es benigno o maligno. Predecir el precio de una vivienda, la temperatura de mañana o la demanda eléctrica de una región son problemas de regresión; etiquetar una imagen es clasificación.

La regresión lineal como caso base

El modelo fundacional es la regresión lineal: ajustar una recta (o, con varias entradas, un hiperplano) que atraviese la nube de puntos de la mejor manera posible. «La mejor manera» se define minimizando el error cuadrático, es decir, la suma de los cuadrados de las distancias verticales entre cada dato y la recta. Este criterio es el método de mínimos cuadrados. Su virtud es que ofrece una solución cerrada y resultados interpretables: cada coeficiente dice cuánto cambia la salida cuando una entrada aumenta una unidad.

Cómo se mide un modelo de regresión

Como la salida es un número, el acierto no es «sí o no» sino cuánto se aleja la predicción del valor real. Las métricas habituales son el error cuadrático medio (MSE), que promedia los errores al cuadrado y penaliza con fuerza los fallos grandes; su raíz, el RMSE, que devuelve el error a las unidades originales de la variable; el error absoluto medio (MAE), que promedia los errores en valor absoluto y es más robusto ante valores atípicos; y el coeficiente de determinación (R²), que expresa qué proporción de la variabilidad de la salida explica el modelo, siendo 1 el ajuste perfecto.

Variantes y el matiz de la regresión logística

La familia es amplia: la regresión polinómica curva la recta para relaciones no lineales, y modelos como los árboles de decisión, los bosques aleatorios o las redes neuronales también resuelven tareas de regresión. Conviene deshacer una confusión frecuente: la regresión logística, pese a su nombre, no predice un número libre sino la probabilidad de pertenecer a una clase, y al aplicarle un umbral produce una categoría. En la taxonomía del aprendizaje automático es, por tanto, un método de clasificación; conserva la palabra «regresión» porque, internamente, ajusta una función continua.

Sobreajuste y regularización

Como todo modelo, la regresión puede sobreajustar: memorizar el ruido de los datos de entrenamiento en lugar de la señal, y fallar con datos nuevos. Es la cara visible del compromiso sesgo-varianza. Para contenerlo se usa la regularización, que penaliza coeficientes grandes: la regresión Ridge los encoge sin anularlos, mientras que Lasso puede llevarlos exactamente a cero y así seleccionar variables. Ambas cambian algo de sesgo por menos varianza, la idea central que recogen textos como «The Elements of Statistical Learning».