Hiperparámetros

Los hiperparámetros son los ajustes que se fijan antes de entrenar un modelo y que controlan cómo aprende o qué forma tiene, a diferencia de los parámetros, que el modelo aprende de los datos durante el entrenamiento. Son parámetros los pesos de una red neuronal o los coeficientes de una regresión; son hiperparámetros la tasa de aprendizaje, el número de capas, la profundidad de un árbol, la k de los k-vecinos o la fuerza de la regularización.

Parámetros frente a hiperparámetros

La regla es sencilla: si el algoritmo de entrenamiento lo ajusta solo, es un parámetro; si hay que fijarlo de antemano, es un hiperparámetro. Los parámetros son el núcleo aprendido del modelo; los hiperparámetros son las instrucciones externas que dan forma a ese núcleo y no se aprenden por descenso de gradiente.

Cómo se ajustan

Buscar buenos hiperparámetros es lo que se llama tuning, y hay tres métodos principales. La búsqueda en malla (grid search) prueba exhaustivamente todas las combinaciones de una rejilla, pero su coste se dispara al crecer el número de hiperparámetros. La búsqueda aleatoria muestrea combinaciones al azar y suele rendir mejor con el mismo presupuesto cuando solo unos pocos hiperparámetros importan de verdad. Y la optimización bayesiana construye un modelo probabilístico de la relación entre hiperparámetros y rendimiento para elegir de forma más inteligente qué probar a continuación, obteniendo buenos resultados en menos evaluaciones.

Validación y riesgo de sobreajuste

Un punto esencial: los hiperparámetros se eligen con un conjunto de validación, o por validación cruzada, nunca con el conjunto de prueba, que se reserva intacto para una única estimación final imparcial. Si se ajustan mirando repetidamente el mismo conjunto, se corre el riesgo de sobreajustar a él: el conocimiento de ese conjunto «se filtra» en el modelo y las métricas dejan de reflejar la capacidad de generalizar. Por eso se separan los datos en entrenamiento, validación y prueba, y en casos delicados se recurre a la validación cruzada anidada.