Modelos Discriminativos

Un modelo discriminativo es aquel que aprende a distinguir clases modelando directamente la probabilidad de la etiqueta dada la entrada, p(y|x), o una frontera de decisión que separa las clases. No modela cómo se generan los datos; solo aprende a separarlos.

Discriminativo frente a generativo

La distinción clave es con el modelo generativo, que modela la distribución conjunta p(x,y), es decir, cómo se distribuyen los datos de cada clase. Un modelo generativo puede, por tanto, generar ejemplos nuevos y también clasificar aplicando el teorema de Bayes; un modelo discriminativo, en cambio, no aprende por ese objetivo una distribución completa de los datos para muestrearla. En una frase: el discriminativo aprende la frontera entre clases; el generativo aprende cómo son los datos de cada clase. Fuente primaria.

No es lo mismo que «clasificador»

Conviene deshacer una confusión frecuente: «discriminativo» y «generativo» no son sinónimos de «clasificador». Un clasificador es cualquier modelo que asigna etiquetas, y puede construirse con cualquiera de los dos enfoques. Son discriminativos la regresión logística, las máquinas de vectores de soporte, los árboles de decisión y las redes neuronales de clasificación; son generativos el clasificador de Bayes ingenuo (Naive Bayes) y el análisis discriminante lineal. La diferencia no está en si clasifican, sino en qué modelan. Fuente primaria.

Cuál conviene, y el panorama actual

Un trabajo clásico de Andrew Ng y Michael Jordan (2001) mostró que no hay un ganador universal: el enfoque discriminativo suele alcanzar un menor error cuando hay muchos datos, mientras que el generativo converge más rápido con pocos datos, porque sus supuestos más fuertes actúan como una regularización. Hoy, la mayoría de los clasificadores de propósito general son discriminativos, mientras que los grandes modelos generativos —los de lenguaje y los de difusión— modelan la distribución de los datos para poder muestrear y generar contenido nuevo.