Aprendizaje automático en el análisis de sentimientos y procesamiento del lenguaje natural

En 2014, C. Hutto y Eric Gilbert publicaron VADER, un modelo de análisis de sentimientos basado en reglas —sin aprendizaje automático, solo un diccionario y cinco reglas gramaticales— y midieron su acierto clasificando el sentimiento de tuits. El resultado, en el resumen del propio artículo: «VADER supera a los evaluadores humanos individuales (exactitud de clasificación F1 = 0,96 y 0,84, respectivamente)».

La cifra es real y está bien medida. Y no significa lo que parece. Desmontarla enseña a leer todos los titulares de «la IA supera a los humanos» que va usted a encontrarse a partir de ahora, que serán muchos.

De contar palabras a entender el contexto

El análisis de sentimientos consiste en asignar automáticamente una valoración —positiva, negativa, neutra, o una intensidad— a un texto. Su historia técnica tiene tres etapas bien marcadas.

La primera fue la bolsa de palabras: contar qué términos aparecen, sin atender a su orden. «Excelente» suma, «pésimo» resta. Es sorprendentemente eficaz para volúmenes grandes y absolutamente ciego a la estructura: «no está nada mal» y «está nada bien» contienen las mismas palabras.

La segunda incorporó la secuencia. Las redes recurrentes y las convolucionales procesan el texto como una cadena ordenada, lo que permite capturar negaciones, intensificadores y expresiones de varias palabras.

La tercera son los modelos contextuales basados en transformers, donde cada palabra se representa en función de las que la rodean. «Banco» no significa lo mismo en una frase sobre finanzas que en una sobre un parque, y el modelo lo distingue sin que nadie se lo programe.

Cada etapa mejoró la anterior en las pruebas de referencia. Y ninguna resolvió el problema de fondo, que no es técnico.

El 0,84 es el dato importante

Vuelva a la cifra del principio, pero mire la segunda mitad: los evaluadores humanos individuales obtuvieron 0,84. Es decir, una persona coincide con el criterio de referencia poco más de ocho veces de cada diez.

¿Y qué era ese criterio de referencia? Una valoración agregada de varias personas. Así que lo que mide ese 0,84 no es que los humanos sean malos leyendo: es que los humanos no se ponen de acuerdo entre ellos sobre si un tuit es positivo o negativo. Una parte del desacuerdo es irreductible, porque muchos textos son genuinamente ambiguos.

Y de ahí sale la consecuencia que casi nunca se explica: ese desacuerdo es el techo de la tarea. Si dos personas competentes solo coinciden el 84 % de las veces, no existe un «acierto del 99 %» que signifique algo, porque no hay una respuesta verdadera contra la que acertar en el 16 % restante. Solo hay opiniones repartidas.

Cuando un proveedor le ofrezca un sistema con exactitud del 97 % en una tarea así, la pregunta correcta no es cómo lo ha conseguido. Es contra qué lo ha medido: o la referencia se construyó de una forma que la hace más fácil que la realidad, o está midiendo una tarea distinta de la que a usted le interesa.

Entonces, ¿cómo puede una máquina «superar» a una persona?

Porque no compite en lo mismo. La referencia es el promedio de varios anotadores, y un sistema automático se ajusta para predecir ese promedio. La persona individual, en cambio, aporta su propio criterio, con sus manías y su mal día.

La máquina no entiende mejor. Es más consistente, y la consistencia es exactamente lo que premia un consenso. Un modelo que siempre da la misma respuesta al mismo texto se acerca más a la media que un humano que varía. Ninguna de las dos cosas es comprensión.

Ahí está la capacidad transferible, y sirve para el titular sobre radiólogos, sobre abogados o sobre traductores: cuando lea que un sistema supera a los humanos, pregunte quién construyó la respuesta correcta. Si la construyeron humanos por consenso, «superar a los humanos» significa «parecerse al consenso más que un individuo», que es una afirmación sobre varianza, no sobre entendimiento. Y pregunte también si el humano de la comparación trabajaba en sus condiciones habituales, con su contexto y su tiempo, o resolviendo casos sueltos a ciegas.

Lo que sigue rompiéndose

Los fallos duraderos de esta técnica no dependen de la arquitectura, y por eso conviene conocerlos.

La ironía invierte el sentido sin cambiar una palabra: «espectacular, otra vez sin batería» es negativo y no lo parece. El dominio altera la polaridad de términos enteros: «impredecible» elogia una película y condena un coche; «denso» arruina una novela y mejora un perfume. Un modelo entrenado con reseñas de cine aplicado a comentarios sobre seguros va a equivocarse de forma sistemática y silenciosa.

Y el objeto se pierde con facilidad: «la cámara es magnífica pero el servicio técnico es un desastre» no es una frase neutra, es una frase con dos juicios opuestos sobre dos cosas distintas. Un número único la resume mal por definición.

La respuesta técnica al problema del objeto

Ese último fallo sí tiene una solución nombrada, y conviene conocerla porque cambia lo que hay que pedirle a un proveedor. Se llama análisis de sentimiento por aspectos, y consiste en no producir un número por texto sino un juicio por cada asunto mencionado: cámara, positivo; servicio técnico, negativo.

Es bastante más caro de implementar y bastante más útil, porque es lo que de verdad quiere saber quien lee esos datos. Una empresa cuya puntuación media lleva seis meses estable en 0,3 no está aprendiendo nada; la misma empresa descubriendo que el producto sube y la atención baja tiene algo que hacer el lunes. Si le venden análisis de sentimientos, pregunte si es por aspectos.

Cómo comprobarlo en su propio dominio

Y aquí está el procedimiento concreto, que cuesta una tarde y evita decisiones caras.

Coja doscientos textos suyos de verdad —sus reseñas, sus tiques de soporte—, elegidos al azar y no los más llamativos. Haga que dos personas de su equipo los etiqueten por separado, sin verse. Primero mida cuánto coinciden entre ellas: ése es su techo real, y suele sorprender lo bajo que es. Después pase esos mismos doscientos por la herramienta y compare.

Si la herramienta se acerca al acuerdo entre sus dos personas, sirve. Si queda muy por debajo, no sirve para su dominio por buenas que sean sus cifras publicadas. Y si lo supera ampliamente, algo está mal: probablemente sus dos anotadores no usaron el mismo criterio, y conviene arreglar eso antes de automatizar nada.

Cómo usarlo bien

Nada de esto lo invalida. Lo sitúa. El análisis de sentimientos es una herramienta excelente para tendencias agregadas sobre volúmenes grandes: si el promedio de diez mil menciones cae tres semanas seguidas, ahí ha pasado algo, y el ruido individual se cancela.

Es una herramienta mala para veredictos individuales. Ninguna decisión sobre una persona concreta —una reclamación, una evaluación, un contrato— debería apoyarse en la puntuación de un texto suyo, porque en ese caso el 16 % de desacuerdo humano no se cancela: le cae entero encima a alguien.

Por dónde seguir, sin intermediarios

El artículo de VADER es gratuito y explica cómo se construyó su diccionario y las cinco reglas, que son legibles para cualquiera. Su implementación oficial está publicada y permite probar frases propias en un minuto: escribir tres o cuatro casos ambiguos y ver qué devuelve enseña más que cualquier tabla comparativa.

La capacidad que se lleva de aquí es preguntar siempre quién fabricó la respuesta correcta antes de creerse una puntuación — porque un acierto solo puede medirse contra un acuerdo, y el acuerdo casi nunca es total.