Modelos de lenguaje basados en redes neuronales convolucionales

Las redes convolucionales se hicieron famosas procesando imágenes, pero llevan más de una década aplicándose también al texto. Entender por qué siguen teniendo sentido —y en qué casos concretos ganan a las arquitecturas de moda— es más útil que memorizar cuál es hoy la mejor: el criterio dura, el ranking no.

Qué hace una convolución cuando la entrada es texto

Una red convolucional (CNN) transforma su entrada mediante dos operaciones encadenadas. La convolución aplica un filtro que recorre la secuencia y se activa cuando encuentra un patrón local: en texto, eso significa detectar combinaciones de dos, tres o cuatro palabras seguidas —n-gramas— sin importar en qué parte de la frase aparezcan. El pooling resume después esas activaciones y se queda con las más intensas, reduciendo la dimensionalidad y dejando solo lo que más pesa.

Traducido: una CNN pregunta «¿aparece en algún sitio este patrón?», no «¿cómo se relaciona cada palabra con todas las demás?». Esa diferencia explica sus dos virtudes y su límite.

El trabajo que lo demostró

El antecedente serio es de 2011, cuando Ronan Collobert, Jason Weston y sus colegas publicaron en el Journal of Machine Learning Research «Natural Language Processing (Almost) from Scratch», de acceso abierto. Usaban una sola arquitectura para cuatro tareas distintas —etiquetado gramatical, segmentación sintáctica, reconocimiento de entidades y etiquetado de roles semánticos— evitando diseñar rasgos a mano para cada una. Su sistema, dicen, «aprende representaciones internas a partir de grandes volúmenes de datos de entrenamiento en su mayoría no etiquetados».

El resultado que popularizó el enfoque llegó en 2014 con «Convolutional Neural Networks for Sentence Classification», de Yoon Kim: una CNN sencilla sobre vectores de palabras preentrenados, con muy poco ajuste de hiperparámetros, que —en palabras del propio artículo— «mejora el estado del arte en 4 de 7 tareas». Que una arquitectura simple y barata alcanzara eso es justamente lo que hizo que el campo la tomara en serio.

Dónde encajan: clasificación, sentimiento y entidades

Las tres aplicaciones habituales comparten una propiedad: la señal que hay que detectar es local.

En clasificación de texto, asignar una categoría no suele exigir entender el documento entero: basta con detectar giros característicos. En análisis de sentimiento, expresiones como «no está nada mal» o «una decepción» son fragmentos cortos que un filtro captura bien. Y en reconocimiento de entidades nombradas —distinguir personas, organizaciones y lugares— el contexto decisivo suele estar en las dos o tres palabras vecinas.

Cuando la señal que importa está lejos en el texto, en cambio, la convolución se queda corta: tendría que apilar muchas capas para que su campo de visión alcance, y aun así lo hace peor que un mecanismo que compara directamente cada palabra con todas las demás.

Lo que el pooling tira a la basura

Hay una consecuencia del mecanismo que casi nunca se explica y que conviene entender, porque de ella se deduce sola dónde falla una red convolucional aplicada a texto.

Recuerde qué hace el pooling: recorre las activaciones del filtro y se queda con la más intensa. Eso responde a la pregunta «¿aparece este patrón en algún sitio?» — y al hacerlo descarta dónde aparecía. La posición se pierde por diseño, no por descuido.

Para clasificar un texto por tema, eso es una virtud: da igual en qué párrafo esté la palabra que delata el asunto. Para otras tareas es un problema serio. Piense en la negación: «no está mal» y «está mal» comparten casi todos los patrones locales, y lo que los distingue es qué alcanza el «no» y hasta dónde. Un sistema que solo registra qué fragmentos aparecen, sin retener su orden ni su ámbito, tiene que resolver eso por otra vía.

De ahí que en análisis de sentimiento las redes convolucionales rindan bien en textos cortos y directos, y se compliquen en cuanto aparecen ironía, concesiones o frases largas con subordinadas. No es que «entiendan menos»: es que la operación que las hace baratas es la misma que borra la información que haría falta.

Dónde comprobarlo por su cuenta

Nada de lo anterior exige creerse a nadie. El manual de referencia del campo, «Speech and Language Processing» de Dan Jurafsky y James H. Martin, publica su tercera edición como borrador de lectura libre —actualizado el 6 de enero de 2026— con permiso explícito de los autores para usarlo e imprimirlo. Es el mismo texto con el que se forman los profesionales del sector.

Merece la pena decirlo porque cambia la relación del lector con el asunto: en este campo, casi todo lo que se afirma en un titular se puede contrastar en un manual gratuito o en un artículo abierto. Cuando alguien apela a la autoridad en vez de al documento, casi siempre es porque el documento dice menos de lo que le conviene.

El contraste con los transformadores, con cifras

Esa comparación no hay que suponerla: está medida. En 2018, BERT estableció un nuevo estado del arte en once tareas de comprensión del lenguaje, elevando la puntuación GLUE al 80,5 % —una mejora absoluta de 7,7 puntos— y el F1 en SQuAD v1.1 a 93,2. Ese salto lo consiguió la atención, no la convolución.

Pero la historia no acaba ahí, y aquí está el dato que casi nadie cuenta. En 2019, un equipo de Facebook AI publicó «Pay Less Attention with Lightweight and Dynamic Convolutions», que compara ambos enfoques de frente. Su resultado: con convoluciones dinámicas alcanzaron 29,7 BLEU en la prueba de traducción inglés-alemán de WMT'14, estado del arte en ese momento. Y su argumento de fondo es de coste: la convolución escala linealmente con la longitud de la entrada, mientras que la autoatención escala de forma cuadrática.

Ese detalle no es contabilidad: es el motivo por el que la convolución sigue viva. Duplicar la longitud del texto duplica el trabajo de una CNN y lo cuadruplica en un mecanismo de atención clásico.

Los límites, dichos sin adornos

Las CNN necesitan cantidades considerables de datos etiquetados para las tareas supervisadas donde brillan, y eso no siempre está disponible. Y arrastran su limitación estructural: las dependencias a larga distancia —un pronombre que se refiere a algo dicho tres párrafos antes— se les escapan, porque su diseño mira vecindarios, no documentos.

Por eso lo habitual hoy no es elegir, sino combinar: convolución para extraer rasgos locales de forma barata, atención para resolver lo que depende del contexto largo.

La capacidad: cuándo conviene cada una

Lo que merece la pena llevarse, y seguirá sirviendo cuando cambien los nombres de los modelos:

Si la señal es local y el volumen es grande, la convolución gana en coste. Moderar contenido a gran escala, clasificar textos cortos o detectar patrones fijos no requiere el aparato completo de la atención, y pagarlo es tirar cómputo.

Si lo que decide está lejos en el texto, la atención gana en capacidad. Resolver a qué se refiere un pronombre, seguir un argumento largo o traducir respetando la estructura global exige comparar elementos distantes.

Y ante cualquier anuncio, pregunte por el coste además de por la precisión. Un titular sobre precisión sin su coste computacional describe media decisión: en producción, el sistema que se despliega casi nunca es el más preciso, sino el mejor de los que caben en el presupuesto.

El fondo

• Collobert, Weston y otros (2011), en JMLR, acceso abierto. Aviso útil: su resumen no da cifras; los resultados numéricos están en el cuerpo del artículo.
• Kim (2014), la CNN sencilla para clasificación de frases.
• Devlin y otros (2018), BERT, para ver de dónde salen las cifras de GLUE y SQuAD.
• Wu y otros (2019), la comparación directa entre convolución y autoatención, con el argumento del coste lineal frente al cuadrático.
• Jurafsky y Martin, «Speech and Language Processing», tercera edición en borrador abierto y gratuito.