BERT
BERT, el codificador bidireccional que Google presentó en 2018, enseñó a las máquinas a interpretar el lenguaje por su contexto. Repasamos cómo se entrena con MLM y NSP —y por qué RoBERTa demostró que NSP era prescindible—, su lugar frente a los LLM generativos y los encoders que hoy lo actualizan.
BERT (Bidirectional Encoder Representations from Transformers) es un modelo de lenguaje presentado por Jacob Devlin, Ming-Wei Chang, Kenton Lee y Kristina Toutanova, de Google, en un artículo difundido en arXiv en 2018 y publicado en la conferencia NAACL de 2019. Es un codificador (encoder) basado en la arquitectura Transformer que lee el texto de forma bidireccional: cada palabra se interpreta atendiendo a la vez a su contexto izquierdo y derecho, algo que los modelos anteriores, que leían de izquierda a derecha, no lograban.
Su propósito no es generar texto, sino producir representaciones —vectores— del lenguaje que luego se ajustan (fine-tuning) para tareas concretas de comprensión.
Cómo se entrena: enmascarado y el matiz de NSP
BERT se preentrena sobre texto sin etiquetar (BooksCorpus y la Wikipedia en inglés, unos 3.300 millones de palabras) con dos tareas. La primera, Masked Language Modeling (MLM), oculta al azar parte de las palabras y obliga al modelo a predecirlas a partir del contexto; es la que hace posible la lectura bidireccional. La segunda, Next Sentence Prediction (NSP), le pide decidir si dos frases aparecían consecutivas en el texto original.
Durante años NSP se citó como rasgo definitorio de BERT, pero conviene matizarlo: en 2019 el equipo de RoBERTa (Liu et al.) eliminó NSP, entrenó con más datos, lotes mayores y enmascarado dinámico, y obtuvo resultados iguales o mejores. Su conclusión fue que NSP aportaba poco y no era esencial, y la mayoría de los modelos posteriores lo abandonaron. El MLM, en cambio, sigue siendo el corazón de esta familia.
Qué lo hizo importante
El impacto de BERT vino de un método: preentrenar una sola vez sobre texto masivo y luego adaptar el mismo modelo a cada tarea añadiendo poco más que una capa de salida. Con ese esquema batió marcas en baterías como GLUE y SQuAD y convirtió el «preentrenar y ajustar» en la norma del procesamiento del lenguaje. La bidireccionalidad, frente a la lectura unidireccional previa, capturó mucho mejor el sentido que depende del contexto.
BERT frente a los LLM generativos hoy
En 2026 conviene no confundir dos familias. Los LLM generativos populares (GPT, Claude, Gemini) son decoders que producen texto. BERT y sus derivados son encoders orientados a comprender: clasificación, análisis de sentimiento, recuperación de información (retrieval) y embeddings de frases. Sentence-BERT (Reimers y Gurevych, 2019) adaptó BERT para generar vectores de frase comparables por similitud coseno, base de buena parte de la búsqueda semántica y de los sistemas de recuperación que hoy alimentan aplicaciones tipo RAG. Por su tamaño y su velocidad, los encoders siguen siendo la herramienta preferida cuando el objetivo es entender o buscar, no redactar.
Los encoders modernos
La arquitectura no se ha detenido. DeBERTa (He et al., 2021) introdujo la atención desenredada (disentangled attention), que representa contenido y posición por separado y superó a BERT y RoBERTa. En diciembre de 2024, Answer.AI y LightOn publicaron ModernBERT, un rediseño con ventana de contexto de 8.192 tokens, embeddings rotatorios (RoPE) y Flash Attention, entrenado con dos billones (2 × 10^12) de tokens y presentado como un sustituto más rápido y preciso de BERT.
Queda un punto abierto: por qué NSP aportó tan poco —si la tarea resultaba demasiado fácil o mezclaba la detección del tema con la coherencia— sigue siendo materia de debate técnico.
Este artículo se ha elaborado con inteligencia artificial bajo supervisión editorial humana.
