Herramientas y técnicas para entrenar modelos de lenguaje personalizados

Adaptar un modelo de lenguaje general a un dominio concreto —contratos, historiales clínicos, atención al cliente de un sector— es hoy una tarea al alcance de equipos pequeños. Estas son las técnicas que lo hacen posible, y un caso que enseña algo más útil que cualquiera de ellas: qué hacer cuando el ejemplo de éxito que todo el mundo cita no se puede comprobar.

El punto de partida: no entrenar desde cero

Prácticamente nadie entrena un modelo de lenguaje desde el principio. Se parte de uno preentrenado y se adapta, que es lo que se conoce como aprendizaje por transferencia: el modelo llega sabiendo la estructura general de la lengua y solo hay que enseñarle la especialidad.

La infraestructura de referencia para hacerlo es la biblioteca Transformers, presentada por el equipo de Hugging Face en la conferencia EMNLP de 2020 y mantenida en un repositorio abierto con más de veintitrés mil cambios registrados en su rama principal.

Un apunte que conviene tener actualizado: ya no es una biblioteca de procesamiento del lenguaje. Su propia descripción actual la define como el marco de definición de modelos para texto, visión, audio y multimodalidad, tanto para inferencia como para entrenamiento. Quien la conozca solo como «la librería de PLN» va con dos o tres años de retraso.

Las técnicas, en orden de coste

Ajuste fino. Se continúa el entrenamiento del modelo con datos del dominio. Es lo más eficaz y lo más caro, y exige cuidado: si se ajusta todo el modelo de golpe con una tasa de aprendizaje alta, se sobrescribe el conocimiento general — el fenómeno conocido como olvido catastrófico. De ahí las precauciones habituales de congelar capas y ajustar de forma gradual.

Representaciones especializadas. Entrenar los vectores que representan las palabras sobre textos del dominio hace que el modelo distinga acepciones que en el lenguaje general se confunden. «Cargo», «provisión» o «resolución» no significan lo mismo en un contrato que en un periódico.

Búsqueda de hiperparámetros. Los valores que gobiernan el entrenamiento —tasa de aprendizaje, tamaño de lote, número de épocas— cambian mucho el resultado. Explorarlos al azar funciona; hacerlo con optimización bayesiana, que decide dónde probar a partir de lo ya observado, suele llegar antes al mismo sitio.

Aprendizaje multitarea. Entrenar un mismo modelo con varios objetivos a la vez, para que lo aprendido en uno ayude en los demás. Su dificultad no es conceptual sino de equilibrio: definir una función de pérdida que no deje que una tarea se coma a las otras.

Saber qué está mirando el modelo

Un modelo especializado puede acertar por el motivo equivocado — aprender que los documentos de cierto cliente casi siempre se aprueban, en vez de aprender a evaluarlos. Para detectarlo están las técnicas de interpretabilidad: LIME, que aproxima el modelo con otro sencillo en el entorno de una predicción concreta, y SHAP, que reparte la responsabilidad de la predicción entre las variables usando los valores de Shapley de la teoría de juegos.

En un modelo personalizado no son un lujo: son la forma de comprobar que la especialización aprendió lo que se quería enseñarle.

El caso que todos citan y nadie puede comprobar

Aquí llega la parte más útil del artículo, y no es una técnica.

Cuando se busca un ejemplo de modelo personalizado con impacto real en banca, aparece siempre el mismo: LOXM, de J.P. Morgan, un sistema de aprendizaje automático para optimizar la ejecución de órdenes. Circula desde 2017, y con él circulan cifras concretas: mejoras de eficiencia en la ejecución, entrenamiento sobre miles de millones de operaciones históricas.

Al preparar este artículo buscamos la fuente primaria de esas cifras. No existe públicamente. No hay comunicado del banco, ni página de producto, ni documento técnico accesible. El documento oficial de preguntas frecuentes sobre negociación electrónica que J.P. Morgan publica —de noviembre de 2025— no menciona LOXM. Lo único localizable es la cobertura de prensa de 2017 y los textos que la repiten.

Por eso en este artículo no encontrará ninguna de esas cifras. No porque dudemos de que el sistema exista, sino porque una cifra que solo vive en artículos que se citan unos a otros no es un dato: es un rumor con buena reputación.

Y merece la pena ver lo que eso significa. El caso de éxito más citado de la inteligencia artificial aplicada a la banca lleva casi una década sin que su propietario publique una sola especificación comprobable. Es información valiosa por sí misma sobre cuánto de lo que se afirma en este sector puede verificarse.

El error de evaluación que arruina la mitad de estos proyectos

Hay un fallo tan extendido que merece sección propia, y no es técnico: es de método. Se especializa un modelo para un dominio —contratos, historiales, expedientes— y después se valida con un conjunto de pruebas general.

El resultado es previsible y engañoso. El modelo especializado puntúa parecido al de partida en el examen genérico, porque ese examen no contiene los casos que lo distinguen, y entonces se concluye que la especialización «no aportó nada». O al revés: puntúa alto en el examen general y se despliega en el dominio, donde falla en cuanto aparece la casuística real.

La regla es incómoda porque cuesta trabajo: un modelo especializado exige un conjunto de evaluación especializado, construido con casos del dominio y anotado por alguien que lo conozca. No hay atajo. Si el proyecto no reserva presupuesto para construir ese conjunto, no está midiendo lo que cree medir — está midiendo otra cosa con mucha precisión.

Cómo comprobar una afirmación de modelo personalizado

El caso de LOXM deja un método aplicable a cualquier anuncio de este tipo, y no exige conocimientos técnicos.

Pregunte por el conjunto de evaluación antes que por el resultado. Quien ha hecho el trabajo bien puede describirlo: cuántos casos, de dónde salieron, quién los anotó. Quien no, cambia de tema hacia la arquitectura.

Pregunte contra qué se comparó. Un modelo especializado debería medirse contra el modelo general sin especializar, y contra la forma en que se hacía el trabajo antes. Sin esas dos referencias, una cifra de precisión no dice si el proyecto mereció la pena.

Y pregunte quién más puede repetir la medición. Una cifra que solo puede reproducir quien la publicó no es un resultado: es un testimonio. Es exactamente la diferencia entre los artículos que enlazamos aquí —cuyos números cualquiera puede contrastar en el documento— y el sistema del que llevamos casi una década oyendo hablar sin una sola especificación pública.

La capacidad: qué hacer cuando la fuente no aparece

1. Busque el documento del propietario, no la noticia. Si una empresa ha logrado algo notable, normalmente lo publica: comunicado, artículo técnico, página de producto. Si solo hay prensa, la pregunta correcta es por qué.

2. Desconfíe de la cifra que viaja sin documento. Un porcentaje repetido en veinte sitios que citan al mismo artículo original tiene una sola fuente, no veinte. La repetición no es corroboración.

3. Diga que no lo pudo comprobar. Es la parte que casi nadie hace, y es la que le distingue. Declarar el límite cuesta una frase y ahorra propagar durante años algo que nadie verificó.

El fondo

• Wolf y otros (2020), el artículo de Transformers en las actas de EMNLP, en acceso abierto.
• El repositorio, donde se ve el estado real del proyecto y su alcance actual.
• LIME y SHAP, para comprobar qué aprendió su modelo especializado.
• Sobre LOXM no hay enlace que ofrecer, y esa ausencia es el dato.