Transferencia de aprendizaje: cuándo reutilizar un modelo y cuándo no

A 30 de julio de 2026, gran parte de la IA aplicada no empieza con un modelo vacío. Parte de una red entrenada para reconocer imágenes, representar lenguaje o seguir instrucciones y la adapta con datos de otra tarea. Este patrón ha reducido costes y abierto proyectos que no podrían reunir el cómputo o los datos necesarios para entrenar desde cero. Su nombre, transferencia de aprendizaje, puede inducir a error: no mueve «conocimiento» como si copiara un archivo.

Lo que se reutiliza son parámetros y representaciones aprendidas bajo un objetivo, unos datos y unas decisiones de diseño. La nueva tarea apuesta a que parte de esa estructura sigue siendo útil. A veces la apuesta funciona; otras introduce transferencia negativa: el punto de partida limita el aprendizaje, arrastra errores o rinde peor que una alternativa más sencilla. La capacidad importante no es saber que existen modelos preentrenados, sino decidir cuándo su reutilización está justificada.

Transferir es formular una hipótesis

Durante el preentrenamiento, un modelo ajusta sus parámetros para reducir un error. En visión puede aprender bordes, texturas y formas; en lenguaje, regularidades que ayudan a predecir o reconstruir texto. Esas representaciones no son una base de datos neutral del mundo. Reflejan la tarea, el corpus, las etiquetas, el idioma y las ausencias del entrenamiento.

El experimento How transferable are features in deep neural networks? mostró en redes de visión que las capas iniciales tendían a aprender rasgos más generales y las posteriores se volvían más específicas de la tarea original. También observó que la transferibilidad disminuía al aumentar la distancia entre tareas. Es un resultado sobre arquitecturas y datos concretos, no una ley que asigne a cada capa un significado fijo. Ofrece la intuición correcta: cuanto mayor sea la distancia entre origen y destino, menos debe darse por supuesta la ventaja.

BERT popularizó el mismo patrón en procesamiento de lenguaje. El paper BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding preentrenó representaciones con texto sin etiquetar y después ajustó el modelo, con una capa de salida, para tareas como preguntas y respuestas o inferencia. El avance no demostró que una representación sea universal; demostró que ese preentrenamiento fue un punto de partida eficaz en once evaluaciones descritas por los autores.

La primera decisión es medir la distancia

Antes de elegir un modelo conviene comparar origen y destino en cinco dimensiones:

• Modalidad: texto, imagen, audio, vídeo, series temporales o una combinación.
• Dominio: web general, radiología, contratos, cultivos, conversación o sensores industriales.
• Tarea: clasificar, localizar, recuperar, predecir, generar o controlar.
• Población: idiomas, regiones, dispositivos, grupos y condiciones de captura.
• Coste del error: sugerencia reversible, decisión administrativa o acción física.

Un modelo de fotografías cotidianas puede ayudar a reconocer defectos industriales porque comparte patrones visuales básicos. Puede fallar si la señal útil aparece en otra escala o sensor. Un modelo de lenguaje general puede resumir notas clínicas con fluidez y, sin embargo, desconocer abreviaturas locales o convertir incertidumbre médica en una frase tajante. La semejanza superficial del formato no garantiza semejanza del problema.

Cuatro formas de adaptar, cuatro compromisos

Usar la representación sin modificarla

Se congela el modelo base y se entrena una capa pequeña para la tarea. Es barato, conserva el comportamiento original y permite comprobar si las representaciones ya separan las clases útiles. Su límite es claro: si la información relevante no está presente, una cabeza nueva no puede inventarla.

Ajustar todos los parámetros

El ajuste completo permite que toda la red se adapte al dominio. Necesita más memoria, datos y control de entrenamiento. Con pocos ejemplos puede sobreajustar; al modificar mucho el modelo puede perder capacidades anteriores o cambiar comportamientos de seguridad. «Más parámetros entrenables» no significa automáticamente «mejor transferencia».

Ajustar una fracción

Los adaptadores y otros métodos eficientes modifican una parte pequeña. LoRA, por ejemplo, congela los pesos preentrenados e introduce matrices de bajo rango entrenables en capas del modelo. Reduce parámetros que hay que actualizar y almacenar, lo que facilita mantener adaptaciones distintas sobre una misma base. No borra la dependencia: el adaptador sigue ligado a una versión concreta y hereda capacidades y riesgos del modelo congelado.

No cambiar pesos y aportar contexto

En algunos sistemas se usa un modelo sin reentrenarlo, con instrucciones, ejemplos o documentos recuperados. Puede resolver la necesidad con menor coste y mayor facilidad de actualización. No es equivalente al ajuste: el contexto ocupa espacio, puede ignorarse y no cambia de forma estable las representaciones. Sirve como alternativa que debe compararse, no como transferencia garantizada.

El ahorro solo existe si se mide el coste total

Reutilizar un modelo evita parte del entrenamiento inicial, pero introduce descarga, almacenamiento, inferencia, adaptación, evaluación, seguridad y mantenimiento. Un modelo enorme congelado puede resultar más caro de operar que uno pequeño entrenado para una tarea estrecha. La comparación debe incluir tiempo de ingeniería, energía, hardware, latencia, coste por consulta y frecuencia de actualización.

También importa la licencia. Pesos disponibles no significan uso irrestricto; pueden existir condiciones sobre redistribución, uso comercial o atribución. Y si la procedencia de datos no está documentada, la organización recibe una incertidumbre que el ajuste no corrige.

Transferir también transfiere fallos

El modelo base puede contener sesgos, vulnerabilidades, asociaciones erróneas, memorias no deseadas o una cobertura desigual de idiomas. Afinarlo con un conjunto pequeño puede ocultar un fallo en la métrica media sin eliminarlo en subgrupos. También puede añadir una puerta trasera presente en los pesos o en datos de adaptación obtenidos de terceros.

Por eso hacen falta trazabilidad y límites conocidos. Model Cards for Model Reporting propone documentar uso previsto, factores relevantes, métricas, datos de evaluación y resultados desagregados. Una ficha no garantiza calidad, pero permite saber qué afirmaciones acompañan al modelo y cuáles deben volver a comprobarse en el destino.

La regla más importante es que una evaluación heredada no se hereda. Que el modelo base funcionara bien en su benchmark no demuestra el sistema adaptado en el nuevo contexto. Cambiar la población, el sensor, el idioma, la interfaz o la autoridad que recibe el modelo cambia el objeto que hay que evaluar.

El experimento mínimo que revela si hubo transferencia

Una decisión defendible compara al menos tres puntos de partida:

• Una referencia simple: regla, modelo pequeño o entrenamiento desde cero que muestre cuánto aporta la transferencia.
• La base congelada: permite saber si las representaciones ya contienen señal útil.
• La adaptación elegida: ajuste parcial o completo bajo el mismo conjunto de prueba.

La prueba debe separar entrenamiento, validación y test por unidad real. Si varias imágenes del mismo paciente, versiones del mismo documento o muestras del mismo dispositivo caen a ambos lados, el resultado puede medir memoria y no generalización. También debe informar variación, no solo el mejor intento, y resultados por subgrupo cuando el impacto no sea uniforme.

Después conviene realizar dos controles: regresión sobre capacidades que deben conservarse y estrés sobre el entorno de destino. Si un asistente se especializa en atención al cliente, hay que comprobar la tarea nueva, pero también seguridad, idiomas, recuperación ante instrucciones ambiguas y comportamiento cuando faltan datos.

Del laboratorio al mantenimiento

La transferencia no termina al desplegar. Cambian los datos, la base recibe versiones nuevas y el adaptador puede dejar de ser compatible. El núcleo del AI Risk Management Framework de NIST pide identificar la idoneidad de datos y evaluación, validar en los contextos de despliegue y vigilar los modelos preentrenados como parte del mantenimiento regular. Es un marco voluntario, pero formula una obligación técnica sensata: tratar la base como una dependencia viva.

Un registro de transferencia debe conservar la versión y el hash de los pesos, licencia, datos de adaptación, configuración, pruebas, propietario y criterio de retirada. Sin ello, una mejora futura del modelo base puede romper la reproducción o cambiar silenciosamente el resultado.

La ficha de decisión

Antes de adaptar un modelo preentrenado, hay que poder responder:

• Origen: ¿con qué objetivo, datos, población y licencia se entrenó?
• Distancia: ¿qué comparte de verdad con la tarea de destino?
• Método: ¿qué se congela, qué se modifica y por qué?
• Referencia: ¿supera una alternativa sencilla bajo el mismo test?
• Herencia: ¿qué fallos, límites y obligaciones viajan con los pesos?
• Mantenimiento: ¿cómo se detectarán deriva, incompatibilidad y regresiones?

La capacidad transferible es esta: tratar un modelo preentrenado como una hipótesis sobre representaciones útiles, no como conocimiento universal, y exigir una comparación que mida ganancia, coste y fallos heredados. La transferencia ahorra cuando el origen encaja con el destino. Cuando no encaja, empezar con ventaja aparente puede ser la forma más cara de equivocarse.