Apple propone ajustar modelos sin perder de vista lo que ya saben

El 11 de mayo de 2026, un trabajo de Apple propuso abordar el ajuste fino de modelos de lenguaje no eligiendo una mezcla fija de datos, sino recalculándola durante el entrenamiento con límites explícitos. Ajustar un modelo para que programe mejor, responda sobre medicina o siga una instrucción particular tiene un coste conocido: puede empeorar en lo que ya sabía hacer, el fenómeno que la literatura del área lleva décadas llamando olvido catastrófico. El manuscrito, firmado por Eleonora Gualdoni, Sonia Laguna, Louis Bethune, Joao Monteiro, Pierre Ablin y Marco Cuturi, convierte ese dilema en un problema de optimización con restricciones que se resuelve sobre la marcha, mientras el modelo se entrena.

La técnica se llama DynaMiCS, por Dynamic Mixtures for Constraint Satisfaction. Su idea es sencilla de formular aunque exigente de ejecutar: antes de decidir cuánto entrenar con cada conjunto de datos, el sistema prueba brevemente qué efecto tiene cada uno sobre varias evaluaciones. Después usa esas mediciones para escoger una mezcla que mejore los objetivos elegidos sin superar un deterioro aceptable en las capacidades que se quieren conservar.

Aprender sin olvidar

En el ajuste fino de varios dominios, un equipo puede querer mejorar la generación de código y, al mismo tiempo, evitar que el modelo pierda conocimiento general, seguimiento de instrucciones o resultados en una evaluación de seguridad. La práctica habitual consiste en fijar proporciones de datos —uniformes, por tamaño de conjunto o ajustadas a mano— y comprobar el resultado al final. Si la mezcla no funciona, toca repetir el entrenamiento entero con otra receta, y cada repetición cuesta un tiempo de cómputo que no siempre existe.

DynaMiCS convierte ese proceso en una optimización con restricciones. Para cada conjunto de entrenamiento, hace una serie corta de pasos aislados y mide cómo cambian las pérdidas en los dominios de evaluación. Esas mediciones forman lo que el artículo llama una matriz de pendientes: una estimación local de cuánto sube o baja cada evaluación por cada paso entrenado en cada conjunto — es decir, de qué transferencia ayuda y qué interferencia perjudica. Con ella calcula pesos para la siguiente fase de entrenamiento, vuelve a medir más adelante y corrige la mezcla.

El calendario de esas correcciones no es continuo, porque sondear también cuesta. El método las espacia en intervalos que se van doblando, con tres variantes según cuánto se sondee al principio: sin calentamiento son seis recálculos de la mezcla por entrenamiento; con calentamiento ligero, nueve; con calentamiento denso, once. Cada sondeo se limita además a un máximo de 128 pasos por conjunto, de modo que el gasto extra queda acotado de antemano.

Con las pendientes en la mano, la elección de la mezcla se resuelve como un programa lineal con una relajación cuadrática de las restricciones. En cada recálculo, el sistema genera 45 soluciones candidatas —quince niveles de rigidez de la penalización combinados con tres márgenes de tolerancia— y se queda con la factible que más mejora los objetivos. La distinción importante es que los dominios que se desea proteger no tienen por qué ser datos usados para entrenar: pueden ser baterías de evaluación de seguridad, conocimiento común o seguimiento de instrucciones. El método intenta mantener sus pérdidas por debajo de una referencia tomada antes del ajuste y, si no existe ninguna combinación que satisfaga todo, relaja la restricción y selecciona la opción que menos la viola.

Qué midió el estudio

Los autores evaluaron la propuesta en 50 escenarios de ajuste fino con entre uno y tres dominios objetivo y entre tres y diez dominios restringidos. Usaron Qwen2.5-3B con adaptadores LoRA de rango 8, 32 y 64, y Qwen3-8B y Gemma3-12B con rango 32; LoRA ajusta el modelo a través de matrices de bajo rango, sin tocar todos los pesos, y es hoy la vía más común de ajuste con presupuesto contenido. Cada corrida entrena 2.048 pasos con lotes de ocho secuencias de 512 tokens —unos ocho millones de tokens por experimento— y el manuscrito acumula unas 7.000 corridas entre configuraciones, escenarios y semillas. Los objetivos abarcan razonamiento matemático, código, instrucciones, preguntas médicas, llamadas a funciones y tareas multilingües, con conjuntos como MetaMathQA, NuminaMath, GSM8K o CodeFeedback; las restricciones incluyen seguridad, sentido común y conocimiento general, medidos con baterías como tinyMMLU, tinyTruthfulQA o NemotronSafety.

La comparación no es contra un muñeco de paja. Los baselines incluyen mezclas uniformes, mezclas proporcionales al tamaño de cada conjunto, un barrido de cinco repartos distintos entre datos objetivo y datos de protección, y un método dinámico basado en el alineamiento de gradientes. En esos experimentos, DynaMiCS superó a todos. En Qwen3-8B, el manuscrito informa una reducción mediana del 11% en la perplejidad de los dominios objetivo frente al 0% de los baselines fijos comparados. En Gemma3-12B, informa un 24% frente al 18% de los mejores baselines; en Qwen2.5-3B, entre un 8% y un 9% frente al 0,4% del mejor de diez baselines. Y en la parte que da nombre al método —cuántas veces terminan respetándose las restricciones—, los autores reportan tasas de cumplimiento consistentemente superiores a las de cualquier mezcla fija comparada. Las cifras se toman en el mejor punto de control factible de cada corrida —el momento del entrenamiento en que los objetivos mejoran más sin romper ninguna restricción—, y en factibilidad la ventaja se mantiene incluso frente a barridos a los que se les permite gastar diez veces más cómputo.

El coste adicional viene de los sondeos y evaluaciones intermedias, pero queda lejos de la alternativa. Según el artículo, un barrido modesto de diez mezclas independientes cuesta diez veces un entrenamiento completo; DynaMiCS, con todos sus sondeos incluidos, acumula entre 1,4 y 1,7 veces según cuánto calentamiento se use. Para un equipo que hoy busca la mezcla adecuada a base de repetir corridas completas, ese es el argumento económico del método: pagar un sobrecoste acotado y conocido en vez de multiplicar entrenamientos a ciegas. El manuscrito subraya además que todo esto funciona sin modelos de referencia ni puntuación ejemplo a ejemplo, dos ingredientes habituales —y caros— en otros métodos de selección de mezclas de datos.

Una restricción no es una garantía

El resultado no significa que el modelo conserve por definición toda capacidad importante. DynaMiCS conserva aquello que se mide y se incluye como restricción. Una evaluación incompleta, una métrica mal elegida o un comportamiento que no aparezca en las pruebas seguirá fuera de la optimización. Los propios autores lo escriben en sus limitaciones: el método depende de la calidad de los dominios de evaluación y puede no preservar capacidades amplias cuando esas evaluaciones son estrechas.

Tampoco es magia matemática. La matriz de pendientes es una aproximación lineal local: presupone que los efectos de los conjuntos de datos se combinan de forma aditiva y suficientemente predecible en el intervalo corto hasta la siguiente actualización. Los autores admiten que esa aproximación pierde precisión cuando los intervalos se alargan, que las interacciones entre dominios quedan fuera del modelo y que una especialización temprana demasiado agresiva puede sesgar el resto de la trayectoria del entrenamiento.

Es precisamente por eso que el trabajo resulta útil. Obliga a declarar qué se quiere mejorar, qué no se está dispuesto a degradar y cómo se medirá cada cosa. En vez de tratar la mezcla de datos como una receta fija, la convierte en una decisión que se revisa a lo largo del entrenamiento. Y deja al lector una pregunta que sirve más allá de este manuscrito: cuando alguien afirme que ajustó un modelo «sin perder capacidades», pida la lista de qué capacidades se midieron como restricción y con qué baterías se midieron. Lo que no estaba en esa lista no estaba protegido. Para quienes ajustan modelos a tareas específicas, ese cambio de enfoque puede ser tan valioso como el porcentaje de mejora que aparece en una tabla.