Apple propone ajustar modelos sin perder de vista lo que ya saben

El 11 de mayo de 2026, un trabajo de Apple propuso abordar el ajuste fino de modelos de lenguaje no eligiendo una mezcla fija de datos, sino recalculándola durante el entrenamiento con límites explícitos. Ajustar un modelo para que programe mejor, responda sobre medicina o siga una instrucción particular tiene un coste conocido: puede empeorar en lo que ya sabía hacer.

La técnica se llama DynaMiCS, por Dynamic Mixtures for Constraint Satisfaction. Su idea es sencilla de formular aunque exigente de ejecutar: antes de decidir cuánto entrenar con cada conjunto de datos, el sistema prueba brevemente qué efecto tiene cada uno sobre varias evaluaciones. Después usa esas mediciones para escoger una mezcla que mejore los objetivos elegidos sin superar un deterioro aceptable en las capacidades que se quieren conservar.

Aprender sin olvidar

En el ajuste fino de varios dominios, un equipo puede querer mejorar la generación de código y, al mismo tiempo, evitar que el modelo pierda conocimiento general, seguimiento de instrucciones o resultados en una evaluación de seguridad. La práctica habitual consiste en fijar proporciones de datos —uniformes, por tamaño de conjunto o ajustadas a mano— y comprobar el resultado al final. Si la mezcla no funciona, toca repetir el entrenamiento.

DynaMiCS convierte ese proceso en una optimización con restricciones. Para cada conjunto de entrenamiento, hace una serie corta de pasos aislados y mide cómo cambian las pérdidas en los dominios de evaluación. Esas mediciones forman una matriz de pendientes: una estimación local de qué transferencia ayuda y qué interferencia perjudica. Con ella calcula pesos para la siguiente fase de entrenamiento, vuelve a medir más adelante y corrige la mezcla.

La distinción importante es que los dominios que se desea proteger no tienen por qué ser datos usados para entrenar. Pueden ser baterías de evaluación de seguridad, conocimiento común o seguimiento de instrucciones. El método intenta mantener sus pérdidas por debajo de una referencia tomada antes del ajuste. Si no existe una combinación que satisfaga todo, relaja la restricción y selecciona la opción que menos la viola.

Qué midió el estudio

Los autores evaluaron la propuesta en 50 escenarios de ajuste fino con entre uno y tres dominios objetivo y entre tres y diez dominios restringidos. Usaron Qwen2.5-3B, Qwen3-8B y Gemma3-12B, con adaptadores LoRA en los experimentos, y reportan más de 7.000 corridas. Los objetivos abarcan razonamiento matemático, código, instrucciones, preguntas médicas, llamadas a funciones y tareas multilingües; las restricciones incluyen, entre otras, seguridad, sentido común y conocimiento general.

En esos experimentos, DynaMiCS superó a mezclas fijas que se probaban con varios pesos. En Qwen3-8B, el manuscrito informa una reducción mediana del 11% en la perplejidad de los dominios objetivo frente al 0% de los baselines fijos comparados. En Gemma3-12B, informa un 24% frente al 18% de los mejores baselines. El coste adicional viene de las pruebas temporales y evaluaciones, pero los autores lo sitúan muy por debajo de lanzar muchas corridas completas para buscar la mezcla adecuada.

Una restricción no es una garantía

El resultado no significa que el modelo conserve por definición toda capacidad importante. DynaMiCS conserva aquello que se mide y se incluye como restricción. Una evaluación incompleta, una métrica mal elegida o un comportamiento que no aparezca en las pruebas seguirá fuera de la optimización. Además, el método usa una aproximación lineal local: presupone que los efectos de los conjuntos de datos se pueden combinar de forma suficientemente predecible en el intervalo corto hasta la siguiente actualización.

Es precisamente por eso que el trabajo resulta útil. Obliga a declarar qué se quiere mejorar, qué no se está dispuesto a degradar y cómo se medirá cada cosa. En vez de tratar la mezcla de datos como una receta fija, la convierte en una decisión que se puede revisar a lo largo del entrenamiento. Para quienes ajustan modelos a tareas específicas, ese cambio de enfoque puede ser tan valioso como el porcentaje de mejora que aparece en una tabla.