Destilación del conocimiento: cómo leer la promesa de un modelo pequeño

Si su teléfono corrige un texto, resume una notificación o transcribe una nota de voz sin enviar nada a ningún servidor, está usando un modelo que cabe en su bolsillo. Y ese modelo no nació pequeño: casi siempre es la versión reducida de uno mucho mayor. El procedimiento tiene nombre —destilación del conocimiento— y una literatura primaria abierta que conviene conocer, porque de ella salen las cifras que después aparecen en los anuncios.

Vamos con esas cifras, y luego con lo que significan de verdad.

La idea, y por qué nació en 2006

El planteamiento es anterior a la moda actual. En 2006, Cristian Buciluă, Rich Caruana y Alexandru Niculescu-Mizil, de la Universidad de Cornell, presentaron en el congreso KDD un trabajo titulado «Model Compression». Proponían «un método para comprimir conjuntos grandes y complejos en modelos más pequeños y rápidos, normalmente sin pérdida significativa de rendimiento».

Su motivación no era teórica. Los mejores sistemas de la época eran ensembles: cientos o miles de clasificadores votando juntos. Excelentes y completamente inservibles allí donde no sobran memoria ni cómputo. Los ejemplos que ponen en el artículo son de su tiempo y sorprendentemente actuales: agendas electrónicas y audífonos.

Casi veinte años después, esa es exactamente la razón por la que hay modelos de lenguaje dentro de los teléfonos.

El mecanismo: enseñar con dudas, no con respuestas

La formulación que usa hoy todo el mundo llegó en 2015, con «Distilling the Knowledge in a Neural Network», de Geoffrey Hinton, Oriol Vinyals y Jeff Dean. Su propuesta: usar «las probabilidades de clase producidas por el modelo pesado como objetivos blandos para entrenar al modelo pequeño».

Conviene detenerse aquí, porque es lo único que hay que entender de verdad. Cuando un sistema clasifica una imagen manuscrita, no dice solamente «esto es un 2». Emite una distribución: muy probable un 2, algo probable un 7, casi imposible un 5. Esa gradación es información. Dice que los doses se parecen a los sietes más que a los cincos, y eso lo ha aprendido el modelo grande a base de ver millones de ejemplos. La etiqueta correcta, a secas, tira esa información a la basura.

La destilación consiste en entrenar al modelo pequeño contra esa distribución completa en vez de contra la respuesta seca. Y para que las probabilidades pequeñas se vean bien, se «suavizan» con un parámetro llamado temperatura: subirla, dice el artículo, «produce una distribución de probabilidad más suave sobre las clases».

El experimento que lo demuestra está en el mismo texto y es fácil de seguir. Sobre el conjunto de dígitos manuscritos MNIST: la red grande comete 67 errores de test; una red pequeña entrenada de forma normal comete 146; esa misma red pequeña, entrenada solo con objetivos blandos a temperatura 20, baja a 74. Recupera casi toda la distancia sin cambiar de tamaño.

El segundo experimento es aún más elocuente. En reconocimiento del habla, un conjunto de diez modelos alcanzaba un 61,1 % de acierto por trama y un 10,7 % de tasa de error de palabra; un único modelo destilado de ese conjunto llegó al 60,8 % y al mismo 10,7 % de error de palabra. Diez modelos de trabajo comprimidos en uno, sin perder en la métrica que importaba.

Ahora, el «97 %»: qué mide y qué no

En octubre de 2019, un equipo de Hugging Face publicó DistilBERT, con la frase que ha marcado el género: reduce el tamaño del modelo «un 40 %, conservando el 97 % de sus capacidades de comprensión del lenguaje y siendo un 60 % más rápido».

Las tres cifras son ciertas y están en el resumen del artículo. Pero son tres mediciones de tres cosas distintas, y quien las lee de corrido se lleva una impresión que ninguna de ellas respalda:

El 40 % es tamaño del modelo. El 60 % es velocidad. Y el 97 % es rendimiento sobre un conjunto de pruebas de comprensión del lenguaje: un examen estandarizado, no la tarea concreta de quien lo va a usar. Nada garantiza que ese 97 % se sostenga en un dominio específico —contratos, historiales médicos, atención al cliente en un sector concreto— porque nadie lo midió ahí. La afirmación es honesta; la extrapolación no es del artículo.

Dónde está esto hoy

La técnica dejó de ser un recurso de laboratorio hace tiempo.

El informe técnico de Gemma 2, publicado por Google DeepMind el 31 de julio de 2024, declara que entrenaron «los modelos de 2B y 9B con destilación del conocimiento (Hinton et al., 2015) en lugar de con predicción del siguiente token». El de 27.000 millones de parámetros, en cambio, se entrenó de la forma convencional. Es decir: en la misma familia, unos hermanos se destilan y otros no.

DeepSeek hizo lo propio en enero de 2025 con R1, del que derivó «seis modelos densos (1.5B, 7B, 8B, 14B, 32B, 70B) destilados de DeepSeek-R1 sobre las familias Qwen y Llama». El trabajo acabó publicado en Nature (645, 633-638, 2025).

Y el caso de Apple merece un párrafo aparte, porque enseña a leer documentos. Su anuncio de junio de 2024 describe un modelo en el dispositivo de «unos 3.000 millones de parámetros», pero no menciona la destilación: lo que detalla es cuantización, con una media de 3,7 bits por peso. La destilación aparece documentada un año después, en el informe técnico de 2025, donde se lee que reentrenaron el modelo denso del dispositivo en el último 10 % de los tokens «usando una pérdida de destilación desde el profesor MoE».

Dos técnicas distintas, dos documentos distintos, un año de diferencia. Atribuir la primera al documento equivocado es un error pequeño que revela una lectura que no se hizo.

Lo que se hereda junto con el conocimiento

Hay una consecuencia que se sigue directamente del mecanismo y que casi nunca aparece en los anuncios. Si al modelo pequeño se le entrena para reproducir la distribución de probabilidades del grande, entonces reproduce también aquello en lo que el grande se equivoca. Los aciertos y los sesgos del profesor viajan por el mismo canal, porque son el mismo canal.

Esto no invalida la técnica: la sitúa. Un modelo destilado no es una versión «depurada» de su profesor. Es una versión más barata. Preguntar quién fue el profesor es, por tanto, una pregunta técnica, no una curiosidad.

La capacidad: tres preguntas ante cualquier modelo pequeño

1. ¿Más pequeño en qué unidad? No es lo mismo tener menos parámetros que guardar cada parámetro con menos bits. El caso de Apple lo ilustra: 3,7 bits por peso reduce la memoria sin tocar el número de parámetros. Si el anuncio no dice la unidad, la cifra no significa nada.

2. ¿El porcentaje de rendimiento, medido en qué examen? Todo «conserva el X %» va referido a un conjunto de pruebas concreto. Pida el nombre de ese conjunto. Y recuerde que su tarea no estaba en él.

3. ¿Quién es el profesor? Un modelo destilado hereda el criterio del modelo del que aprendió, incluidos sus fallos. Si el profesor no se declara, falta la mitad de la ficha técnica.

El fondo, con una lección sobre cómo se accede a las fuentes

Los tres artículos fundamentales de esta historia están al alcance de cualquiera, pero no todos por la misma puerta:

• Hinton, Vinyals y Dean (2015) y Sanh, Debut, Chaumond y Wolf (2019) están en arXiv, abiertos y completos.
• Buciluă, Caruana y Niculescu-Mizil (2006) está tras el muro de pago de la ACM. Pero uno de sus autores mantiene una copia pública en su página de Cornell, algo que muchos contratos editoriales permiten expresamente al autor.

Esa distinción vale la pena aprenderla: la copia que el propio autor aloja en su institución no es lo mismo que una copia subida por un tercero. La primera es autoarchivo, una práctica establecida y legítima; la segunda no. Cuando un artículo parezca inaccesible, el sitio del autor o el repositorio de su universidad son el primer lugar donde mirar, y el correcto.

La capacidad que se lleva usted de aquí: ante cualquier modelo que presuma de pequeño, separe las tres cifras —tamaño, velocidad, rendimiento—, exija el examen en el que se midió la tercera y pregunte de qué modelo aprendió. Esas preguntas funcionaban en 2006 y seguirán funcionando cuando cambien los nombres.