Phi-4 y la prueba que importa: cuándo un modelo pequeño es suficiente

El 11 de diciembre de 2024, el repositorio oficial de Microsoft en Hugging Face dejó a la vista Phi-4, un modelo de lenguaje de 14.000 millones de parámetros orientado al razonamiento. La novedad no consiste en que «pequeño» haya pasado a significar débil. Consiste en que el tamaño deja de ser una respuesta completa: para saber si un modelo sirve hay que mirar qué datos recibió, cómo se evaluó, qué memoria exige y bajo qué licencia puede utilizarse.

La primera versión verificable de la ficha y los archivos del modelo, fechada ese 11 de diciembre, permite separar hechos de promesas. Describe una arquitectura Transformer densa de 14.000 millones de parámetros y una ventana de contexto de 16.000 tokens. También declara 9,8 billones de tokens de entrenamiento, 21 días de cálculo con 1.920 GPU H100 de 80 GB y una mezcla de material sintético, documentos públicos filtrados, libros académicos adquiridos y conjuntos de preguntas y respuestas. Esos números cuentan cómo se entrenó; no demuestran por sí solos cuánto costará ejecutar una aplicación concreta.

«Pequeño» es una comparación, no una especificación

Catorce mil millones de parámetros son pocos frente a modelos de cientos de miles de millones, pero siguen representando un sistema considerable. Si cada peso se almacena con 16 bits, una cuenta de servilleta da unos 28 GB solo para los pesos: 14.000 millones multiplicados por dos bytes. Faltan la memoria de activaciones, la caché de atención, el contexto, las bibliotecas y el margen del sistema. Reducir cada peso a ocho o cuatro bits puede bajar esa cifra, pero la cuantización también puede cambiar velocidad y calidad. Por eso «funciona en una GPU» no es una propiedad universal; depende de la precisión, el dispositivo, la longitud de entrada, el número de usuarios y el motor de inferencia.

Esta distinción evita un error frecuente. La ficha indica que el entrenamiento empleó 1.920 H100, pero ese dato no debe confundirse con los recursos necesarios para usar el modelo. Entrenar ajusta miles de millones de valores mediante muchas pasadas y requiere una infraestructura muy distinta; inferir carga valores ya aprendidos y genera tokens. Tampoco basta con comparar parámetros: una arquitectura densa activa todos ellos en cada paso, mientras que un modelo de mezcla de expertos puede tener más parámetros totales y activar solo una parte. El número sirve para orientarse, no para cerrar una compra.

La pregunta práctica debe formularse al revés: ¿qué presupuesto de memoria, latencia y concurrencia admite la tarea? Un asistente interno que atiende a una persona, un corrector que procesa lotes por la noche y un servicio con mil consultas simultáneas pueden necesitar modelos e infraestructura diferentes aunque compartan el mismo prompt. El coste relevante es el del sistema completo por respuesta útil, no el prestigio del nombre ni el número de parámetros aislado.

La apuesta de Phi: seleccionar lo que enseña

Microsoft atribuye buena parte de la capacidad de Phi-4 a la composición de los datos. La ficha inicial dice que combina documentos públicos filtrados con datos sintéticos «tipo libro de texto» destinados a enseñar matemáticas, programación, razonamiento de sentido común y conocimiento general. No es una idea improvisada para este lanzamiento. El trabajo anterior Textbooks Are All You Need, publicado por investigadores de Microsoft en 2023, propuso entrenar modelos pequeños de código con material sintético de calidad semejante a manuales y ejercicios. El informe técnico de Phi-3, disponible desde abril de 2024, extendió la misma línea: priorizar datos muy filtrados y sintéticos para elevar la capacidad por parámetro.

«Sintético» no equivale a «falso» ni garantiza calidad. Significa que parte del corpus fue producida o transformada mediante modelos y procesos automáticos. Puede aportar explicaciones graduadas, ejercicios con dificultad controlada y ejemplos que escasean en la web. También puede repetir errores, estrechar la diversidad o enseñar el estilo y los puntos ciegos del modelo generador. La pregunta auditora no es si hay datos sintéticos, sino cómo se generaron, filtraron, deduplicaron y comprobaron.

La ficha aporta la mezcla general, pero no publica el corpus completo ni permite reconstruir cada decisión de selección. Declara además que aproximadamente el 8% de los datos es multilingüe y que el modelo se centra sobre todo en inglés. Esa limitación importa más para un equipo que atiende en español que una victoria en una prueba matemática inglesa. Un buen resultado agregado no sustituye una evaluación con el idioma, los documentos y los errores costosos del uso real.

Cómo leer los benchmarks sin convertirlos en una liga

Microsoft informa de resultados en MMLU, MATH, GPQA, DROP, MGSM, HumanEval y SimpleQA. La tabla inicial atribuye a Phi-4 80,0 puntos en MATH y 58,1 en GPQA; en SimpleQA, orientada a respuestas factuales breves, solo declara 7,1. La propia ficha reconoce que el tamaño limita cuánto conocimiento del mundo puede almacenar. Esa combinación es más informativa que un promedio: sugiere un modelo fuerte en algunos tipos de razonamiento y mucho menos fiable como enciclopedia sin apoyo externo.

Los resultados se obtuvieron en parte con Simple Evals, el código de evaluación publicado por OpenAI. Poder abrir el protocolo es útil, pero no elimina todas las preguntas. Hay que comprobar la versión del conjunto, la plantilla del prompt, el número de ejemplos incluidos, el método de extracción de la respuesta, la temperatura, el criterio de puntuación y si el material apareció en el entrenamiento. Dos tablas con el mismo nombre pueden no ser comparables si cambian esas condiciones.

También hay que distinguir tres verbos. «Medido» significa que existe un resultado bajo un protocolo. «Comparado» significa que los demás modelos pasaron por condiciones equivalentes. «Generalizado» significa que esa ventaja sobrevivirá fuera de la prueba. Un fabricante puede sostener honestamente lo primero sin haber demostrado lo tercero. La forma responsable de leer la tabla es convertirla en una hipótesis: Phi-4 merece una prueba local para tareas que se parecen a esos ejercicios. No es un certificado universal de superioridad.

Una prueba local no necesita miles de preguntas. Puede empezar con cincuenta casos reales y deliberadamente incómodos: instrucciones ambiguas, documentos largos, preguntas cuya respuesta no está, entradas en español, cifras que deben copiarse con exactitud y solicitudes que el sistema debería rechazar. Hay que fijar antes qué cuenta como éxito, registrar latencia y consumo de memoria, y comparar a ciegas con una alternativa. Si se cambia de prompt para favorecer a un modelo después de ver los resultados, ya no se está comparando el mismo sistema.

La licencia también forma parte del modelo

La versión publicada el 11 de diciembre no llevaba una licencia comercial permisiva. El archivo incluido era la Microsoft Research License, que autorizaba el uso para investigación no comercial y restringía la distribución. Esto invalida otra simplificación habitual: poder descargar pesos no significa disponer de código abierto ni tener permiso para incorporarlos a cualquier producto. El repositorio, la licencia concreta y su fecha son parte del artefacto que debe auditarse.

Para una empresa, la lista mínima tiene cuatro columnas: derechos de uso y redistribución; requisitos de hardware en la configuración elegida; calidad en tareas propias; y controles de seguridad. La ficha de Microsoft advierte que Phi-4 puede producir información inexacta, que se entrenó principalmente en inglés y que no fue evaluado para todos los usos posteriores. También recomienda evaluación y mitigaciones adicionales en ámbitos de alto riesgo. Esas cautelas no son letra decorativa: determinan dónde hace falta recuperación de fuentes, revisión humana o una prohibición de automatizar.

Una prueba de suficiencia, no una carrera de tamaño

Phi-4 hace visible una idea duradera: el modelo adecuado no es el más grande que se pueda contratar, sino el más pequeño que supere una prueba representativa con margen, dentro del presupuesto y la licencia disponibles. Si falla en factualidad, puede combinarse con búsqueda o recuperación documental; si falla en el idioma objetivo, no lo arregla una cifra de MATH; si la licencia impide el producto, el benchmark deja de importar.

El lector puede aplicar el mismo método al próximo lanzamiento. Primero abre la ficha original con fecha y versión. Después separa entrenamiento de inferencia y estima memoria en la precisión real. Luego lee cada benchmark como un protocolo, no como un trofeo. Por último comprueba idioma, licencia y desempeño sobre casos propios. Esa secuencia transforma un anuncio de «más capacidad con menos parámetros» en una decisión verificable: no pregunta si el modelo es pequeño, sino si es suficientemente bueno para una tarea concreta y si puede utilizarse de forma legal, medible y segura.