Microsoft presenta Phi-3-mini, un modelo ligero para usar fuera de la nube

Microsoft ha presentado Phi-3, una nueva familia de modelos de lenguaje pequeños. Su primer integrante, Phi-3-mini, tiene 3.800 millones de parámetros —los valores internos que el modelo ajusta durante su entrenamiento—, pero Microsoft sostiene que su rendimiento se acerca al de modelos hasta diez veces mayores.

La noticia importa por una razón práctica: no todas las tareas de IA necesitan un modelo gigantesco alojado en un centro de datos. Un sistema más compacto puede ser más barato de usar, responder con menos demora y, en determinados casos, funcionar directamente en un ordenador o un teléfono.

Un modelo pequeño no equivale a un modelo simple

Durante el último año, la carrera de los modelos de lenguaje se ha medido sobre todo en tamaño. GPT-4, Gemini o Claude se apoyan en una enorme capacidad de cálculo y se consumen habitualmente a través de servicios en la nube. Esa fórmula ofrece resultados avanzados, pero implica costes, dependencia de conexión y el envío de datos a servidores externos.

Phi-3-mini representa la otra vía: modelos diseñados para hacer mucho con menos. Microsoft sitúa sus capacidades generales cerca de las de GPT-3.5 y de modelos de código abierto bastante mayores, aunque esa comparación depende de las pruebas empleadas. Los benchmarks son útiles para medir comprensión, razonamiento o programación en cuestionarios estandarizados, pero no garantizan el mismo comportamiento en una aplicación real.

El modelo llega en versiones con ventanas de contexto de 4.000 y 128.000 tokens. El contexto es la cantidad de texto que la IA puede tener presente en una conversación o documento: una ventana más amplia permite trabajar con informes largos, código o historiales extensos sin dividirlos en fragmentos tan pequeños.

La receta: datos más seleccionados

Microsoft atribuye buena parte del resultado a la calidad de los datos de entrenamiento. Phi-3-mini se ha entrenado con datos web filtrados y datos sintéticos, es decir, textos generados o estructurados para enseñar al modelo a seguir instrucciones, razonar y resolver problemas.

La compañía explica que ha usado un enfoque de currículo: en lugar de exponer al sistema de forma indiscriminada a grandes volúmenes de internet, organiza ejemplos de complejidad creciente. La idea se parece a la enseñanza escolar: antes de afrontar un problema complejo, el modelo recibe explicaciones y ejercicios más elementales.

No es una solución mágica. Un modelo de 3.800 millones de parámetros seguirá teniendo límites frente a los sistemas de frontera en tareas con muchos pasos, conocimiento muy especializado o instrucciones ambiguas. También puede inventar datos, cometer errores de razonamiento o reproducir sesgos de sus datos, como cualquier modelo generativo.

De Phi-2 a una familia de tres tamaños

Phi-3-mini sucede a Phi-2, el modelo de 2.700 millones de parámetros que Microsoft publicó en diciembre de 2023. El salto no consiste solo en añadir tamaño: la empresa ha anunciado además Phi-3-small, con 7.000 millones de parámetros, y Phi-3-medium, con 14.000 millones, previstos para más adelante.

Phi-3-mini ya está disponible a través de Azure AI Studio, el catálogo de modelos de Azure Machine Learning, Hugging Face y Ollama. Esta distribución permite tanto probarlo en la nube como descargarlo para ejecutarlo localmente con el hardware adecuado.

Menos coste y más privacidad, con condiciones

Para empresas y desarrolladores, los modelos compactos abren casos de uso que resultaban caros con una API remota: asistentes internos, clasificación de documentos, ayuda de redacción, funciones de accesibilidad o copilotos integrados en programas de escritorio. Ejecutar una parte del proceso en el dispositivo también reduce la latencia y puede evitar que información sensible salga del equipo.

Pero la privacidad no aparece automáticamente por usar un modelo local. Depende de cómo se integre la aplicación, de si guarda conversaciones, de qué datos envía a otros servicios y de las medidas de seguridad del dispositivo. Además, un modelo pequeño exige elegir bien su tarea: puede ser suficiente para resumir, extraer información o responder a preguntas acotadas, pero no necesariamente para sustituir a un sistema de mayor capacidad.

La apuesta de Microsoft es clara: el avance de la IA no dependerá solo de construir modelos cada vez más grandes. También dependerá de lograr que modelos más manejables sean suficientemente buenos para llegar a dispositivos y productos cotidianos.