Gemini 1.0: cómo leer un benchmark sin confundir modelo y producto

Google presentó Gemini 1.0 el 6 de diciembre de 2023, el modelo de inteligencia artificial que la compañía llevaba meses prometiendo como respuesta directa a GPT-4 de OpenAI. Sundar Pichai, consejero delegado de Google y Alphabet, y Demis Hassabis, al frente de Google DeepMind, lo han anunciado como "el modelo más capaz y de uso general que hemos construido", según recoge el comunicado oficial de la compañía.

La novedad no es solo de rendimiento. Google insiste en que Gemini es multimodal nativo: a diferencia de otros sistemas que combinan un modelo de texto con módulos añadidos para imagen, audio o vídeo, Gemini se ha entrenado desde el principio para procesar y razonar sobre esos formatos de forma conjunta. Es una distinción técnica que la compañía considera clave para justificar sus resultados.

Tres tamaños para tres públicos

Gemini llega en tres versiones pensadas para escenarios distintos:

• Gemini Ultra, el modelo más potente, orientado a tareas complejas.
• Gemini Pro, pensado para escalar en una amplia variedad de tareas.
• Gemini Nano, diseñado para ejecutarse directamente en dispositivos móviles, sin depender de la nube.

Google ya ha empezado a mover ficha con Pro: a partir de hoy impulsa la versión en inglés de Bard, su asistente conversacional, sustituyendo al modelo que usaba hasta ahora. Nano, por su parte, corre ya en el Pixel 8 Pro, lo que permite funciones en el propio teléfono sin enviar datos a servidores externos. Ultra, el modelo insignia, todavía no está disponible: Google dice que primero completará pruebas de seguridad y confianza antes de abrirlo a desarrolladores y grandes clientes a principios de 2024, cuando también llegará una versión más avanzada de Bard bajo el nombre de Bard Advanced.

Qué dicen realmente los benchmarks

La afirmación precisa del anuncio es que Ultra superó el estado del arte en 30 de 32 pruebas académicas, no que derrotara a GPT-4 treinta veces bajo un único protocolo. La tabla mezcla resultados publicados por otros laboratorios con mediciones que Google ejecutó mediante API en noviembre, y cada fila puede usar distinto número de ejemplos, instrucciones o muestreo. El número 30 resume una tabla heterogénea; no es una liga con el mismo árbitro y equipamiento para todos.

El caso MMLU enseña por qué importa leer la letra pequeña. El paper original define 57 materias y una prueba de elección múltiple para medir conocimiento y resolución de problemas. El informe técnico de Gemini atribuye a Ultra un 90,04%, pero ese resultado usa hasta 32 cadenas de razonamiento y un mecanismo que elige por consenso cuando supera un umbral de validación. En la comparación uniforme de cinco ejemplos de la misma tabla, Ultra marca 83,7% y GPT-4 aparece con 86,4% reportado.

Ambas cifras son legítimas si conservan su protocolo; son engañosas si se intercambian. El 90,04% demuestra el rendimiento de un sistema de inferencia concreto, no de una única respuesta espontánea. También explica la frase sobre superar el nivel experto: el informe sitúa esa referencia humana en 89,8%. Quien compare modelos debe copiar versión, conjunto, número de ejemplos, muestreo y regla de selección. Sin esos cinco campos, una décima carece de significado estable.

La demo no es el producto

Una demostración editada puede enseñar una capacidad real y aun así ocultar la experiencia de uso. Hay que preguntar qué entradas recibió el modelo, si fueron imágenes sueltas o vídeo, qué instrucciones de texto se añadieron, cuántos intentos se grabaron, cuánto tardó cada respuesta y qué partes se aceleraron. La prueba honesta no consiste en acusar de falsedad por la edición: consiste en no convertir un montaje de posibilidades en una medida de latencia, fiabilidad o disponibilidad.

La alternativa es reproducible: guardar diez secuencias de imagen, audio y texto; fijar una respuesta correcta; ejecutar tres veces cada caso; y registrar aciertos, omisiones, latencia y coste. Si el modelo reconoce objetos pero pierde el orden temporal, su multimodalidad tiene un límite concreto. Si necesita un texto auxiliar que no aparece en pantalla, ese texto forma parte del sistema. El vídeo inspira una prueba; nunca la sustituye.

«Nativo» describe el entrenamiento, no la calidad

Google dice que Gemini fue preentrenado conjuntamente con texto, imagen, audio y vídeo, y afinado después con datos multimodales. Eso es más específico que unir modelos independientes al final, pero no garantiza que cada modalidad tenga la misma precisión ni que las relaciones entre ellas estén bien resueltas. Una prueba debe exigir operaciones cruzadas: localizar en una imagen la evidencia de una respuesta textual, seguir un cambio a través del tiempo o relacionar una frase con un tramo de audio. Reconocer cada formato por separado no basta.

El propio informe ofrece una advertencia poco visible sobre contaminación. Los autores buscaron datos de evaluación dentro del corpus de entrenamiento, dejaron de publicar LAMBADA por problemas detectados y mostraron que apenas cien pasos de ajuste con extractos vinculados a HellaSwag cambiaban mucho el resultado. Esa transparencia no invalida la tabla; enseña que un benchmark puede medir memoria del material además de generalización. Cuanto más público y antiguo es el examen, más importante resulta una prueba reservada cuya respuesta el modelo no pudo encontrar durante el entrenamiento.

Para una empresa, la evaluación debe terminar en una salida útil. Tome veinte casos reales, elimine datos personales, defina qué error es grave y mida la tarea completa: calidad, tiempo, coste, repetibilidad y revisión humana. Después compare Pro con el sistema anterior usando la misma interfaz. Si mejora MMLU pero empeora al extraer una tabla de sus documentos, el benchmark no está «equivocado»; simplemente mide otro eje. El proveedor aporta una hipótesis de capacidad. El comprador decide si esa capacidad resuelve su trabajo.

Una última cautela: «multimodal» habla de tipos de entrada, no de acceso automático a todos ellos en cada producto. La familia puede procesar vídeo mientras una interfaz concreta solo admite texto. Antes de comprar o integrar, hay que comprobar el contrato de esa superficie: formatos aceptados, tamaño máximo, región, idioma, retención y precio. El nombre de la familia no sustituye la documentación del punto de acceso.

Disponibilidad: modelo, producto y dispositivo

El día del anuncio no existía una sola experiencia llamada Gemini. Bard recibió una versión ajustada de Pro en inglés; Ultra seguía en pruebas y se prometía para 2024; Nano ya se ejecutaba en Pixel 8 Pro. Por eso no se puede trasladar una puntuación de Ultra al Bard que una persona podía abrir ese 6 de diciembre. Modelo evaluado, modelo desplegado y producto visible son tres objetos distintos.

El anuncio del Pixel concreta dos usos de Nano: resumir grabaciones y sugerir respuestas en Gboard. También dice que la ejecución local ayuda a evitar que datos sensibles salgan del teléfono y permite funciones sin red. «En el dispositivo» no garantiza que toda la aplicación sea privada o funcione desconectada: solo describe la parte que realmente se ejecuta allí. Hay que comprobar función, idioma, hardware y ruta de datos.

Una ficha para auditar cualquier lanzamiento

Antes de aceptar que un modelo «supera» a otro, construya una ficha con seis filas. Primera: versión exacta y fecha. Segunda: modalidad de entrada y salida. Tercera: disponibilidad real, no prometida. Cuarta: protocolo del benchmark. Quinta: recursos añadidos durante la inferencia, como varias muestras o herramientas. Sexta: una tarea propia repetida. Esa ficha evita comparar Ultra con Bard, una demo con una API o un resultado de 32 intentos con una respuesta única.

Gemini 1.0 importa porque une texto, imagen, audio y vídeo en una familia que va del centro de datos al teléfono. Pero la capacidad transferible no es memorizar quién ganó el 6 de diciembre. Es conservar los apellidos de cada afirmación: variante, protocolo, superficie y fecha. Cuando esos campos acompañan al número, el benchmark informa; cuando desaparecen, el número solo decora una campaña.