PaLM 2 no era el producto: Google lo convirtió en una capa

Google presentó PaLM 2 el 10 de mayo de 2023 y dijo que ya impulsaba más de 25 productos y funciones. Bard, Workspace, Cloud y un experimento de búsqueda lo utilizarían de formas distintas. La noticia no era solo un modelo nuevo: era la decisión de insertar una capacidad probabilística dentro de interfaces, datos y permisos que millones de personas ya usaban.

Eso cambia cómo se evalúa. Un benchmark del modelo no predice por sí solo la experiencia en Gmail o Search. El producto final añade contexto, recuperación de datos, instrucciones, filtros, botones, revisión y consecuencias. La capacidad transferible es seguir esa cadena y atribuir cada resultado a la capa correcta.

Qué anunció Google sobre el modelo

La presentación oficial de PaLM 2 destacó mejoras en multilingüismo, razonamiento y programación. Google dijo que lo había entrenado más intensamente con texto de más de 100 idiomas, material científico con expresiones matemáticas y una gran cantidad de código fuente disponible públicamente.

La empresa ofreció cuatro tamaños, de menor a mayor: Gecko, Otter, Bison y Unicorn. Afirmó que Gecko era suficientemente ligero para funcionar en un móvil incluso sin conexión. No publicó el número de parámetros en aquel anuncio. Por tanto, se podían confirmar nombres, usos y afirmaciones del fabricante, pero no reconstruir tamaño, corpus o coste de entrenamiento.

«Entrenado en más de 100 idiomas» tampoco significaba igual competencia en todos. El reparto de datos, escritura, tarea y criterio podía variar. Una evaluación multilingüe debe publicar resultados por idioma y fenómeno —comprensión, traducción, hechos, código mezclado—; el promedio puede ocultar una caída grave en lenguas con menos datos.

Del modelo a Bard

Google explicó que Bard había pasado a PaLM 2 y eliminó la lista de espera para ofrecerlo en inglés en más de 180 países y territorios. Añadió japonés y coreano y anunció futuras funciones de imagen, exportación de código e integraciones con servicios propios y de terceros.

PaLM 2 generaba las respuestas, pero Bard definía el producto: qué instrucciones recibía, qué herramientas podía usar, cómo mostraba fuentes, qué datos conservaba y qué acción estaba a un clic. Una mejora en razonamiento declarada por Google no garantizaba que cualquier respuesta matemática o código fueran correctos.

Para probar Bard se necesitan tareas y consecuencias. En código: compilar, ejecutar tests, revisar dependencias y buscar vulnerabilidades. En información: comprobar afirmaciones y enlaces. En exportación: mostrar una vista previa y conservar la decisión del usuario. «Mejor modelo» es una hipótesis que cada flujo traduce a una métrica propia.

Duet AI modificaba trabajo existente

La presentación de Duet AI para Workspace describió ayuda para redactar en Gmail y Docs, generar imágenes en Slides, organizar planes y clasificar datos en Sheets y crear fondos en Meet. Varias funciones estaban en pruebas o se anunciaban para más adelante.

En una página en blanco, un borrador incorrecto es visible. Dentro de una hoja con datos reales, una clasificación errónea puede propagarse a una decisión. Dentro del correo, una frase inventada puede enviarse a un cliente. La misma generación de texto adquiere riesgo según datos, destinatario y reversibilidad.

El experimento adecuado compara el flujo completo con y sin asistencia. Mide minutos hasta una salida aprobada, correcciones, errores que sobreviven, satisfacción del receptor y carga de revisión. Contar palabras producidas premia volumen; contar entregables aceptados mide utilidad.

También registra procedencia. El documento debe distinguir texto humano, sugerencia aceptada, edición posterior y fuente externa. Esa trazabilidad permite corregir y aprender. Si todo termina mezclado en un archivo sin historial, ni el trabajador ni la organización pueden reconstruir cómo apareció un dato.

La búsqueda cambia el contrato con la fuente

Google presentó Search Generative Experience como un experimento en Search Labs para Estados Unidos, en inglés y mediante registro. La interfaz mostraría una síntesis generada, enlaces para profundizar y preguntas de seguimiento. Google reconocía limitaciones conocidas de los modelos y restringía los tipos de consultas donde aparecería.

Un buscador tradicional ordena documentos; una síntesis redacta una respuesta. En el primer caso, el usuario ve títulos y elige una fuente. En el segundo, puede aceptar una frase antes de comprobar de dónde sale. La interfaz, no solo el modelo, cambia el umbral de confianza.

La prueba de búsqueda debe conservar tres unidades: exactitud de la síntesis, respaldo de cada afirmación y utilidad de los enlaces. Un texto puede sonar correcto y citar páginas que no sostienen la frase. También puede responder bien y reducir la diversidad de perspectivas al seleccionar una sola interpretación.

Para temas sensibles, se evalúa si el sistema se abstiene, ofrece desacuerdo documentado y permite llegar al original. El tiempo hasta una fuente verificable importa tanto como el tiempo hasta una respuesta. Una síntesis que ahorra segundos y añade minutos de comprobación no ha eliminado trabajo: lo ha trasladado.

Una cadena de seis capas

La primera capa es el modelo y su versión. La segunda son las instrucciones y el contexto. La tercera reúne recuperación y herramientas. La cuarta aplica políticas y permisos. La quinta es la interfaz que muestra, oculta o confirma. La sexta es el usuario y la consecuencia de su decisión.

Cuando falla un resultado se localiza la capa. Si la fuente correcta no fue recuperada, no basta con afinar el estilo del modelo. Si el usuario envió sin revisar porque el botón destacaba «aceptar», el diseño participa en el fallo. Si un idioma rinde peor, el promedio global no debe absolverlo.

Cada despliegue necesita una ficha: modelo fechado, datos accesibles, herramientas, retención, controles, métricas y propietario. La misma familia PaLM 2 podía aparecer en Bard, una hoja o un móvil, pero no era el mismo sistema. Comparar productos por el nombre del modelo ignora la mayoría de lo que determina su comportamiento.

Una matriz de evaluación por capa

Para el modelo se registran exactitud, calibración, idioma, latencia y coste bajo un conjunto fijo. Para el contexto se varían longitud, orden y distractores. Para recuperación se mide si aparece el documento correcto y si cada frase queda respaldada. Son pruebas distintas: una respuesta puede fallar aunque dos capas funcionen.

En herramientas y políticas se ensayan permisos insuficientes, entradas maliciosas, límites y abstención. En la interfaz se observa si el lector encuentra la fuente, distingue borrador de hecho y comprende qué ocurrirá al aceptar. El usuario se estudia con tareas reales, no preguntándole solo si la función le gusta.

La última fila corresponde a operación: cambios de versión, incidencias, reclamaciones, tiempo de corrección y posibilidad de volver atrás. Un piloto favorable no garantiza estabilidad después del despliegue. El tablero conserva métricas por segmento y fecha para que una mejora de promedio no tape regresiones.

Esta matriz evita atribuciones mágicas. Si baja el tiempo porque la interfaz prellena datos, el crédito no pertenece entero a PaLM 2. Si una fuente queda oculta, tampoco basta culpar al modelo. Medir la capa ofrece una palanca concreta para mejorarla.

Cómo adoptar sin comprar la demostración

Primero se selecciona una tarea estrecha con línea base. Después se prueba el producto real, no una conversación preparada, usando casos habituales, extremos y datos ausentes. Evaluadores que no conocen la versión puntúan resultado y daño bajo el mismo tiempo disponible.

Luego se calcula el coste de la supervisión y se define una salida. Una función puede permanecer como sugerencia, exigir aprobación o quedar desactivada. El nivel depende de impacto y reversibilidad, no de la confianza con que el modelo escriba.

PaLM 2 permitió a Google desplegar una familia común a través de numerosos productos. Su lección duradera es que el modelo es una capa, no el sistema. Quien dibuja la cadena desde pesos hasta consecuencia puede medir valor, localizar fallos y exigir evidencia allí donde una demostración solo muestra una respuesta atractiva.