Google pausa la generación de personas en Gemini por errores históricos

Google pausó el 22 de febrero de 2024 la generación de personas en Gemini después de reconocer resultados históricos inexactos. Al día siguiente, la compañía publicó una explicación propia: la función había sobrecorregido algunos encargos y se había vuelto demasiado cauta en otros.

La precisión de la fecha importa. Google había lanzado la generación de imágenes en Bard —poco después rebautizado como Gemini— el 1 de febrero. La pausa no ocurrió el 21, como sugería la fecha original de esta página, sino el 22; el análisis detallado de la compañía llegó el 23.

Un problema de sobrecorrección, no de censura

La explicación de Google señaló dos mecanismos: un ajuste destinado a producir diversidad no distinguió bien los casos donde la historia imponía una composición concreta, y el sistema terminó rechazando algunas peticiones inocuas por exceso de cautela. Eso permite describir el defecto sin inventar qué instrucción oculta, filtro o conjunto de datos produjo cada imagen.

El criterio cambia con el encargo. En una imagen genérica de una profesión, una variedad de personas puede evitar un valor por defecto estrecho. En una reconstrucción documental, los atributos deben venir de fuentes sobre el lugar, la época y los protagonistas. El fallo no demuestra que diversidad y exactitud sean incompatibles; demuestra que un único ajuste no resolvió cuándo aplicar cada objetivo.

El resultado ha sido un modelo que, en su intento de no discriminar, termina distorsionando hechos históricos verificables, algo que ha generado críticas tanto de quienes ven en ello una prueba de sesgo ideológico en el diseño de la IA como de quienes simplemente señalan un fallo de calidad del producto.

Por qué importa más allá de Gemini

Este episodio llega apenas dos semanas después de que Google rebautizara Bard como Gemini, integrando la generación de imágenes como una de sus funciones estrella frente a rivales como DALL-E de OpenAI o Midjourney. La pausa, por tanto, afecta a una capacidad recién promocionada y expone las tensiones que enfrenta cualquier compañía que despliegue IA generativa a gran escala: equilibrar representatividad y exactitud sin que una prioridad devore a la otra.

El caso también ilustra un problema estructural del sector. Los ajustes de estos sistemas —ya sea mediante instrucciones ocultas al modelo, filtros de seguridad o reentrenamiento— rara vez distinguen bien entre "generar sin sesgo" y "generar con precisión", porque ambos objetivos requieren reglas distintas según el contexto de cada petición. Un sistema calibrado para corregir sesgos raciales en escenas contemporáneas puede fallar estrepitosamente en escenas históricas, y viceversa.

Qué ha dicho Google y qué queda pendiente

Google no ha ofrecido por ahora un calendario para restaurar la función de generación de personas en Gemini, más allá del compromiso de Krawczyk de trabajar "de inmediato" en una solución. Mientras tanto, el modelo sigue disponible para generar imágenes de objetos, paisajes o escenas sin figuras humanas.

La compañía se enfrenta a un dilema que no es nuevo pero sí recurrente en la industria: cualquier ajuste que reduzca el riesgo de sesgo demográfico injustificado corre el riesgo de introducir, si se aplica sin matices, otro tipo de error igual de visible y, en este caso, fácilmente verificable por cualquier usuario con conocimientos básicos de historia.

Una matriz de pruebas, no una impresión

Para evaluar un generador se prepara una matriz con encargos genéricos, históricos, culturales y explícitos. Cada caso incluye atributos que deben aparecer, los que no deben inferirse y una fuente de referencia. Se repite la generación porque una sola imagen puede ocultar la variabilidad. Después puntúan revisores que no conocen la versión.

Los errores también se separan: omisión, sustitución, anacronismo, estereotipo, rechazo injustificado o contenido dañino. «Sesgo» como etiqueta única no indica qué cambiar. El propio diagnóstico de Google distinguió sobrecompensación y exceso de cautela, dos fallos que necesitan respuestas diferentes.

El conjunto debe incluir pares controlados. Si sólo cambia la profesión, el periodo o el atributo solicitado, la diferencia entre resultados ayuda a localizar qué dispara el fallo. También necesita controles negativos: encargos donde diversificar sea razonable y otros donde una composición concreta esté documentada. Sin esos pares, una colección de capturas llamativas no permite saber si el problema es sistemático, raro o dependiente de una palabra.

La muestra se fija antes de mirar las salidas y se publica con sus reglas. Elegir únicamente errores encontrados en redes infla el fracaso; elegir sólo ejemplos del proveedor lo oculta. Para cada encargo conviene registrar versión, fecha, región, idioma, parámetros, rechazos y todas las generaciones, no sólo la más favorable o la más absurda. Esa trazabilidad convierte una controversia en evidencia que otro equipo puede repetir.

La revisión necesita además dos decisiones previas: qué error obliga a retirar una salida y qué tasa impide desplegar la función. No son equivalentes una imprecisión decorativa, la atribución falsa de identidad a una persona real y una representación presentada como documento histórico. Clasificar gravedad antes de probar impide mover el listón después de ver el resultado. Cuando varias personas puntúan, se comparan sus desacuerdos y se resuelven con la fuente prevista, no mediante una impresión mayoritaria sobre qué imagen «parece» correcta.

Por último se ensaya el sistema completo, incluida la interfaz. Una advertencia visible, la posibilidad de editar el encargo y una negativa explicada cambian el riesgo de uso aunque el modelo subyacente sea el mismo. La evaluación debe conservar el prompt que recibió realmente el generador y cualquier transformación automática del producto. De lo contrario puede atribuir al modelo una regla añadida por la aplicación o pasar por alto que el fallo nace antes de generar la imagen.

Creatividad y documentación usan contratos distintos

Una ilustración creativa puede mezclar épocas si el encargo lo pide. Una reconstrucción histórica debe declarar que es una representación, citar referencias y someter detalles verificables a revisión. El generador no conoce la intención sólo por palabras como «realista»; el producto necesita controles, y el usuario necesita un criterio de aceptación.

La fecha, el uniforme, la arquitectura y la composición de un grupo pueden ser hechos. Color, encuadre y atmósfera pueden ser decisiones artísticas. Separarlos en el encargo evita pedir «precisión» como una cualidad indivisible. Si falta una fuente, la salida no debe presentarse como documento.

Esto no exige que toda imagen creativa reproduzca estadísticas demográficas ni que toda escena histórica tenga una única composición posible. Exige declarar el contrato. «Un médico en un hospital contemporáneo» deja decisiones abiertas; «los firmantes presentes en un acontecimiento documentado» impone restricciones verificables. El evaluador debe puntuar sólo lo que el encargo fija y señalar qué detalles siguen siendo interpretativos.

Qué enseña una pausa de producto

Apagar una función limita daño mientras se investiga, pero no demuestra que el sistema corregido vaya a funcionar. Antes de restaurar hacen falta conjuntos de evaluación, criterios, red teaming, monitorización y un canal para informar errores. Google prometió pruebas extensas; el lector debe buscar resultados y alcance, no sólo la reapertura.

Un informe de reapertura útil respondería qué categorías se probaron, cuántas solicitudes formaron el conjunto, quién juzgó las salidas, qué umbral se exigió y qué riesgos permanecen. También separaría exactitud histórica, diversidad en peticiones abiertas y tasa de rechazos. Una media única puede ocultar que mejorar una dimensión empeoró otra. Sin esos denominadores, «hemos trabajado para mejorarlo» describe actividad, no calidad.

La capacidad transferible es convertir una polémica visual en un protocolo: clasificar el contexto, fijar atributos, generar varias veces, verificar con fuentes y registrar el tipo de fallo. Esa secuencia sirve con cualquier modelo futuro y evita decidir por la captura más viral.