Que varios modelos coincidan no significa que tengan razón

Le preguntas lo mismo a tres asistentes de IA distintos y los tres te dan la misma respuesta. El impulso natural es relajarse: si coinciden, será verdad. Un estudio publicado el 9 de julio de 2026 midió esa intuición a gran escala, y el resultado debería cambiar cómo lees cualquier respuesta de IA a partir de hoy: en el modelo más consistente que probaron, cuando el acuerdo entre sus propias respuestas superaba el 80%, casi la mitad de esos casos —el 48%— seguía siendo incorrecta.

No es un fallo raro de un modelo concreto ni una curiosidad de laboratorio. Es un patrón que reaparece en cualquier sitio donde varias fuentes de IA "confirman" algo: paneles de modelos que evalúan a otros modelos en pipelines de empresa, sistemas que piden varias respuestas y se quedan con la mayoritaria, un asistente que "verifica" su propia respuesta preguntándose otra vez. Si usas IA para algo que importa —revisar un contrato, decidir una inversión, corregir un trabajo, validar el resultado de otro sistema automático—, esto te da la pregunta exacta que hacerte antes de confiar en que "varios coinciden".

Qué midió exactamente el estudio

Kaihua Ding publicó el estudio en arXiv el 9 de julio de 2026, todavía como preprint sin revisión por pares —conviene decirlo desde el principio, porque la cautela también aplica a la fuente que da pie a este artículo. El trabajo distingue dos fenómenos que se confunden a menudo: la autoconsistencia, pedir varias respuestas al mismo modelo y comprobar si converge en una; y el acuerdo entre modelos distintos. Ambos se usan hoy para decidir si una respuesta merece confianza o si una tarea necesita más cálculo.

La escala del experimento es considerable: 53 evaluadores extrajeron 50 muestras por caso en comparaciones cruzadas de nivel de modelo, tipo de instrucción y escala, sobre los bancos de pruebas GPQA Diamond y AIME —265.000 muestras en total. El resultado central es matizado, no categórico: el acuerdo predice la corrección de forma positiva pero débil, con correlaciones entre 0,20 y 0,59. Y el patrón empeora exactamente donde más se confía: en el modelo frontera más consistente, el acuerdo alto apareció en el 77% de las respuestas de GPQA, y de esas, casi la mitad eran incorrectas. Una comprobación adicional con tres niveles distintos de Claude encontró el mismo exceso de confianza frente a los proveedores, lo que sugiere que no es un defecto de una familia de modelos concreta.

Por qué el acuerdo no es independencia

Aquí está la capacidad que de verdad importa llevarse: el acuerdo solo es evidencia si las fuentes que coinciden pudieron haberse equivocado por razones distintas. Si comparten por qué se equivocarían, coincidir no añade información —solo repite el mismo error con más seguridad aparente.

Y los modelos de lenguaje comparten mucho: entrenan sobre fragmentos solapados de la misma web, con arquitecturas de transformador y ajuste por refuerzo humano parecidos, y heredan sesgos similares del mismo tipo de datos. Un estudio de investigadores de Cornell, aceptado en ICML 2025 tras revisión por pares, lo midió sobre más de 350 modelos, dos leaderboards públicos y una tarea de selección de currículums: cuando dos modelos se equivocan en el mismo caso de un leaderboard, coinciden en el error el 60% de las veces. Y el dato más incómodo es que los modelos más grandes y precisos tienen errores MÁS correlacionados entre sí, incluso con arquitecturas y proveedores distintos —un fenómeno que los autores llaman monocultivo algorítmico, y que en su prueba de selección de personal reproduce exactamente lo que la teoría predice sobre decisiones automatizadas homogéneas.

Es, en el fondo, el mismo principio que aplica cualquiera que verifique una cifra con cuidado: cuatro enlaces al mismo dueño no son cuatro fuentes, son una sola voz repetida cuatro veces. Aquí ocurre puertas adentro de un sistema de IA: tres modelos que devuelven la misma respuesta no son necesariamente tres opiniones independientes si aprendieron de la misma fuente y comparten la misma arquitectura de fondo.

Dónde falla en la práctica

El primer sitio donde esto falla es el más antiguo: la autoconsistencia como técnica. El paper que la originó, de investigadores de Google publicado en ICLR 2023, la propuso como un truco de decodificación —muestrear varias rutas de razonamiento y quedarse con la respuesta mayoritaria— para mejorar la precisión en tareas de razonamiento, con mejoras medidas de hasta el 17,9% en problemas matemáticos de GSM8K. Nunca se diseñó como una medida de cuánto confiar en el resultado. El error de hoy es tomar prestada una herramienta construida para elegir la mejor respuesta y usarla para responder una pregunta distinta: ¿debería creerme esto?

El segundo es el auge del "LLM como juez": sistemas que usan un modelo de IA para puntuar las respuestas de otro, cada vez más habituales en pipelines de evaluación de empresa. El trabajo que popularizó el método, de investigadores de UC Berkeley y colaboradores publicado en NeurIPS 2023, ya advertía de sus límites: sesgo de posición, sesgo de verbosidad y lo que llaman sesgo de auto-favorecimiento, la tendencia de un juez a preferir respuestas parecidas a las que él mismo generaría. Un juez de IA que comparte esos sesgos con el modelo evaluado no está verificando de forma independiente: está reconociéndose a sí mismo.

El tercero es el panel de jueces como solución aparente. Investigadores de Cohere demostraron en 2024 que un panel de varios modelos pequeños supera a un juez único grande y reduce el sesgo intra-modelo —pero solo cuando el panel se construye deliberadamente con familias de modelos disjuntas. La independencia no aparece por usar varios modelos a la vez: hay que diseñarla, igual que un periodista no suma fuentes por sumar enlaces, sino que comprueba que de verdad no comparten origen.

Qué sí cuenta como evidencia

Ninguno de estos estudios concluye que preguntar varias veces sea inútil. Concluyen algo más preciso: el acuerdo es una pista útil en contextos concretos —por ejemplo, para decidir si una tarea merece más cálculo en modelos de nivel intermedio, según el propio estudio de Ding— pero deja de servir en el momento en que se convierte en la única prueba.

La evidencia real tiene una propiedad que el acuerdo entre IA no tiene por sí sola: viene de fuera del sistema que genera la respuesta. Una fuente primaria que se pueda abrir y leer. Un resultado que otra persona, con otro método, pueda reproducir de forma independiente y no solo repetir la misma pregunta. Una prueba que pudiera fallar —que exista la posibilidad real de que el resultado sea "no" y no solo "sí" disfrazado de varias formas. El acuerdo entre modelos no cumple ninguna de las tres por defecto; puede llegar a apoyarlas, pero no las sustituye.

Qué puedes hacer tú, hoy

La próxima vez que varias respuestas de IA coincidan y sientas la tentación de darlo por bueno, tres preguntas bastan:

• ¿Podrían estas fuentes haberse equivocado por la misma razón? Si vienen del mismo tipo de entrenamiento, de la misma arquitectura o del mismo dato de origen, coincidir no es independencia.
• ¿Hay algo fuera del sistema que lo confirme? Un documento, una base de datos, un experto, un cálculo que puedas rehacer tú mismo con otro método.
• ¿Reconoces el patrón con otro nombre? "Consenso de IA", "alta confianza", "varios modelos lo confirman de forma independiente": la pregunta de fondo es siempre la misma, y este estudio no será el último en tropezar con ella.

Ese hábito —preguntar de dónde viene realmente el acuerdo antes de tratarlo como prueba— vale hoy para este preprint concreto, y seguirá valiendo dentro de un año, con otro estudio y otro nombre.