Apple prueba que los modelos de razonamiento se hunden en problemas complejos

Un grupo de investigadores de Apple —Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio y Mehrdad Farajtabar— publicó este fin de semana un paper que pone en duda una de las promesas centrales de la IA generativa reciente: que los llamados modelos de razonamiento realmente razonan. El estudio, titulado "The Illusion of Thinking" ("La ilusión del pensamiento"), se subió a arXiv el 7 de junio y ya circula con fuerza entre investigadores.

Los modelos de razonamiento, conocidos técnicamente como LRM (Large Reasoning Models), son la generación de sistemas que antes de responder generan un proceso de pensamiento explícito, paso a paso, que el usuario puede leer. Esta capacidad ha sido el gran argumento de venta de los últimos meses: modelos que no solo contestan, sino que muestran cómo llegan a la respuesta, y que en teoría deberían resolver mejor problemas matemáticos y lógicos complejos.

Un laboratorio de puzles para medir el pensamiento

Hasta ahora, la mayoría de las evaluaciones de estos modelos se han apoyado en benchmarks de matemáticas y programación que solo miden si la respuesta final es correcta. El problema, señalan los autores, es que esos benchmarks suelen estar contaminados —es decir, es probable que el modelo haya visto ejercicios muy parecidos durante su entrenamiento— y no dicen nada sobre cómo piensa el modelo por dentro.

Para evitarlo, el equipo de Apple diseñó entornos de puzles controlables, como variantes de la Torre de Hanoi, donde se puede subir o bajar la dificultad de forma precisa mientras la estructura lógica del problema se mantiene idéntica. Esto permite algo que los benchmarks tradicionales no ofrecen: aislar el efecto de la complejidad y, de paso, examinar no solo si el modelo acierta, sino el rastro de razonamiento que genera antes de responder.

Tres regímenes y un colapso total

Comparando los LRM con sus versiones estándar equivalentes (modelos sin ese paso explícito de "pensar antes de responder") bajo el mismo presupuesto de cómputo, los autores identifican tres comportamientos distintos según la dificultad del problema:

• Baja complejidad: los modelos estándar, sin razonamiento explícito, rinden mejor que los LRM.
• Complejidad media: aquí sí aparece la ventaja de los modelos de razonamiento, que superan a sus versiones estándar.
• Alta complejidad: ambos tipos de modelo se hunden por igual. El paper habla literalmente de un "colapso completo de precisión" a partir de cierto umbral, con resultados que se acercan al 0% de acierto.

Lo más llamativo, según describen los autores, no es solo que fallen, sino cómo fallan. A medida que un problema se complica, el esfuerzo de razonamiento —medido en la longitud del proceso de pensamiento que genera el modelo— aumenta, como cabría esperar. Pero solo hasta un punto: superado ese umbral, el esfuerzo disminuye, y lo hace pese a que el modelo todavía dispone de margen de tokens para seguir pensando. Es decir, el modelo no se queda sin espacio para razonar más; simplemente deja de intentarlo cuando el problema se vuelve demasiado difícil.

Fallos en el cálculo exacto

El estudio también documenta que estos modelos tienen limitaciones concretas para la computación exacta: no logran aplicar de forma consistente algoritmos explícitos y razonan de manera desigual según la escala del problema, incluso cuando la lógica subyacente no cambia. Los autores profundizan además en los propios rastros de razonamiento, analizando qué soluciones exploran los modelos y cómo se comportan computacionalmente, en un intento de entender mejor sus fortalezas y sus límites reales.

Por qué importa este debate

El título del paper no es casual. "Ilusión del pensamiento" apunta directamente al corazón de la discusión que ha dominado la industria de la IA en el último año: si el proceso de "pensar en voz alta" que muestran estos modelos refleja un razonamiento genuino o es, en la práctica, un patrón aprendido que se derrumba en cuanto el problema deja de parecerse a algo visto en el entrenamiento.

La pregunta no es académica. Empresas y desarrolladores llevan meses adoptando estos modelos de razonamiento precisamente para tareas que exigen fiabilidad en problemas complejos: planificación, depuración de código, análisis financiero o científico. Si el propio rendimiento se desploma más allá de cierta complejidad —y encima el modelo reduce su esfuerzo justo cuando más se necesitaría— conviene calibrar expectativas antes de delegar decisiones críticas en estos sistemas sin supervisión.

El trabajo es, por ahora, un preprint: no ha pasado por revisión de pares ni ha sido publicado en una conferencia. Eso no resta valor a la metodología, pero sí invita a esperar réplicas y contraargumentos de otros laboratorios en las próximas semanas, especialmente de las compañías que desarrollan estos modelos de razonamiento y que tienen mucho en juego en este debate.