Humanity's Last Exam: el examen que la IA suspende con menos del 10%

Scale AI y el Center for AI Safety (CAIS) han presentado hoy los resultados de Humanity's Last Exam, un benchmark diseñado para medir si los modelos de IA razonan y saben tanto como los mejores expertos humanos en sus campos. El resultado es contundente: ninguno de los modelos evaluados supera el 10% de aciertos.

La prueba llega en un momento en que los exámenes que hasta ahora servían para medir el progreso de la IA han dejado de ser útiles. MMLU, el benchmark de referencia desde hace años para evaluar conocimiento general en modelos de lenguaje, lleva tiempo con los modelos punteros por encima del 90%. Cuando un examen se satura —cuando casi todos los sistemas lo aprueban con nota— deja de decir nada sobre quién es realmente mejor ni cuánto queda por avanzar.

Cómo se construyó el examen

El proceso de creación fue una convocatoria global. CAIS y Scale AI reunieron más de 70.000 preguntas propuestas, de las que se seleccionaron 13.000 para revisión de expertos humanos y finalmente se depuraron hasta las 3.000 preguntas que componen la versión pública del examen. Detrás hay casi 1.000 colaboradores de más de 500 instituciones repartidas en 50 países, en su mayoría investigadores activos o profesores universitarios.

Las preguntas cubren matemáticas, humanidades y ciencias naturales, en formato de texto y también multimodal, con imágenes y diagramas incluidos. El nivel exigido es deliberadamente extremo. Un ejemplo de la categoría de ecología, citado por Scale AI, pregunta cuántos tendones pareados sostiene un hueso sesamoideo específico presente en los colibríes del orden Apodiformes, exigiendo una respuesta numérica exacta y sin ambigüedad.

Para incentivar preguntas realmente difíciles, Scale AI y CAIS ofrecieron 5.000 dólares a cada una de las 50 mejores preguntas enviadas y 500 dólares a las siguientes 500, además de la posibilidad de figurar como coautor del paper final.

Los resultados: por debajo del 10%

El examen se aplicó a varios modelos multimodales de frontera: GPT-4o y o1 de OpenAI, Claude 3.5 Sonnet de Anthropic y Gemini 1.5 Pro de Google. Según explicó Summer Yue, directora de investigación de Scale AI, en la ronda final de pruebas algunos modelos empezaron a acertar una fracción de las preguntas, siempre por debajo del 10%, aunque advirtió que las variaciones en estos resultados son frecuentes en las pruebas de modelos y podrían deberse en parte al azar.

Dan Hendrycks, cofundador y director ejecutivo de CAIS, enmarcó el resultado en una perspectiva histórica. "Queríamos problemas que pusieran a prueba las capacidades de los modelos en la frontera del conocimiento y el razonamiento humanos", explicó. Recordó que cuando publicó el benchmark MATH en 2021 —un conjunto de problemas de matemáticas de nivel de competición— el mejor modelo no llegaba al 10%, y pocos preveían entonces que en solo tres años se alcanzarían puntuaciones superiores al 90%. "Ahora mismo, Humanity's Last Exam demuestra que todavía hay preguntas cerradas de nivel experto que los modelos no son capaces de responder. Veremos cuánto dura eso", añadió.

Summer Yue resumió el propósito del proyecto señalando que diseñaron lo que podría ser la prueba definitiva, pensada para exigir razonamiento lógico preciso y de varios pasos, con respuestas inequívocas, en un nivel que lleva incluso a los sistemas más avanzados al límite de sus capacidades.

Por qué importa

Un benchmark saturado es una vara de medir rota: si todos los modelos sacan sobresaliente, ya no distingue avances reales de ruido estadístico. Humanity's Last Exam nace precisamente para recuperar ese margen de medición en el momento en que los grandes modelos de lenguaje empiezan a superar con holgura las pruebas académicas convencionales.

Que los sistemas más potentes disponibles hoy —incluido o1, el primer modelo de OpenAI diseñado explícitamente para razonar paso a paso antes de responder— se queden por debajo del 10% en este examen no significa que la IA no haya progresado. Significa que el listón se ha movido a un terreno donde la comparación ya no es con el conocimiento enciclopédico medio, sino con la frontera de la experiencia humana especializada.

CAIS y Scale AI han anunciado que abrirán el conjunto de datos a la comunidad investigadora para que otros equipos puedan evaluar sus propios sistemas y estudiar en detalle las variaciones observadas, aunque mantendrán en reserva un pequeño subconjunto de preguntas para preservar la integridad de futuras evaluaciones. La pregunta que deja planteada Hendrycks —cuánto tardarán los modelos en acercarse al 90% también aquí— es la que definirá si este examen sigue siendo útil dentro de tres años o si corre la misma suerte que MMLU.