La declaración sobre el riesgo de extinción de la IA: qué prueba una firma

Una frase, cientos de firmas

El Center for AI Safety, una organización de investigación con sede en San Francisco, publicó el 30 de mayo de 2023 una declaración que no llega a las treinta palabras pero condensa una de las advertencias más contundentes que ha hecho el propio sector sobre sí mismo. El texto dice literalmente: "Mitigar el riesgo de extinción por la IA debería ser una prioridad global junto con otros riesgos a escala social, como las pandemias y la guerra nuclear".

La lista de firmantes es lo que convierte esta frase en noticia. Entre los nombres figuran Sam Altman, consejero delegado de OpenAI; Demis Hassabis, al frente de Google DeepMind; y Geoffrey Hinton y Yoshua Bengio, dos de los tres investigadores considerados padres del aprendizaje profundo moderno (junto con Yann LeCun, que no ha firmado). Se suman directivos de Anthropic, decenas de catedráticos de universidades como Stanford, Berkeley o el MIT, y otras figuras del sector.

Por qué importa quién firma

No es la primera vez que se advierte sobre los riesgos de la inteligencia artificial. Lo inusual es que quienes firman ahora son, en muchos casos, las mismas personas que construyen los sistemas más avanzados que existen. Altman dirige la compañía detrás de ChatGPT y GPT-4; Hassabis lidera el laboratorio que fusionó DeepMind con Google Brain hace apenas unas semanas. Que ambos suscriban una comparación con armas nucleares sobre su propia tecnología es, cuando menos, una posición pública poco habitual en cualquier otra industria.

Una frase deliberadamente corta

El formato elegido por el Center for AI Safety —una sola oración, sin desarrollo ni plan de acción adjunto— parece buscar precisamente eso: que la brevedad y la contundencia no dejen margen a la ambigüedad ni a la negociación de matices, algo que sí ocurrió con la carta abierta publicada el 22 de marzo por el Future of Life Institute, que pedía una pausa de seis meses en el entrenamiento de sistemas más potentes que GPT-4 y que generó división entre quienes la firmaron y quienes, aun compartiendo la preocupación, discreparon del remedio propuesto.

Aquella carta, sin embargo, no logró la adhesión de los máximos responsables de OpenAI ni de Google DeepMind, cuyas empresas eran señaladas implícitamente como las que debían frenar. La declaración de hoy sortea ese problema: no pide detener nada ni fija plazos, solo establece una jerarquía de prioridades. Es más fácil de firmar y, por eso mismo, más difícil de rebatir después.

El riesgo de extinción, sin desglosar

La declaración no explica qué mecanismo concreto llevaría de un sistema de IA a un escenario de extinción humana, ni ofrece medidas específicas. El Center for AI Safety ha optado por dejar esa discusión para después, centrando el documento en establecer un consenso mínimo: que el riesgo existe y merece la misma atención institucional que otras amenazas globales ya reconocidas como tales, con órganos, tratados y presupuestos dedicados.

Esa ambigüedad es también su punto débil. Sin especificar si el temor apunta a sistemas autónomos que escapan al control humano, a su uso deliberado con fines militares o biológicos, o a la concentración de poder que su desarrollo implica, la frase deja que cada firmante proyecte su propia lectura del peligro. Es precisamente lo que ha permitido reunir bajo un mismo texto a investigadores académicos preocupados por la seguridad técnica y a directivos de las empresas que lideran la carrera comercial por construir sistemas cada vez más capaces.

Qué demuestra realmente una firma

La lista acredita una posición pública, no una probabilidad cuantificada. El propio comunicado explica que las firmas se verificaron por correo electrónico o contacto personal. Eso permite afirmar que Altman, Hassabis, Hinton, Bengio y los demás respaldaron esa prioridad; no que todos asignen la misma probabilidad a la extinción, imaginen el mismo mecanismo o apoyen idéntica regulación. Una coalición puede compartir el diagnóstico general y discrepar por completo sobre el tratamiento.

Para leer una alarma extrema conviene separar peligro, exposición y riesgo. El peligro es una capacidad que podría causar daño; la exposición describe quién puede usarla y en qué condiciones; el riesgo combina la probabilidad del recorrido con la gravedad del resultado. La declaración habla sobre la gravedad y la prioridad, pero no proporciona una estimación de probabilidad ni una cadena causal comprobada. Esa ausencia no refuta el problema: delimita exactamente qué evidencia aporta el documento y cuál aún habría que producir.

Dos cartas que hacen cosas distintas

La carta de marzo del Future of Life Institute sí proponía una intervención: detener durante al menos seis meses el entrenamiento de sistemas más potentes que GPT-4, de forma pública y verificable, y usar el intervalo para crear protocolos auditados. La frase de CAIS no contiene plazo, umbral técnico, autoridad competente ni prueba de cumplimiento. Compararlas solo por el tono borra lo esencial. Una declara prioridad; la otra combina un diagnóstico con una receta discutible y mucho más exigente.

De la alarma a una regla que pueda auditarse

Los documentos oficiales muestran cómo una preocupación empieza a convertirse en requisitos. En su testimonio escrito del 16 de mayo, Altman pidió pruebas internas y externas antes del lanzamiento, publicación de evaluaciones y que Estados Unidos considerase licencias o registros para modelos por encima de un umbral de capacidades. El 11 de mayo, las comisiones competentes del Parlamento Europeo aprobaron por 84 votos a 7, con 12 abstenciones, su mandato sobre la Ley de IA, con obligaciones específicas para modelos fundacionales. Ninguno de esos textos prueba un riesgo de extinción; sí permite comparar propuestas concretas.

Una política comprobable necesita responder cinco preguntas: qué capacidad activa la obligación; quién evalúa; qué resultado impide desplegar; qué información se publica; y quién soporta el coste de cumplir. Si falta el umbral, la regla puede aplicarse arbitrariamente. Si el evaluador depende del fabricante, no es independiente. Si no hay consecuencias, el estándar es voluntario. Y si el coste fijo es enorme, puede reducir riesgo pero también consolidar a las empresas que ya tienen capital e infraestructura.

El test útil para cualquier nueva declaración es convertir cada verbo en una evidencia exigible. «Mitigar» requiere una intervención identificada; «prioridad» exige presupuesto, responsables y calendario; «global» necesita coordinación entre jurisdicciones; «riesgo» obliga a describir escenario, indicadores y controles. Si el firmante no publica ninguno de esos elementos, la firma sigue siendo una señal política legítima, pero todavía no es un plan. Esta traducción impide confundir consenso sobre una frase con consenso científico sobre su probabilidad o consenso institucional sobre la respuesta.

Lo que viene después

La declaración llega en un momento en que reguladores a ambos lados del Atlántico avanzan en marcos normativos para la IA: la Unión Europea tramita su Ley de IA, y el propio Altman había presentado ante el Senado de Estados Unidos un testimonio escrito que pedía licencias o registros para modelos por encima de un umbral de capacidades. Que los mismos ejecutivos que piden regulación firmen ahora una comparación con armas nucleares refuerza esa demanda, aunque también alimenta la sospecha, ya presente en el debate público, de que una regulación exigente podría beneficiar a quienes ya dominan el mercado al elevar la barrera de entrada para nuevos competidores.

Por ahora, el documento no tiene efecto legal ni obliga a nada. Su valor es simbólico: fija, en la voz de quienes mejor conocen la tecnología, que el riesgo existe y que merece un lugar en la agenda de los gobiernos. Queda por ver si esa agenda se traduce en instituciones concretas o si la frase queda como uno más de los gestos de un año en el que la IA generativa ha entrado, de golpe, en la conversación pública global.