Más de 800 figuras piden frenar la superinteligencia

Más de 800 científicos, responsables políticos, empresarios y figuras culturales habían firmado el 22 de octubre de 2025 una petición para prohibir el desarrollo de superinteligencia hasta que existieran consenso científico sobre su seguridad y control, y un respaldo público fuerte. Entre los nombres estaban Geoffrey Hinton, Yoshua Bengio y Steve Wozniak. La cifra histórica procede de una instantánea publicada aquel día: la lista en línea sigue abierta y su contador cambia, por lo que el total actual no sirve para reconstruir por sí solo el lanzamiento.

La declaración es breve; convertirla en una política aplicable no lo sería. Una firma expresa apoyo a dos condiciones, pero no define qué actividades quedarían prohibidas, cómo se reconocería el umbral de superinteligencia, quién mediría el consenso, qué significaría apoyo público ni cómo se comprobaría el cumplimiento. Aprender a separar una demanda política de su mecanismo permite evaluar esta y cualquier futura propuesta de gobernanza de IA sin descartarla por vaga ni aceptarla como si ya fuera una ley.

Qué pide exactamente la declaración

El texto primario reclama una prohibición del desarrollo de superinteligencia que no se levantaría antes de cumplir dos requisitos: consenso científico amplio de que el desarrollo puede hacerse de forma segura y controlable, y fuerte respaldo público. No pide una pausa de seis meses ni fija una fecha de reanudación. Tampoco afirma que la superinteligencia exista ya. Su introducción la describe como una IA capaz de superar significativamente a todos los humanos en prácticamente todas las tareas cognitivas.

La elección de una condición, en lugar de una fecha, cambia el tipo de propuesta. Una pausa temporal termina aunque el problema técnico siga abierto. Una prohibición condicionada permanece hasta que una prueba permita levantarla. Pero esa fortaleza retórica crea una obligación de diseño: hay que convertir palabras como «segura», «controlable», «consenso» y «respaldo» en criterios observables. Si cada laboratorio puede interpretarlas a su conveniencia, la condición no frena nada; si nadie puede demostrarla, se vuelve permanente por construcción.

Primera pregunta: cuál es el objeto regulado

«Desarrollar superinteligencia» puede significar entrenar un modelo, ampliar uno existente, investigar algoritmos, publicar pesos, desplegar un agente o conectar un sistema a herramientas. Cada verbo alcanza actores y momentos distintos. Prohibir solo el despliegue permite que continúen el entrenamiento y las pruebas internas; prohibir investigación básica puede abarcar trabajos que también mejoran sistemas limitados y útiles. Una norma necesita describir conductas, no solo un resultado temido.

También debe distinguir modelo y sistema. Un modelo aislado puede responder texto; el sistema que lo rodea añade memoria, navegación, código, permisos y acceso a infraestructura. La capacidad peligrosa puede aparecer en esa combinación aunque el modelo no cambie. Por eso una definición basada únicamente en el nombre comercial o en una puntuación de examen queda obsoleta cuando el mismo componente recibe nuevas herramientas.

Segunda pregunta: dónde está el umbral

La superinteligencia es una categoría hipotética y comparativa: exige decidir qué humanos, qué tareas y qué nivel de rendimiento forman la referencia. Un sistema puede superar a especialistas en una prueba estrecha y fallar en planificación prolongada, interacción física o situaciones nuevas. Promediar esas capacidades oculta perfiles muy distintos. Un umbral útil combina capacidad, fiabilidad y autonomía en escenarios definidos, además de la gravedad del daño posible.

El Informe Internacional sobre Seguridad de la IA de 2025, elaborado para sintetizar la evidencia científica, se centró en IA de propósito general y subrayó la gran incertidumbre sobre la velocidad de futuros avances. El informe no recomendó una política concreta. Esa separación es instructiva: el análisis científico puede describir capacidades, riesgos y desacuerdos; decidir qué incertidumbre justifica una prohibición es una elección pública.

Las normas existentes muestran cómo se usan aproximaciones cuando la capacidad no puede medirse directamente. El Reglamento de IA de la Unión Europea clasifica modelos de propósito general con riesgo sistémico mediante capacidades de alto impacto y presume ese nivel por encima de un umbral de cómputo de entrenamiento, sin impedir que la Comisión designe otros modelos por criterios como autonomía, escala, herramientas o número de usuarios. El cómputo es verificable, pero es un indicador aproximado, no una definición de inteligencia.

Tercera pregunta: quién verifica y con qué acceso

Una prohibición solo funciona si una autoridad puede saber qué se entrena. Harían falta registros de grandes ejecuciones de cómputo, documentación de modelos, evaluaciones independientes y obligaciones de informar incidentes. Los evaluadores necesitarían acceso suficiente para probar comportamientos peligrosos sin recibir secretos comerciales innecesarios. También habría que cubrir centros de datos, proveedores de nube y sistemas distribuidos, porque vigilar únicamente a las empresas más conocidas desplaza el trabajo a otra entidad.

La verificación no puede descansar en una demostración preparada por el desarrollador. Debe incluir pruebas adversariales, escenarios no vistos, evaluación de engaño y autonomía, y seguimiento después del despliegue. Ningún examen único certifica control permanente: un sistema puede pasar una batería y comportarse de otro modo al recibir herramientas, instrucciones o contextos diferentes. La política necesita una secuencia de evidencias y la posibilidad de suspender actividad cuando aparezca información nueva.

Cuarta pregunta: cómo se mide consenso y apoyo público

El consenso científico no equivale a unanimidad ni al número de firmas de una carta. Debe especificarse una institución, un procedimiento para seleccionar expertos, reglas de conflicto de intereses, evidencia publicada y un umbral de acuerdo. También conviene separar dos preguntas: si un sistema es técnicamente controlable y si el riesgo residual resulta aceptable. La primera admite pruebas; la segunda incorpora valores y distribución de daños y beneficios.

La petición se apoyó en una encuesta encargada por el Future of Life Institute a 2.000 adultos estadounidenses entre el 29 de septiembre y el 5 de octubre de 2025. El 64% dijo que la IA sobrehumana no debería desarrollarse hasta que se demostrara segura y controlable o que nunca debería desarrollarse; el 5% apoyó avanzar lo más rápido posible. Los participantes recibieron definiciones breves antes de responder.

Esos resultados miden una muestra nacional bajo una formulación concreta, no «la opinión de la humanidad». El respaldo público fuerte requeriría decidir territorios, representación, información previa y modo de decisión. Una encuesta es evidencia de preferencias; un referéndum, una ley parlamentaria y una consulta deliberativa tienen legitimidades distintas. Citar el porcentaje sin pregunta, muestra y geografía convertiría una medición útil en un mandato más amplio de lo que prueba.

Quinta pregunta: qué activa y qué levanta la prohibición

La propuesta necesita un disparador anterior a la superinteligencia consumada. Esperar a confirmar que un sistema supera a todos los humanos llega demasiado tarde para prevenir su creación. Podrían usarse hitos de capacidad, escalas de cómputo o combinaciones de autonomía y acceso a recursos, con revisión periódica. Cada indicador tendrá falsos positivos y falsos negativos; declararlos permite ajustar el régimen sin fingir una frontera perfecta.

La salida exige tanta precisión como la entrada. «Seguro y controlable» podría traducirse en límites cuantificados, auditorías replicables, capacidad de interrupción, ciberseguridad, trazabilidad y responsabilidad legal. También necesita una regla para el desacuerdo: quién resuelve evidencia contradictoria y qué ocurre mientras se revisa. Si levantar la prohibición depende de una sensación general, la decisión vuelve a concentrarse en quienes ya controlan el desarrollo.

Qué prueba una firma y qué falta para gobernar

La diversidad de más de 800 firmantes demuestra que la preocupación cruzó fronteras profesionales e ideológicas. No demuestra que todos compartan la misma probabilidad de riesgo, definición de superinteligencia o instrumento legal. Una declaración corta crea una coalición precisamente porque deja esas diferencias sin resolver. Su función es fijar un principio; el trabajo posterior consiste en diseñar reglas que puedan auditarse.

La capacidad transferible para el lector es someter cualquier propuesta sobre IA a cinco pruebas: objeto regulado, umbral, verificación, autoridad y condiciones de entrada y salida. Si una de ellas falta, no significa que el riesgo sea imaginario; significa que todavía tenemos una demanda política, no un mecanismo ejecutable. Esa distinción permite exigir al mismo tiempo prudencia ante capacidades inciertas y precisión a quienes prometen gobernarlas.