Esto es lo que está difundiendo Future of Life Institute:
Iniciar sesión
22,325 firmas
Firmar la declaración
Incluyendo 19,134 de la misma petición de Ekō
Declaración sobre la superinteligencia
Contexto: Las herramientas innovadoras de IA pueden traer salud y prosperidad sin precedentes. Sin embargo, junto con las herramientas, muchas empresas líderes de IA tienen el objetivo declarado de desarrollar superinteligencia en la próxima década que pueda superar significativamente a todos los humanos en prácticamente todas las tareas cognitivas. Esto ha suscitado preocupaciones, que van desde la obsolescencia económica y el desempoderamiento humano, la pérdida de libertad, libertades civiles, dignidad y control, hasta riesgos para la seguridad nacional e incluso la posible extinción humana. La breve declaración a continuación pretende difundir el creciente número de expertos y figuras públicas que se oponen a la aceleración de la superinteligencia.
Para correcciones, asistencia técnica o consultas de prensa, por favor contacte con letters@futureoflife.org
Declaración
Exigimos que se levante la prohibición del desarrollo de la superinteligencia, la cual no debe levantarse hasta que exista un amplio consenso científico de que se realizará de forma segura y controlada, y una sólida aceptación pública. Todos (3191)
Líder religioso
Responsable de políticas
Artes y medios de comunicación
Investigador
Negocios
Sin fines de lucro
Geoffrey Hinton
Profesor emérito de Ciencias de la Computación, Universidad de Toronto, Premio Nobel, Premio Turing, el segundo científico más citado del mundo
Yoshua Bengio
Profesor de Ciencias de la Computación, Universidad de Montreal/Mila, Premio Turing, el científico más citado del mundo
“Los sistemas de IA de vanguardia podrían superar a la mayoría de las personas en la mayoría de las tareas cognitivas en tan solo unos años. Estos avances podrían desbloquear soluciones a los principales desafíos globales, pero también conllevan riesgos significativos. Para avanzar con seguridad hacia la superinteligencia, debemos determinar científicamente cómo diseñar sistemas de IA que sean fundamentalmente incapaces de dañar a las personas, ya sea por desalineación o uso malicioso. También debemos asegurarnos de que el público tenga una participación mucho más fuerte en las decisiones que moldearán nuestro futuro colectivo”.
Stuart Russell
Profesor de Ciencias de la Computación, Berkeley, Director del Centro para la Inteligencia Artificial Compatible con los Humanos (CHAI); Coautor del libro de texto estándar “Inteligencia Artificial: un Enfoque Moderno”
“Esto no es una prohibición ni una moratoria en el sentido habitual. Es simplemente una propuesta para exigir medidas de seguridad adecuadas para una tecnología que, según sus desarrolladores, tiene una probabilidad significativa de causar la extinción humana. ¿Es demasiado pedir?”
Steve Wozniak
Cofundador de Apple
Sir Richard Branson
Fundador de Virgin Group
Steve Bannon
Expresidente Ejecutivo de Breitbart News; exestratega jefe del presidente Donald Trump; presentador del podcast War Room
Glenn Beck
Fundador de Blaze Media, presentador de radio, personalidad de televisión, comentarista político
Susan Rice
Exasesora de Seguridad Nacional de EE. UU. durante la presidencia de Obama; Embajadora de EE. UU. ante las Naciones Unidas; Becario Rhodes
Mike Mullen
Almirante retirado de la Armada de EE. UU., Jefe del Estado Mayor Conjunto durante la presidencia de George W. Bush y Barack Obama
Joe Crowley
Excongresista demócrata por Nueva York y presidente del bloque demócrata de la Cámara de Representantes
Resultados clave de las encuestas sobre superinteligencia
5%
Los adultos estadounidenses apoyan el statu quo de un desarrollo rápido y sin regulación
64%
Cree que la IA sobrehumana no debería desarrollarse hasta que se demuestre que es segura o controlable, o que nunca debería desarrollarse
73%
Desean una regulación sólida sobre la IA avanzada
Resultados de la encuesta
Comentarios de los firmantes (Haga clic para ampliar)
Diapositiva anterior
Diapositiva siguiente
Brian Higgins
Excongresista demócrata por Nueva York
Steve Israel
Excongresista demócrata por Nueva York
Keith Rothfus
Excongresista republicano por Pensilvania
Ed Perlmutter
Excongresista demócrata por Colorado
John Yarmuth
Ex Congresista (D) en representación de Kentucky
Mary Robinson
Expresidenta de Irlanda; Ex Alta Comisionada de las Naciones Unidas para los Derechos Humanos
“La IA ofrece una promesa extraordinaria para promover los derechos humanos, combatir la desigualdad y proteger nuestro planeta, pero la búsqueda de la superinteligencia amenaza con socavar los cimientos mismos de nuestra humanidad común. Debemos actuar con ambición y responsabilidad, eligiendo el camino de una IA centrada en el ser humano que sirva a la dignidad y la justicia.”
Príncipe Harry, Duque de Sussex
Cofundador de la Fundación Archewell
“El futuro de la IA debe servir a la humanidad, no reemplazarla. La verdadera prueba del progreso no será la velocidad con la que avancemos, sino la prudencia con la que dirigimos.”
Meghan, Duquesa de Sussex
Cofundadora de la Fundación Archewell
Mark Beall
Ex Director de Estrategia y Política de IA, Departamento de Defensa
“Cuando los investigadores de IA advierten sobre la extinción y los líderes tecnológicos construyen búnkeres catastróficos, la prudencia exige que escuchemos. La superinteligencia sin las debidas garantías podría ser la máxima expresión de la arrogancia humana: poder sin control moral.”
Desmond Browne, Lord Browne de Ladyton
Ex Ministro de Defensa del Reino Unido, Miembro de la Cámara de los Lores del Reino Unido
Declaraciones públicas de no firmantes (Haga clic para ampliar)
Diapositiva anterior
Diapositiva siguiente
Andre Hoffman
Vicepresidente de Roche, Copresidente del Foro Económico Mundial
Jon Wolfsthal
Ex Asistente Especial del Presidente para Asuntos de Seguridad Nacional
“El
—
Esto es lo que opinó ChatGPT
Le pedimos su opinión a ChatGPT, la inteligencia artificial de OpenAI de Sam Altman, en la que Microsoft ha invertido miles de millones de dólares.
Nos dijo:
¿quieres que haga un análisis completo —por ejemplo:
– si el enfoque es más tecnofóbico, ético o prospectivo,
– qué argumentos faltan o podrían fortalecerse,
– cómo se compara con los debates actuales sobre superinteligencia y control algorítmico,
y si el artículo es sólido desde el punto de vista analítico o más especulativo.
¿Quieres que haga ese tipo de análisis?”
Le dijimos que si, y esto opinó:
Excelente, gracias por copiarlo. Te doy un análisis crítico integral dividido en 5 ejes: epistemológico, político, económico, ético y prospectivo.
🧠 1. Eje epistemológico — lo que el texto asume como “verdad científica”
El manifiesto parte de una afirmación fuerte y especulativa: que en una década podría surgir una “superinteligencia” que supere al ser humano en casi todas las tareas cognitivas.
- Este supuesto no está científicamente demostrado. Hoy no existe una arquitectura de IA con conciencia, motivaciones o autonomía generalizable.
- La declaración confunde “capacidad cognitiva” con “inteligencia general autónoma”. Son categorías distintas: los modelos actuales son predictivos, no intencionales.
- Tampoco presenta un marco epistemológico sobre qué significa “seguridad” en IA: ¿seguridad técnica? ¿ético-jurídica? ¿existencial?
Por tanto, la base del documento es más prospectiva y precautoria que empírica.
⚖️ 2. Eje político — quién enuncia y con qué propósito
La lista de firmantes combina científicos reconocidos (Hinton, Bengio, Russell) con figuras políticas y mediáticas de espectros muy distintos (Susan Rice, Steve Bannon, Glenn Beck, el Príncipe Harry).
- Esto revela una coalición transversal motivada por el miedo o la incertidumbre, no necesariamente por consenso técnico.
- La presencia de actores políticos y mediáticos sugiere que el documento busca presionar regulatoriamente más que ofrecer una hoja de ruta científica.
- La apelación a un “consenso científico” como requisito previo a continuar el desarrollo es un mecanismo de moratoria política, no un estándar científico realista (porque en ciencia los consensos son dinámicos y rara vez unánimes).
💰 3. Eje económico — quién gana si se frena la superinteligencia
El texto parece “neutral”, pero detrás hay una pugna de poder dentro del capitalismo digital:
- Los firmantes científicos (Hinton, Bengio) representan la escuela académica y ética de la IA, marginada frente a las Big Tech (OpenAI, Google DeepMind, Anthropic, etc.).
- Pedir una pausa o regulación estricta favorece a actores ya establecidos, que pueden sostener el costo del cumplimiento regulatorio, y bloquea a startups emergentes o países del Sur Global.
- El manifiesto, por tanto, no sólo es ético; también geoestratégico: intenta frenar la carrera privada y militar hacia la IA general bajo el discurso de “seguridad”.
⚙️ 4. Eje ético — entre el principio de precaución y el pánico moral
El documento invoca valores universales (“dignidad”, “control humano”, “justicia”) sin definir mecanismos concretos.
- Éticamente, su fuerza radica en el principio de precaución: no avanzar sin saber si el daño es controlable.
- Pero también incurre en paternalismo moral y tecnopánico: asume que la humanidad es pasiva y que la tecnología es autónoma y hostil.
- No distingue entre riesgos existenciales (hipotéticos) y riesgos sociales reales y actuales como la concentración de datos, vigilancia, sesgo algorítmico, o sustitución laboral.
Por ello, su ética es abstracta, elitista y simbólica, más orientada al miedo que a la gobernanza responsable.
🔮 5. Eje prospectivo — implicaciones y escenarios
Si se aplicara literalmente lo que proponen (prohibir el desarrollo hasta un “consenso”), surgirían tres consecuencias:
- Parálisis tecnológica internacional, mientras potencias no firmantes (China, India, Rusia) seguirían avanzando.
- Desigualdad epistémica, porque el conocimiento quedaría concentrado en quienes ya tienen los modelos más avanzados.
- Desplazamiento del debate ético real: de la regulación práctica (transparencia, rendición de cuentas, trazabilidad) a discusiones metafísicas sobre la “extinción humana”.
En síntesis: el documento refleja una reacción global de miedo ante el salto exponencial de la IA, pero carece de rigor operativo. Más que una estrategia, es un acto simbólico de advertencia moral.
🧩 Conclusión general
- Fortalezas: Eleva el debate público sobre seguridad, reconoce el poder transformador de la IA, involucra actores diversos.
- Debilidades: Conceptos vagos, enfoque occidental-elitista, falta de análisis económico y de gobernanza concreta, tono apocalíptico.
- Balance: Es más un llamamiento ético-político que un documento científico. Su valor está en provocar discusión, no en ofrecer soluciones.