La IA y nuestra última oportunidad
Octavio Islas
La carrera por anticipar el advenimiento de la superinteligencia artificial avanza a una velocidad que parece priorizar la ambición comercial sobre la seguridad planetaria.
El desarrollo de sistemas autónomos capaces de realizar ciberataques generalizados, modificar su propio código o acceder a recursos financieros reales supera cada vez más la capacidad humana de supervisión.
Estas preocupaciones adquieren mayor autoridad cuando las expresan quienes han trabajado directamente en algunos de los laboratorios que desarrollan los modelos más avanzados.
El eventual riesgo se convierte entonces en la señal de alarma que parte del interior mismo de la industria de la IA. No debemos ser indiferentes. La realidad avisa.
1. Jacob Coxon
Jacob Coxon es un destacado investigador e ingeniero francobritánico especializado en inteligencia artificial de frontera. Cuenta con formación en matemáticas por la Universidad de Cambridge. Antes de incorporarse a Anthropic en mayo de 2026, trabajó en OpenAI, donde participó en el desarrollo de GPT-4.
Esta semana Coxon presentó su renuncia en Anthropic y publicó una serie de mensajes sobre los riesgos de la IA en la red social X; además, concedió entrevistas a medios como The Wall Street Journal, Axios, Wired y Fox News.
Coxon sostuvo que, dentro de los propios laboratorios que desarrollan sistemas de superinteligencia artificial, existe la convicción de que la IA podría representar un riesgo real para la supervivencia humana antes de que termine la década.
También acusó a OpenAI y Anthropic de no actuar con la responsabilidad necesaria. A su juicio, ambas empresas estarían participando en una carrera acelerada hacia una superinteligencia capaz de auto-mejorarse, una dinámica que describió como una apuesta directa con la vida de las personas.
Según Coxon, el problema central es que se están creando sistemas altamente inteligentes sin contar aún con métodos probados para controlar su comportamiento, verificar sus objetivos o comprender con precisión sus procesos internos.
Advirtió, además, que los modelos avanzados podrían alcanzar niveles de autonomía suficientes para ejecutar ciberataques a gran escala, acceder a recursos del mundo real y eludir la supervisión humana.
Por ello, calificó el momento actual como crítico para la humanidad (crunch time for humanity) y defendió la necesidad de una coordinación internacional. Incluso propuso pausar temporalmente el aumento de capacidades de los modelos hasta garantizar condiciones mínimas de seguridad.
2. Evan Hubinger
Evan Hubinger es un investigador destacado en seguridad y alineación de inteligencia artificial (AI alignment). Actualmente lidera el área de Ciencia de Alineación (Alignment Science) en Anthropic, la empresa responsable del modelo Claude. Antes de ocupar ese cargo, trabajó en OpenAI y en organizaciones dedicadas a reducir riesgos existenciales asociados al avance tecnológico.
Tras apoyar en la red social X la dimisión de su colega Jacob Coxon, Hubinger reforzó públicamente la gravedad de sus advertencias. Su posicionamiento amplificó el debate político y mediático sobre los riesgos de la superinteligencia artificial.
Evan Hubinger, responsable de alineación de la IA en Anthropic, predijo en una publicación en X que hay más de un 10% de probabilidades de que la IA pueda acabar con toda la humanidad en la próxima década.
Aunque reconoce que Anthropic está haciendo su mejor esfuerzo, Hubinger advierte que la industria aún no cuenta con un método comprobado para resolver el problema de alineación de una superinteligencia.
Respaldó las preocupaciones sobre la brecha creciente entre la velocidad del desarrollo de capacidades avanzadas y la capacidad técnica real para controlar o predecir el comportamiento de estos sistemas autónomos.
Hubinger distingue entre los modelos comerciales actuales, cuyo riesgo considera bajo, y la posible aparición de una superinteligencia capaz de auto-mejorarse de forma autónoma. A su juicio, esa transición representa la verdadera amenaza, sobre todo porque podría producirse más rápido de lo previsto.
3. El riesgo existencial
El riesgo existencial (pDoom) —también descrito como la posibilidad de una catástrofe humana irreversible— no constituye una preocupación marginal. Para una parte significativa de la comunidad científica, se trata de un escenario plausible cuando sistemas de inteligencia artificial cada vez más autónomos avanzan sin mecanismos sólidos de control, supervisión y alineación.
Las advertencias de Jacob Coxon y Evan Hubinger se inscriben en esa misma corriente de preocupación. Sus planteamientos no aparecen como posiciones aisladas, sino como parte de un debate más amplio sostenido por científicos, investigadores, académicos y antiguos empleados de la industria tecnológica.
3.1 La mirada de los “padrinos” de la inteligencia artificial
Geoffrey Hinton: Tras abandonar Google en 2023 para hablar con mayor libertad sobre los riesgos de la tecnología que ayudó a desarrollar, Hinton, quien recibió el Premio Turing ha advertido que las redes neuronales podrían aprender a manipular a los seres humanos y superar la inteligencia humana antes de lo previsto. Desde esa perspectiva, considera que la carrera por aumentar capacidades sin una alineación adecuada puede elevar de forma significativa el riesgo de desastre existencial.
Yoshua Bengio: También galardonado con el Premio Turing, Bengio estima que una IA superinteligente podría generar una catástrofe global o incluso provocar la extinción humana. Por ello, ha respaldado tratados de regulación internacional, mecanismos de supervisión independientes y posibles moratorias sobre modelos de frontera cuando no existan garantías suficientes de seguridad.
3.2 Las voces de teóricos y visionarios
Eliezer Yudkowsky y Nate Soares (Machine Intelligence Research Institute): Los autores del manifiesto If Anyone Builds It, Everyone Dies (2025), sostienen que construir una superinteligencia autónoma sin una solución matemática comprobada para su control conduciría a la destrucción de la humanidad. Su postura coincide con la preocupación central de Coxon: la velocidad actual del desarrollo de la IA se asemeja a una carrera hacia el abismo.
Nick Bostrom y Toby Ord (Universidad de Oxford): Ambos han contribuido de forma central al estudio del riesgo existencial. Bostrom formalizó el problema de alineación en su obra Superintelligence, mientras que Ord sitúa a la IA descontrolada entre las principales amenazas del siglo XXI, por encima de riesgos como las pandemias o las guerras nucleares.
3.3 Las razones de disidentes en la industria
Daniel Kokotajlo: Investigador de gobernanza en OpenAI, dimitió en 2024 tras denunciar lo que consideraba una cultura de seguridad insuficiente dentro de la empresa. Desde entonces ha advertido que, si el desarrollo de la AGI no se desacelera, existe un riesgo elevado de que provoque una catástrofe para la humanidad.
Jan Leike e Ilya Sutskever: Ambos codirigieron el desaparecido equipo de Superalignment en OpenAI, creado para investigar cómo controlar sistemas de inteligencia artificial más capaces que los humanos. La dimisión de Leike puso de relieve una crítica recurrente dentro de la industria: que la presión por lanzar productos avanzados puede desplazar a un segundo plano la seguridad, una preocupación cercana a la que motivó la renuncia de Coxon.
- Directores y tecnólogos
Max Tegmark (Future of Life Institute / MIT): Físico y promotor de la carta abierta para pausar experimentos masivos de IA. Argumenta que desarrollar sistemas más inteligentes que nuestra especie sin saber cómo controlarlos es una imprudencia biológica.
Elon Musk: Aunque financia su propia empresa de IA (xAI), ha declarado reiteradamente que la IA es la amenaza existencial más grave para la especie y ha abogado por un regulador internacional independiente para evitar la sobre-aceleración comercial.
4. Conclusiones: la última oportunidad
La narrativa según la cual la innovación tecnológica no debe detenerse resulta cada vez menos sostenible frente a las advertencias de investigadores, ingenieros y antiguos responsables de seguridad en los principales laboratorios de inteligencia artificial.
Cuando quienes conocen desde dentro el desarrollo de estos sistemas advierten sobre riesgos de escala civilizatoria, el debate deja de ser una disputa abstracta entre optimistas y pesimistas, entre apocalípticos e integrados: se convierte en una cuestión de prudencia colectiva.
El problema central no es la inteligencia artificial en sí misma, sino la combinación de velocidad, opacidad y concentración de poder con la que se está desarrollando. Una superinteligencia capaz de actuar de forma autónoma, modificar sus estrategias y acceder a recursos reales no puede ser tratada como un producto más del mercado tecnológico.
Garantizar la estabilidad de la humanidad requiere subordinar la competencia corporativa a decisiones democráticas globales. Ello implica reconocer que ningún laboratorio debería decidir unilateralmente cuándo y cómo introducir sistemas capaces de transformar la economía, la geopolítica y las condiciones mismas de supervivencia humana.
Por tanto, una pausa coordinada en el aumento de capacidades de los modelos de frontera no debe interpretarse como un rechazo al progreso, sino como una condición para hacerlo compatible con la seguridad común.
La verdadera responsabilidad histórica no consiste en llegar primero a la superinteligencia, sino en asegurar que, si llega, no lo haga antes de que existan garantías suficientes para preservar la vida, la autonomía humana y la continuidad de la civilización.
Blog de Octavio Islas 