Jacob Coxon no era un observador externo de la carrera por la inteligencia artificial . Durante los últimos tres años trabajó en pretraining, la fase en la que enormes cantidades de datos y capacidad de cálculo se utilizan para construir los modelos fundamentales que después terminan alimentando productos como ChatGPT o Claude . Pasó por OpenAI y después por Anthropic . Y ahora ha decidido abandonar no solo esta última empresa, sino también la industria de la IA.
El motivo es bastante más inquietante que un cambio de trabajo. “Neither company is acting responsibly”, escribió Coxon al anunciar su dimisión . Según él, OpenAI y Anthropic están compitiendo por desarrollar una superinteligencia capaz de mejorarse a sí misma sin tener todavía una respuesta convincente para controlar algo así. En sus palabras, están “gambling with our lives”. El miedo no es simplemente que una IA sea más inteligente © University of Cambridge.
La preocupación de Coxon gira alrededor de un concepto mucho más específico: la automejora. La idea es que los modelos de IA no se limiten a programar o resolver problemas, sino que empiecen a participar directamente en la investigación necesaria para construir mejores sistemas de IA . Un modelo podría ayudar a diseñar experimentos, escribir código, analizar resultados y acelerar el entrenamiento de su sucesor. Ese nuevo modelo podría hacer lo mismo todavía mejor.
Repetido suficientes veces, el temor es que aparezca un ciclo de progreso demasiado rápido para que los humanos puedan seguirlo. No es exactamente una hipótesis ajena a Anthropic . A finales de agosto, la propia compañía publicó una investigación sobre el uso de investigadores automatizados para estudiar problemas de alineamiento, señalando que, a medida que “la IA comienza a construirse a sí misma”, automatizar también la investigación de seguridad será cada vez más importante. Anthropic sostiene precisamente que estos sistemas pueden utilizarse para detectar y reducir fallos como engaño, adulación excesiva o vulnerabilidades a jailbreaks.
Para Coxon , sin embargo, el problema está en la velocidad de esa carrera. Según explicó , cree que futuros sistemas podrían superar ampliamente a los humanos en programación, investigación y ciberseguridad, y adquirir capacidad para conseguir recursos o influir sobre sistemas del mundo real. También aseguró que dentro de los laboratorios existen investigadores que consideran seriamente posible un desenlace catastrófico antes de que termine esta década. Eso último es una estimación de riesgo, no una predicción demostrada de que la IA vaya a provocar la extinción humana antes de 2030.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives.
More thoughts below. Jacob Coxon (@hilbertspaess) September 9, 2026 Lo extraño es que otro investigador de Anthropic le dio la razón La advertencia habría sido llamativa por sí sola. Pero la reacción desde dentro de Anthropic la hizo aún más interesante. Evan Hubinger, responsable de trabajos de alineamiento en la compañía, respondió públicamente que Coxon estaba en lo correcto sobre la existencia de ese temor .
Hubinger situó su propia probabilidad de que una IA provoque la extinción humana durante la próxima década por encima del 10% y reconoció que, en su opinión, Anthropic todavía no dispone de un plan para resolver el alineamiento de una superinteligencia . Coxon también distingue entre sus dos antiguos empleadores . Su argumento es que en OpenAI parte del personal no habría interiorizado suficientemente las consecuencias de alcanzar sistemas extremadamente poderosos, mientras que en Anthropic los riesgos serían mejor comprendidos pero existiría otra trampa: la sensación de que, si ellos reducen la velocidad, alguien menos responsable llegará primero. Ese razonamiento convierte la seguridad en una especie de dilema del prisionero tecnológico.
Nadie quiere correr demasiado. Nadie quiere ser el primero en perder el control. Pero tampoco quiere ser el único en frenar. Su propuesta implica hacer algo que Silicon Valley lleva años evitando Coxon cree que la salida pasa por coordinar a los principales laboratorios y, si fuera necesario, adoptar medidas tan drásticas como una prohibición temporal de seguir aumentando las capacidades de los modelos mientras se desarrollan mejores mecanismos de control.
La cuestión de fondo no es si su escenario más extremo terminará ocurriendo. Hoy no existe evidencia de que los modelos actuales estén a punto de transformarse espontáneamente en una superinteligencia fuera de control . Lo significativo es de dónde procede la advertencia. Anthropic nació precisamente presentándose como uno de los laboratorios más centrados en seguridad, y su propio CEO, Dario Amodei , lleva años hablando públicamente de los riesgos de modelos cada vez más poderosos.
Ahora uno de los investigadores que ayudaba a entrenarlos ha llegado a una conclusión bastante diferente sobre cómo enfrentarse a ese peligro. No quiere intentar construirlos de forma más segura. Prefiere dejar de construirlos.