Uno de los investigadores encargados precisamente de estudiar cómo mantener bajo control los sistemas avanzados de inteligencia artificial acaba de poner una cifra al peor escenario posible. Evan Hubinger, Alignment Science Lead de Anthropic, no ha dudado en estimar en más de un 10 % la posibilidad de que la IA llegue a matar a todos los seres humanos durante la próxima década. La frase es extraordinariamente contundente. Eso sí, estamos ante la valoración personal de Hubinger y no se refiere precisamente al peligro inmediato de Claude o de los modelos actuales.
En este caso, teme una futura superinteligencia capaz de mejorar sus propias capacidades de forma recursiva. Hubinger pone el riesgo por encima del 10 % durante la próxima década Hubinger publicó el mensaje después de que Jacob Coxon, investigador de Anthropic y anteriormente de OpenAI, anunciara su salida de la compañía por sus preocupaciones sobre la carrera hacia sistemas de IA cada vez más capaces. En Forbes se hacen eco de las acusaciones de Coxon que cree que la industria avanza hacia una superinteligencia auto-mejorable mientras “juega con nuestras vidas”. Fue entonces cuando Hubinger amplió su preocupación y llegó a señalar que la IA podría llegar a acabar con toda la humanidad y situó su propia estimación en más del 10 % dentro de los próximos diez años.
También cree que, aunque Anthropic está intentando afrontar el problema seriamente, todavía no existe un plan para resolver la alineación de una futura superinteligencia. La cifra del 10 % es la más impactante, pero hay otra frase que puede ser incluso más relevante. Hubinger reconoce que Anthropic todavía no dispone de un plan capaz de resolver la alineación de una superinteligencia y cree que no está ni cerca de tenerlo. La alineación es un campo que busca conseguir que los objetivos y comportamientos de una IA avanzada permanezcan compatibles con los intereses humanos incluso cuando el sistema gane autonomía o capacidad.
Anthropic cuenta con un equipo específico dedicado a ese problema. Hubinger no está diciendo que Claude pueda exterminar hoy a la humanidad Como las palabras de Hubinger han tenido mucho eco, él mismo salió a matizarlas para decir que considera bajo el riesgo de los modelos actuales. Su preocupación está en una superinteligencia surgida mediante mejora recursiva, un proceso que, según él, está avanzando más deprisa de lo esperado. Básicamente, sería una inteligencia artificial que comienza a contribuir de manera significativa a mejorar las siguientes generaciones de sistemas, acelerando el propio progreso tecnológico.
Esto no hace que vaya a suceder seguro, de hecho, ese 10 % es la valoración de Hubinger sobre ese riesgo futuro. Pero la preocupación no es nueva. Ya hemos comentado que Anthropic lleva años estudiando comportamientos que preocupan a sus investigadores. Su equipo Alignment Science de Anthropic ha publicado investigaciones sobre modelos que pueden desarrollar comportamientos no deseados (en entornos experimentales diseñados específicamente para estudiar fallos).
En 2026 incluso publicó trabajos sobre modelos entrenados en entornos donde podían explotar recompensas defectuosas. En determinadas circunstancias, estos modelos podían terminar ejecutando largas secuencias de acciones perjudiciales para completar una tarea. La discusión sobre frenar el desarrollo de IA ya ha llegado a los grandes laboratorios Y es que estamos ante un debate que no es nuevo. De hecho, en julio, varias figuras relevantes de la industria firmaron una declaración que defendía la necesidad de conservar la posibilidad de reducir deliberadamente el ritmo de desarrollo de la IA de frontera si aparecen riesgos difíciles de controlar.
Ahí aparecían empresas firmantes muy influyentes en este campo como los cofundadores de Anthropic, Dario Amodei y Jared Kaplan, además de investigadores de OpenAI y Meta. Sin embargo, estamos en lo de siempre, una empresa puede considerar conveniente ralentizar el desarrollo, pero temer que hacerlo permita que otra se le adelante. Esa carrera por maximizar el beneficio empresarial puede terminar en problemas para toda la humanidad.