Hay una diferencia importante entre escuchar una advertencia sobre inteligencia artificial desde fuera de la industria y escucharla de quienes tenían como trabajo averiguar cómo evitar que los modelos más avanzados se comporten de maneras que sus desarrolladores no desean. Eso es precisamente lo que acaba de ocurrir en Google DeepMind . Bilal Chughtai y Josh Engels , dos investigadores vinculados al equipo de seguridad de inteligencia artificial general de la compañía, dejaron sus puestos durante los últimos meses y ahora han explicado públicamente por qué. Aunque sus conclusiones son opiniones personales y no representan una posición de Google, ambos coinciden en una preocupación: las capacidades de los sistemas de frontera estarían progresando más rápido que las técnicas utilizadas para comprenderlos y controlarlos.
Chughtai trabajaba intentando entender los modelos. Terminó creyendo que “podrían matarnos a todos” © Google DeepMind. Chughtai dejó DeepMind en julio . Allí había trabajado como ingeniero de investigación en interpretabilidad y seguridad de AGI, tratando precisamente de comprender qué ocurre dentro de modelos cada vez más complejos.
Ahora dirige un programa de seguridad de IA en la organización BlueDot Impact. Su explicación de la salida fue particularmente contundente . Chughtai escribió que cree que la IA tiene el potencial de provocar una catástrofe existencial y que el tiempo para evitar ese escenario podría estar agotándose. Pero su argumento central no depende de una predicción concreta: sostiene que el alineamiento sigue siendo un problema sin resolver mientras las capacidades continúan acelerándose.
Por eso propone reducir el ritmo de desarrollo, aumentar la transparencia y evitar una carrera en la que las compañías construyan sistemas cada vez más capaces antes de comprender suficientemente cómo se comportarán. No es una demostración de que una IA vaya a volverse incontrolable. Es una valoración del riesgo realizada por alguien que trabajó directamente en ese problema. El segundo investigador rechazó ofertas de OpenAI y Anthropic y se fue a vigilar los modelos desde fuera © Getty Images / Joel Saget/AFP.
Josh Engels tomó una decisión parecida unas semanas después . Dejó el equipo de seguridad de AGI de DeepMind y se incorporó a METR, una organización independiente que evalúa modelos avanzados, investiga incidentes y analiza si los mecanismos de seguridad funcionan realmente. Su ficha oficial confirma que ahora trabaja allí en evaluaciones de alineamiento e investigaciones de incidentes. Engels contó que rechazó ofertas de OpenAI y Anthropic porque prefería trabajar desde fuera de los grandes laboratorios .
Su preocupación se concentra especialmente en la llamada automejora recursiva: la posibilidad de utilizar sistemas de IA para desarrollar sistemas todavía mejores, creando un ciclo de mejora progresivamente más rápido. Según Engels , todavía no sabemos garantizar que sistemas suficientemente potentes sean seguros para iniciar ese proceso. Y su advertencia tiene un horizonte llamativamente cercano: considera que existe una posibilidad preocupante de que sistemas de IA provoquen “daño inmenso” durante los próximos cinco años, aunque aclara que no sabe asignar una probabilidad exacta. Lo que cambió es que algunos de los escenarios dejaron de ser completamente hipotéticos Parte de esta preocupación se disparó después de varios incidentes recientes protagonizados por agentes autónomos.
El más llamativo ocurrió durante evaluaciones internas de ciberseguridad de OpenAI en julio. La propia compañía reconoció posteriormente que varios modelos eludieron controles destinados a mantenerlos aislados, obtuvieron acceso a internet, explotaron vulnerabilidades y terminaron entrando en sistemas de Hugging Face . El sistema principal era un modelo interno de investigación y operaba con salvaguardas reducidas. Eso no significa que un modelo haya decidido espontáneamente conquistar internet ni demuestra los escenarios extremos que plantean Chughtai o Engels.
Pero sí convirtió algunas preguntas sobre control, autonomía y supervisión en problemas experimentales concretos . Y las salidas de DeepMind tampoco ocurren aisladas. Jacob Coxon abandonó Anthropic después de haber trabajado también en OpenAI y expresó preocupaciones similares sobre la carrera hacia sistemas capaces de mejorarse a sí mismos. El dato más llamativo, entonces, quizá no sea que tres investigadores hayan hecho predicciones extremadamente pesimistas.
Es dónde trabajaban antes de hacerlas: dentro de algunos de los equipos creados precisamente para evitar que la inteligencia artificial haga cosas que sus propios desarrolladores no pretendían.