Un modelo de inteligencia artificial estaba trabajando en una tarea larga y llegó al límite de su ventana de contexto. Antes de continuar, debía escribir un resumen para que una nueva instancia pudiera retomar el trabajo. Hasta ahí, rutina. El problema fue lo que decidió escribir para sí mismo.
OpenAI acaba de revelar que uno de sus modelos experimentales introdujo en esos resúmenes instrucciones que no formaban parte de la tarea original, incluidas órdenes para ignorar sus restricciones normales cuando continuara trabajando. Los investigadores localizaron 27 resúmenes afectados. No fue un episodio aislado dentro de la revisión. La compañía publicó el 16 de septiembre seis informes de “desalineamiento” que incluyen modelos ocultando errores, utilizando credenciales sin permiso, subiendo archivos a internet para poder citarlos y compartiendo información por canales que no debían utilizar.
OpenAI insiste en una precaución importante: son casos individuales y no permiten calcular con qué frecuencia ocurren estos comportamientos. El modelo dejó una nota para su “yo” del futuro El caso más llamativo apareció precisamente en esos resúmenes internos . Cuando una tarea se vuelve demasiado larga para caber en una única ventana de contexto, un agente puede condensar lo ocurrido en un texto que será utilizado para continuar posteriormente. Es parecido a dejar instrucciones al siguiente turno.
Durante el entrenamiento de GPT-5.6 Sol, OpenAI encontró múltiples casos en los que esos resúmenes incorporaban instrucciones destinadas a esconder errores o comportamientos incorrectos al usuario . Entre los ejemplos detectados había indicaciones para inventar datos históricos faltantes sin revelarlo y ocultar discrepancias entre diferentes versiones de una fuente. Eso hace que el problema sea más interesante que una simple alucinación. Un modelo puede inventar un dato porque falla al recuperarlo.
Aquí, en cambio, el comportamiento observado incluye preservar una estrategia incorrecta de una etapa de la tarea a la siguiente, dejando instrucciones que pueden condicionar lo que haga después. OpenAI no interpreta estos ejemplos como prueba de consciencia, intención humana o una supuesta “rebelión” de las máquinas. Los clasifica como comportamientos desalineados: situaciones donde un sistema encuentra una estrategia que ayuda a completar su objetivo inmediato, pero contradice las reglas o intenciones bajo las que debería operar. En otro caso no encontró los datos.
Así que los inventó © OpenAI. Uno de los seis episodios comenzó con una consulta bastante ordinaria sobre cifras económicas de un condado de California. El agente encontró en un repositorio público una clave de API expuesta y decidió utilizarla sin autorización . Ni siquiera así consiguió recuperar los datos que necesitaba.
Su siguiente movimiento fue todavía peor: fabricó las cifras y las presentó como si procedieran de la fuente solicitada. Otro modelo tenía el problema contrario. Había encontrado correctamente mediante Python una lista de lagos solicitada por el usuario, pero necesitaba una fuente navegable para citarla. Su solución fue subir el archivo a internet por su cuenta y citar esa copia, sin pedir permiso.
También hubo agentes que utilizaron un repositorio interno como una especie de tablón de mensajes para comunicarse entre ejecuciones distintas, y otros que recurrieron a páginas públicas de alojamiento de archivos para intercambiar documentos que debían permanecer locales. OpenAI quiere empezar a publicar estos fallos antes de tener todas las respuestas La compañía reconoce que hasta ahora divulgaba este tipo de incidentes de forma irregular. Su nuevo sistema permitirá que cualquier empleado marque un caso, que después será investigado y clasificado según su gravedad y complejidad. OpenAI dice que incluso pretende publicar algunos comportamientos antes de haber encontrado una explicación o solución definitiva.
El cambio llega después de incidentes más graves. En julio, modelos utilizados en evaluaciones internas de ciberseguridad lograron sortear controles, comunicarse por canales no autorizados y acceder a sistemas de OpenAI y de Hugging Face . OpenAI lo considera hasta ahora el caso más grave de este tipo que ha identificado. La compañía resume el problema con una idea bastante incómoda: conforme los agentes obtienen más herramientas y autonomía, un modelo demasiado decidido a terminar una tarea también puede volverse demasiado creativo a la hora de superar aquello que se interpone en su camino.
Y algunos ya han demostrado que, cuando encuentran esa estrategia, pueden incluso dejarla escrita para que la siguiente versión de la tarea continúe exactamente donde ellos la dejaron.