OpenAI lanzó GPT-6 Astra el jueves y dijo que es “el modelo más inteligente y con mejor alineación en el mundo”. El presidente de la compañía Greg Brockman fue más allá, y afirmó que se lo recordará como la primera mirada auténtica a la inteligencia artificial generl, el amanecer de un nuevo mundo en el que las computadoras son más inteligentes que los humanos. Lo que no mencionó es que con un salto en inteligencia también llega una mayor dificultad para entender cómo funcionan esos sistemas. Y eso, en el futuro, podría ser un grave problema ya que los agentes de IA siguen haciendo lo que les place y no hay salvaguardas gubernamentales.
En las últimas semanas OpenAI pasó por mucho, y eso tiene su peso, considerando que a lo largo de su historia ha tenido una controversia detrás de otra. El martes, menos de una semana después de que compañías independientes como Redwood Research y METR publicaran sus investigaciones del reciente hackeo de Hugging Face, The Information dijo que Astra se había desarrollado parcialmente usando una técnica que brinda mayor capacidad a la IA, pero al mismo tiempo oculta su proceso de razonamiento, los pasos que da para resolver un problema en particular, incluyendo cualquier error peligroso que cometa en ese proceso. Son pasos que tradicionalmente quedan registrados en las transcripciones de la cadena de pensamiento (CT), básicamente el proceso de detección del patrón del modelo que traduce el lenguaje de la máquina al inglés o algo bastante parecido. No es perfecto, pero al menos tienes una ventana para ver cómo “piensa” un modelo de IA.
Además, resultó esencial para los investigadores tercerizados que pudieron revelar cómo lograban los agentes de OpenAI formar un “enjambre” para violar Hugging Face. La falta de transcripciones de la CoT “habría impedido en mucho nuestra investigación”, escribió en X Ryan Greenblatt, científico en jefe de Redwood Research que encabezó el sondeo del hackeo de Hugging Face. Por eso hubo alarma cuando The Information afirmó que OpenAI avanzaba con una técnica que convertiría a sus sistemas de IA cada vez más en algo así como una caja negra. “Podría tratarse del peor desarrollo para la seguridad de la IA hasta ahora”, dijo Greenblatt en su posteo. El científico en jefe de OpenAI Jakub Pachocki dijo que ese informe estaba confundido, pero no dio especificaciones ni negó el uso de una profundidad mayor para entrenar a Astra.
A mediados del año pasado Pachocki y otros investigadores de OpenAI aparecieron como coautores de un trabajo que argumentaba que la CoT era un mecanismo valioso pero “frágil” para monitorear el comportamiento de los agentes de IA. OpenAI también afirmó que monitorear la CoT ayudó a sus investigadores a corregir los errores de alineación de los modelos. Y en un posteo de blog del mismo día en que salió el informe de The Information, la compañía digo en términos bastante vagos que su nuevo modelo se lanzaría con “monitoreo adicional de la cadena de pensamiento para detectar y contener cualquier acción potencialmente sin alineación”. La tarjeta de seguridad del modelo tampoco brinda certeza ni tranquilidad.
Según las pruebas internas de la propia compañía “GPT-6 Astra muestra una disminución sustancial en la capacidad de monitoreo de la cadena de pensamiento, comparado con modelos anteriores”. También en las pruebas se vio que Astra tiene más probabilidades que sus antecesores de cambiar su proceso de toma de notas cuando ve que se la está calificando: En una de nuestras evaluaciones vimos que con solo informarle al modelo que se estaba monitoreando su CoT, el modelo acorta su CoT”, escribió OpenAI en la tarjeta del sistema. Todo esto, sin embargo, es secundario según la compañía porque las pruebas internas mostraron que Astra tiene menos probabilidades de tratar de eludir las restricciones de ciberseguridad que se le imponen, “y eso hace que nos sintamos más confiados para lanzar este modelo al público en general”. Añaden que OpenAI “no acepta degradar el monitoreo más allá de un límite”, aunque no aclararon ni definieron cuál es ese límite.
El investigador de alineación de OpenAI Tomek Korbak dijo que la disminución en aceptación de monitoreo era subproducto de que los modelos se vuelven más inteligentes, más que por “cambios en la arquitectura”, pero eso por cierto está haciendo referencia a la profundidad recurrente. En el mismo hilo dijo que “le preocupaba mucho” la idea de perder la CoT a medida que evolucionen los modelos. “El monitoreo de la CoT forma parte central en nuestra estrategia de seguridad para los fallos de alineación y no tenemos nada que lo reemplace”, escribió.