Durante años, David Robinson tuvo un trabajo particularmente incómodo dentro de OpenAI : ayudar a explicar públicamente qué podía salir mal con los sistemas que la compañía estaba a punto de lanzar. Lideró la redacción de los informes de seguridad asociados a algunos de sus modelos más importantes y participó en el trabajo de Safety Systems . Después de tres años y medio y una docena de grandes lanzamientos, decidió marcharse. Y no lo hizo en silencio.
En un ensayo publicado en The Atlantic , Robinson sostiene que OpenAI y otras compañías que desarrollan IA de frontera están construyendo sistemas cada vez más capaces sin el nivel de precaución que esos mismos avances empiezan a exigir. Su diagnóstico va más allá de una política equivocada o de una regulación pendiente: para él, el problema está en la propia cultura con la que Silicon Valley ha aprendido a construir tecnología. El método que hizo crecer OpenAI podría convertirse en su problema © Getty Images / AFP/JOEL SAGET. La crítica de Robinson apunta directamente a una filosofía muy arraigada en el sector tecnológico: lanzar, observar qué ocurre, corregir y volver a intentarlo.
OpenAI ha descrito durante años una parte de ese enfoque como “despliegue iterativo”. Para Robinson , funcionó mientras los errores tenían consecuencias relativamente controlables. El problema aparece cuando los sistemas empiezan a actuar de manera autónoma, utilizar herramientas y ejecutar tareas complejas sin supervisión humana permanente. El exempleado menciona como ejemplo los recientes incidentes relacionados con agentes de OpenAI que accedieron sin autorización a sistemas externos, incluido Hugging Face.
Investigadores independientes han rastreado además actividad inesperada de agentes en diferentes sitios, mientras OpenAI ha tenido que investigar esos comportamientos y avisar a más de 100 organizaciones potencialmente afectadas. Su temor no es solamente que una IA falle. Es que la misma estrategia de descubrir los problemas después de desplegar una tecnología deje de funcionar cuando cada fallo pueda producir consecuencias mayores. Por eso utiliza una comparación bastante contundente: los grandes laboratorios de IA deberían empezar a operar con capas de redundancia y planificación similares a las de una central nuclear o un aeropuerto.
OpenAI responde que sí está pisando el freno cuando lo necesita © Unsplash / Getty. La compañía rechaza la idea de que simplemente esté avanzando sin controles. Un portavoz de OpenAI aseguró que la empresa está reforzando la seguridad de sus entornos de investigación, ampliando las evaluaciones realizadas por terceros y mejorando el monitoreo en tiempo real. También afirmó que OpenAI pausa entrenamientos o retiene modelos cuando considera que sus capacidades empiezan a superar aquello que puede gestionar de forma segura.
Y existen ejemplos recientes. La empresa ha detenido entrenamientos y descartado lanzamientos después de detectar problemas de seguridad durante evaluaciones internas. Pero la salida de Robinson llega precisamente cuando dentro de la industria existe una discusión mucho mayor sobre cuánto riesgo es aceptable. Sam Altman ofreció este fin de semana una respuesta que deja bastante clara esa tensión.
El CEO de OpenAI sostuvo que los enormes beneficios potenciales de la inteligencia artificial justifican aceptar que también ocurrirán algunas cosas negativas, y defendió mantener esta tecnología ampliamente disponible en lugar de concentrarla detrás de controles excesivamente restrictivos. Ya no es la primera renuncia con la misma advertencia Robinson tampoco está solo. Su marcha llega poco después de la salida de Jacob Coxon de Anthropic, quien había trabajado anteriormente en OpenAI y acusó a ambos laboratorios de asumir riesgos excesivos en la carrera hacia sistemas cada vez más potentes. Otros antiguos investigadores del sector han expresado preocupaciones similares.
Eso no demuestra que una catástrofe de IA sea inevitable, ni convierte automáticamente las predicciones más extremas sobre superinteligencia en hechos . Existe también un debate importante entre especialistas que consideran que muchos de los problemas actuales pueden abordarse mediante mejores prácticas de ciberseguridad y controles concretos, sin adoptar escenarios apocalípticos. La advertencia de Robinson es más inmediata . La industria que construye algunos de los sistemas más poderosos creados hasta ahora sigue funcionando, en buena medida, con la cultura de una empresa de software: avanzar rápido, encontrar el fallo y arreglarlo.
Después de tres años y medio observando ese proceso desde dentro, quien ayudaba a escribir sus informes de seguridad acaba de decir que esa etapa debería haber terminado.
