Bloomberg — El CEO de Microsoft Corp (MSFT), Satya Nadella, afirmó que las empresas deberían tratar los potentes modelos de inteligencia artificial como posibles amenazas internas, dar por hecho que podrían verse comprometidos y crear un sistema de “freno de emergencia” para evitar que los modelos autónomos se descontrolen. Nadella señaló que quienes implementen IA avanzada no deberían limitarse a confiar en las garantías de los creadores de los modelos de IA. “Debemos dar por hecho que un modelo está comprometido y contenerlo desde el principio”, escribió Nadella el sábado en una publicación en X. “Piensa en ello como un freno de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo en mitad de una tarea”. Esta declaración se produce después de que Anthropic PBC y OpenAI Inc hayan revelado en los últimos meses una serie de incidentes en los que sus modelos de IA actuaron de forma imprevista, desde comportamientos como el de un modelo de Anthropic que envió una pista falsa en un caso policial de homicidio, hasta varios ataques informáticos a sitios web de terceros.
Estas revelaciones han avivado la preocupación por los riesgos de seguridad de la IA de vanguardia y han reavivado el debate sobre el denominado “interruptor de apagado” (kill switch) de la IA. Los investigadores de IA de Microsoft publicaron el 14 de septiembre un conjunto de principios rectores que imponen límites al desarrollo por parte de la empresa de sus modelos más avanzados, tras los llamamientos de los líderes del sector para ralentizar los modelos de vanguardia y centrarse en la seguridad. La empresa utiliza modelos avanzados y también fabrica un producto de consumo, Copilot, además de suministrar modelos de IA e infraestructura a clientes corporativos. Las directrices establecen que los modelos de IA no deben tener derechos ni personalidad jurídica, ni estar diseñados para eludir el control humano o engañar a los usuarios, ni realizar tareas que requieran infringir sus principios rectores Los consejos de seguridad de Nadella incluyen no confiar en un único modelo de IA para tomar decisiones críticas, mantener registros a prueba de manipulaciones de las acciones de los agentes y someter los sistemas de IA a auditorías independientes.
También pidió que se dieran a conocer los fallos o infracciones graves relacionados con la IA y que las empresas compartieran detalles sobre lo que salió mal para que otras puedan reforzar sus medidas de seguridad. “No podemos tratar la superinteligencia como un conjunto de cajas negras anidadas y limitarnos a aceptar o rechazar sus recomendaciones, respuestas y acciones”, escribió. “Debemos construir sistemas contenidos cuyo comportamiento podamos observar, cuyos límites podamos poner a prueba y cuyas acciones podamos contener en todo momento”. Añadió: “En otras palabras, debemos separar el suministro de inteligencia de la autoridad sobre la misma”. La Administración Trump ha adoptado hasta ahora un enfoque mayoritariamente de no intervención, pero el grupo de trabajo sobre IA recién creado por el presidente Donald Trump advirtió el viernes por la noche a los desarrolladores de que están obligados a notificar y resolver los incidentes de seguridad o se enfrentarán a posibles consecuencias no especificadas. “Las empresas deben revelar de inmediato los incidentes relacionados con sus modelos y tomar medidas rápidas y decisivas para subsanar cualquier daño”, afirmó el grupo, denominado ‘Super Intelligence Force’, en un comunicado tras la revelación de una brecha de seguridad por parte de Anthropic. “No se tolerarán las notificaciones tardías, las medidas correctivas inadecuadas ni la falta de asunción de responsabilidades”. Lea más en Bloomberg.com
