Los agentes de IA pueden causar pérdidas millonarias, pero ¿quién responde por sus errores?

Los agentes de IA pueden causar pérdidas millonarias, pero ¿quién responde por sus errores?

Bloomberg — Las empresas están otorgando mayor autonomía a los sistemas de inteligencia artificial para impulsar la productividad y la eficiencia. Sin embargo, a medida que los bots asumen más responsabilidades, los ejecutivos, gerentes y empleados siguen sin tener claro quién debe rendir cuentas cuando algo sale mal. Un nuevo informe publicado el martes por la Escuela Wharton de la Universidad de Pensilvania reveló poca unanimidad entre los directivos. ¿Quién debe asumir la culpa por los errores de la IA? Al preguntarles quién debería ser responsable cuando un bot comete un error grave, las opiniones se dividieron casi por igual entre el empleado que implementa el agente de IA, su superior y el equipo de gestión de riesgos de la empresa, con aproximadamente una cuarta parte optando por cada uno.

Alrededor del 10% culpó al proveedor, mientras que un porcentaje similar afirmó no estar seguro de quién debería ser el responsable. La cuestión de la responsabilidad se vuelve aún más acuciante a medida que empresas como OpenAI, Google (de Alphabet Inc. (GOOGL)) y Meta Platforms Inc. (META) ponen agentes de IA cada vez más potentes al alcance de sus empleados. Estos bots cuentan con identidades corporativas propias y pueden trabajar de forma independiente para alcanzar objetivos, en algunos casos durante varios días. Si bien la preocupación por los agentes de IA descontrolados ha acaparado los titulares en los últimos meses, el riesgo más inmediato para las empresas puede ser mucho más común y cotidiano.

Un pequeño error en las indicaciones o unas instrucciones poco claras pueden convertirse rápidamente en una crisis mayor cuando los agentes tienen acceso a sistemas en tiempo real, como cuentas de correo electrónico o bases de datos de clientes, afirmó Leeron Walter, vicepresidente de Teramind, empresa de software de monitorización de empleados. ¿Cómo un error de IA puede convertirse en una crisis empresarial? Las empresas ya se enfrentan a este tipo de errores. Walter mencionó el caso de una cadena minorista estadounidense donde un empleado creó un sistema de IA para automatizar los correos electrónicos a los clientes. Un error en la configuración provocó que el sistema enviara notificaciones incorrectas de reembolso y cancelación a más de 18.000 clientes en menos de seis horas, lo que generó miles de consultas al servicio de atención al cliente.

Walter afirmó que la demanda de sistemas de supervisión de empleados ha aumentado tras errores tan embarazosos como estos. En otra empresa estadounidense de electrónica de consumo, Walter explicó que un empleado de marketing utilizó inteligencia artificial para generar y publicar automáticamente los precios de los productos. Un error en la notificación provocó que un dispositivo estrella apareciera con un 85% de descuento durante tres horas. Se realizaron más de 700 pedidos antes de que se detectara el error, y la consiguiente crisis de atención al cliente tardó semanas en resolverse.

Incidentes como estos, que pueden ocasionar grandes pérdidas y daños a la reputación a largo plazo, plantean una pregunta incómoda para los trabajadores y sus gerentes: si se anima a los empleadores a experimentar con la IA, ¿quién asume la culpa cuando algo sale mal? “Las organizaciones están aprendiendo en tiempo real”, afirmó Jeremy Korst, socio de la consultora GBK Collective y coautor del estudio de Wharton. “Cuando le hago esta pregunta a un alto ejecutivo, la respuesta más frecuente que recibo es que aún no lo habían pensado”. Lea más en Bloomberg.com

¿Te gustó esta nota? Compártela: