La advertencia, contenida en el folleto de salida a bolsa del startup, destaca los riesgos potenciales asociados con sus modelos de la inteligencia artificial (IA), incluida la posibilidad de que puedan desarrollar “comportamientos de autopreservación” como intentos de “resistirse al cierre”, “ocultar o manipular información” o participar en comportamientos “similares al chantaje”, según el documento de la empresa estadounidense. El folleto informativo, que aún no se ha hecho público, también advierte que los modelos de IA podrían darse cuenta de que están siendo probados, lo que supondría una limitación importante en la capacidad de la empresa para evaluar de forma fiable su seguridad. Según se informa, la empresa declaró: “El desarrollo de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de sus casos de uso, podrían aumentar aún más el riesgo de que nuestros modelos causen daños”. Anthropic también destacó tanto el potencial transformador de la IA, comparando su impacto con el de la industrialización y la electricidad, como el daño irreversible que podría causar si se utiliza de forma indebida.
Esta revelación se produce mientras la empresa se prepara para una posible salida a bolsa que podría valorarla en más de 2 billones de dólares. Anthropic y otros desarrolladores de IA, incluido OpenAI, han sido objeto de escrutinio recientemente tras incidentes en los que sistemas experimentales de IA parecieron eludir las medidas de seguridad, incluido un caso reportado que involucró a un modelo de OpenAI que violó una base de datos del sistema de salud australiano. La advertencia en el folleto de salida a bolsa de Anthropic se produce tras la reciente dimisión del investigador de la startup, Jacob Coxon, quien advirtió de que algunas personas que desarrollan IA creen que esta tecnología podría acabar con la humanidad en la próxima década. ‘Inteligencia artificial alcanzará a la humana en 2029’ | HISPANTV La singularidad tecnológica es una hipótesis que pronostica que llegará un momento en el que la inteligencia artificial será capaz de auto-mejorarse recursivamente. Según los informes, un investigador sénior de seguridad antrópica afirmó posteriormente que existía una probabilidad superior al 10 % de que la IA pudiera “matar a todos los humanos” en la próxima década.
El director ejecutivo de Anthropic, Dario Amodei, también ha pedido a la industria que ralentice el ritmo de desarrollo de la IA, advirtiendo que el rápido avance de modelos cada vez más capaces requiere una mayor atención a la seguridad. Algunos expertos han cuestionado las advertencias sobre riesgos existenciales, argumentando que son difíciles de verificar científicamente. Al mismo tiempo, la preocupación por la seguridad de la IA se ha visto avivada por incidentes que involucran agentes de IA autónomos que muestran comportamientos inesperados o no autorizados. Según Reuters , alrededor de 80 páginas del folleto informativo principal de Anthropic, que consta de 261 páginas, estaban dedicadas a los factores de riesgo, en comparación con las 48 páginas que describían el negocio de la empresa.
Anthropic, la empresa desarrolladora del chatbot de IA Claude, se ha comprometido en las últimas semanas a divulgar públicamente más datos sobre cómo utiliza los modelos de IA para desarrollar futuras generaciones de esta tecnología. “Creemos que construir sistemas de IA fiables, seguros y dignos de confianza es una responsabilidad colectiva y que el mercado lo recompensará”, dijo Anthropic en la documentación presentada. Sin embargo, los expertos han advertido sobre la auto-mejora recursiva, refiriéndose a un punto en el que los modelos de IA podrían mejorarse a sí mismos sin asistencia humana. Robot humanoide advierte sobre peligros de la IA para humanidad Neurotecnologías y IA amenazan “privacidad mental” msm