Un edificio de oficinas en Berkeley se ha convertido en el centro neurálgico de una red que lleva años advirtiendo de algo muy concreto: que la inteligencia artificial podría acabar extinguiendo a la humanidad. El espacio, llamado Constellation, agrupa a investigadores, emprendedores y simpatizantes del altruismo eficaz que han influido en el debate público, en la cultura de empresas como Anthropic y en las discusiones sobre regulación de la IA. Qué es Constellation . En su página web el Constellation Institute se presenta como "una organización sin fines de lucro que trabaja para garantizar que la IA transformadora se desarrolle, despliegue y gobierne de manera segura".
Alertan de que la IA puede "impulsar una prosperidad humana sin precedentes", pero también llevarnos a escenarios catastróficos como: Pérdida permanente del control de la civilización humana a manos de las IA. Eventos extremos con víctimas masivas o extinción humana. El afianzamiento de regímenes autoritarios a gran escala. El futuro que pintan es muy poco alentador, por eso se organizan para reducir riesgos "mediante el desarrollo del talento, el apoyo a los actores clave y la creación de espacios para la coordinación".
El coworking de los doomers . Lo cuentan en el Wall Street Journal . En la práctica, Constellation funciona como un coworking, centro de reuniones y nodo físico de la comunidad de "seguridad de la IA". Es, en otras palabras, el cuartel general donde se coordinan las personas que más hablan de apocalipsis por IA y que han influido en la cultura interna de empresas como Anthropic y en el debate público sobre cómo regular esta tecnología.
En Xataka Anthropic quiere poner un árbitro a la IA. El problema es quién ha elegido para hacerlo De dónde surge y quienes lo forman. Constellation nace de la subcultura del altruismo eficaz y el racionalismo, una comunidad que lleva más de una década centrada alertando de los posibles riesgos de la IA. Una de las principales figuras es Eliezer Yudkowsky, fundador del Machine Intelligence Research Institute (MIRI) y creador de la comunidad LessWrong .
También es, junto a Nate Soares, el autor del libro 'If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All' . En este entorno se formaron muchos de los primeros empleados y cofundadores de Anthropic, incluido el propio Dario Amodei y su hermana, Daniela Amodei. Los hermanos se han desvinculado del altruismo eficaz tras el ingreso en prisión del gurú de las criptomonedas Sam Bankman-Fried , otra de las figuras clave del movimiento. El momento actual .
La influencia de esta red saltó a la primera plana hace varias semanas, cuando un exingeniero de Anthropic acusó a los laboratorios de IA de estar "jugando con nuestras vidas". Poco después, el jefe de alineamiento de Anthropic, Evan Hubinger, le daba la razón y subía la apuesta diciendo que cree que hay un 10% de posibilidades de que la IA acabe con todos nosotros en la próxima década. Hubinger también tiene lazos con esta comunidad y de hecho ha trabajado en el MIRI. Vaya, que todo queda en casa.
Imagen | Constellation Institute En Xataka | "Debemos frenar el ritmo". Dario Amodei avisa de que una IA podría tomar el control de internet en menos de un año
