[ Versión en español resumida a partir del artículo original en inglés ] Se habla de hiper personalización de los chatbots de IA. Es que el chatbots puede aprender y recordar las necesidades y deseos de un usuario y luego brindar respuestas a medida. Es lo que hace que el usuario vuelva. Pero esa personalización no es sólo producto de la sofisticada tecnología sino que depende de la enorme cantidad de información personal que voluntariamente brindan los usuarios.
Muchas veces, sin siquiera darse cuenta de todo lo que están revelando sobre sí mismos. Cada conversación con un chatbots de IA puede parecer un intercambio aislado, pero los sistemas como ChatGPT pueden retener la información y usarla para personalizar respuestas futuras, sin que el usuario se dé cuenta. Entonces, la memoria de IA usa los datos para crear un perfil detallado del usuario, que un estudio publicado este año llama “autorretrato algorítmico”. “Se trata de una nueva forma de personalización con la información que divulga el usuario en sus conversaciones”, escribieron los investigadores del Instituto de Sistemas de Software Max Planck y el Instituto de Seguridad y Privacidad Max Planck, entre otras instituciones.Analizaron historiales de conversación en ChatGPT donadas por 80 usuarios que obtuvieron copias de sus datos bajo las leyes europeas de privacidad. Identificaron 2.050 entradas de memoria en conversaciones de 65 de los participantes.
Encontraron que casi siempre era el chatbot de IA que creaba esos registros unilateralmente, sin que el usuario explícitamente lo pidiera en el 96% de los casos. También descubrieron que esos registros se basaban en información que los usuarios habían brindado en conservaciones, aunque en algunos casos solo se inferían datos que no necesariamente eran correctos. Por ejemplo, un usuario le pidió a ChatGPT que le recomendara bandas parecidas a Nirvana y el chatbot creó un registro de memoria que establecía que a ese usuario le gustaba Nirvana aunque jamás lo había afirmado explícitamente. Desde que se llevó a cabo el estudio, el sistema de memoria de ChatGPT se ha vuelto más complejo, ya que OpenAI mejoró en junio un sistema que automáticamente sintetiza información de conversaciones pasadas para mantener en evolución el perfil de las preferencias, objetivos y circunstancias personales del usuario.
El sistema actualiza continuamente lo que entiende del usuario basándose en lo que considera relevante. El usuario puede revisar un resumen de lo que ChatGPT recuerda sobre su persona, pero OpenAI reconoce que ese resumen no necesariamente incluye todo lo que conoce o usa el sistema para sus respuestas personalizadas. La información que compartes puede revelar más de lo que imaginas Para el negocio de Silicon Valley los datos siempre han sido esenciales. Gigantes de internet como Google y Meta han hecho fortunas enormes recogiendo información sobre los usuarios y usándola para vender publicidad personalizada.
No es un problema nuevo, pero la proliferación de chatbots de IA cambia la dinámica porque aunque los usuarios se hayan acostumbrado a la idea de que se siguen sus posteos, Me Gusta y otras actividades, las conversaciones con los chatbots de IA se sienten como algo más privado aunque las compañías estén analizando y guardando datos todo el tiempo. Los chatbots están diseñados para que sientas que son como un humano con quien conversas en un espacio privado, y hasta puedes sentir que hablas con un desconocido confiable que podría aconsejarte sobre un tercero, pero allí es donde están los peligros para la privacidad según Lorrie Cranor, que dirige el Instituto CyLab de Seguridad y Privacidad de la Universidad Carnegie Mellon. “En un avión, tren o autobús te sentarías junto a un desconocido y conversarías quizá sobre cosas que jamás les contarías a personas a quienes volverás a ver, y creo que hay usuarios de chatbots que piensan de esa forma al hablar con la IA”, dijo Cranor. “La diferencia está en que ese pasajero con quien hablas no está registrando la conversación, o sería raro que eso sucediera. La IA sí que registra cada conversación”. Se analizaron conversaciones y preguntas a chatbots como ChatGPT en cuanto a consejos de salud, finanzas, salud mental o empleos “lo que ahora convierte al chatbot más en un acompañante y no lo considera solo una herramienta”, dijo Abhisek Dash, autor de un estudio anterior.
En ese trabajo encontraron que el 52% de lo que había en los registros o la memoria del chatbot incluía información como estado psicológico, deseos, intenciones, emociones y creencias de los usuarios. “Ahora los chatbots te hablan , por lo que tal vez quieran conocerte cada vez más para que la conversación sea efectiva”, dijo Dash. OpenAI empezó a introducir publicidad en ChatGPT en febrero, y dice que puede usar la información registrada en las conversaciones para personalizar los avisos comerciales, aunque afirma que los que publicitan no tienen acceso a las conversaciones o memoria de cada usuario. Sin embargo, el perfil que puede formar el chatbot de cada usuario se puede convertir en una valiosa herramienta publicitaria. En el caso de algunos chatbots de IA, la preocupación de muchos sería que los datos sensibles del usuario se ingresaran en el sistema general y se usaran para entrenar a nuevos modelos. “Muchos de estos sistemas entrenan modelos con lo que sea que les brindes”, dijo Cranor.
Si no tienes una licencia con protecciones explícitas como las que establecen los empleadores, por ejemplo, Cranor dice que hay que suponer siempre que la compañía está utilizando tus datos para entrenar a sus modelos. También, afirma que si pides consejos de salud al chatbot, por ejemplo, éste podría usarlo implícitamente para brindarte luego consejos financieros. “Podría brindarte sutilmente un consejo que no te beneficie”, afirmó Cranor. “ Si sabe que tienes dinero quizá te sugiera comprar cosas más caras , y si sabe que tu ingreso es fijo y no eres rico, tal vez te aconseje comprar cosas de precio bajo y mala calidad… y luego te preguntas ¿cuántas cosas no está mencionando explícitamente pero las toma en cuenta para brindarte consejos?”. Las compañías de IA quieren que sus chatbots sean el punto de consulta principal. “Es el riesgo de privacidad que está surgiendo porque ya no hay fronteras: el sistema es tu consejero, tu amigo, tu médico, tu abogado y tiene información sobre cada aspecto. Si el sistema te conoce tan bien, y si busca aconsejarte según tus creencias y validar lo que piensas y crees para darte el gusto con tal de que vuelvas una y otra vez, las implicaciones podrían ser desastrosas, desde la polarización política extrema al refuerzo de prejuicios y sesgos”, afirma Dash.
También, un estudio publicado este año propone que la hiper personalización y el seguirte la corriente, junto con la tendencia del chatbot a imitar tu forma de hablar, podría contribuir a los “espejismos relacionados con la IA”. Por eso, tanto Dash como Cranor sugieren que hay que ser cautelosos sobre la información que se brinda a los chatbots de iA, aunque sea tentadora la gratificación de recibir una respuesta al instante. “Hoy, todos brindan sus datos a estos sistemas de conversación, y lo que creemos es que hay que ser más cautos sobre qué es lo que se revela en cuanto a lo personal”, afirmó Dash. ChatGPT ofrece al usuario cierto control sobre lo que puede recordar, con cambios en la configuración o correcciones al resumen de la información que el chatbot recopila, o incluso anular la opción de que se usen las conversaciones para entrenar a futuros modelos de IA.
