El A/B testing es una práctica habitual en cualquier producto digital. Consiste en dividir a los usuarios en dos grupos para comparar una versión nueva frente a la anterior y medir su impacto. Es lo que hizo en TikTok cuando modificó su algoritmo con el objetivo de reducir el contenido dañino que se mostraba. Uno de los usuarios a los que no activaron esta salvaguarda se acabó suicidando.
Se llamaba Chase Nasca y tenía 16 años. El test . Lo cuentan en Bloomberg . TikTok mejoró su algoritmo a principios de 2022 y desplegó esta versión para la gran mayoría de sus usuarios.
Este cambio tenía como objetivo principal reducir los bucles de contenido dañino, detectando patrones repetitivos y diversificaba un poco más el feed. El algoritmo anterior que no tenía este cambio siguió activo para el grupo de control, que era aproximadamente el 10% de todos los usuarios estadounidenses, unos 15 millones de personas en total. El caso de Chase Nasca . Su cuenta había sido una de las elegidas de forma aleatoria para formar parte de ese grupo de control, por lo que las nuevas medidas de seguridad no estaban activadas.
El resultado fue que Chase Nasca fue bombardeado con vídeos sobre suicidio, autolesiones y depresión. Según un documento confidencial, el cual se ha conocido en el contexto de una demanda judicial, en las dos semanas previas a su muerte, TikTok recomendó a Chase 7.563 vídeos, de los cuales al menos el 73% trataba sobre sufrimiento emocional, soledad o depresión. Por otro lado, casi el 10% de esos vídeos incumplía las normas sobre autolesiones y suicidio de la plataforma. En las horas previas a su muerte marcó como favoritos varios vídeos sobre suicidio.
Por diseño. "Las estrategias de TikTok para prevenir las burbujas de filtros no tuvieron efecto en este usuario por diseño". Es una de las afirmaciones que recoge el documento filtrado, el cual ofrece un análisis exhaustivo sobre la cuenta de Chase y todo el contenido que se le recomendó. Tal y como señalan en Bloomberg, que haya sido "por diseño" (es decir, intencionado) está dando la razón a quienes acusan a las plataformas de haber diseñado sus productos deliberadamente para generar adicción en los jóvenes. TikTok ya ha sido juzgada en EEUU y está en el punto de mira de la UE por este tema.
En Xataka Los adolescentes ya no fuman, beben, se drogan o tienen mucho sexo entre ellos: ahora simplemente miran el móvil E l documento . TikTok analizó de forma exhaustiva el caso de Chase Nasca, pero no fue de motu propio, sino después de que Bloomberg Businessweek contactara con ellos en marzo de 2023 porque iban a escribir un artículo sobre el suicidio de este adolescente. El documento concluye que Chase buscaba contenido sobre deportes y comedia, pero también había buscado canciones sobre sentirse solo. El documento admite que esas búsquedas activaron el algoritmo e hicieron que su cuenta quedara "atrapada en una burbuja de filtros donde se le recomendaba repetidamente contenido relacionado con el suicidio, la autolesión y temas depresivos, especialmente en los días previos a su suicidio".
La respuesta de TikTok antes y ahora. En marzo de 2023 se produjo la comparecencia del CEO de la compañía ante el Congreso de EEUU . Una de las preguntas que se enviaron para que TikTok respondiera por escrito era, precisamente, si TikTok era conocedora de casos de suicidio tras ver "vídeos tristes, deprimentes o que incitan al suicidio". La respuesta de la empresa fue: "TikTok no cree que el uso de la plataforma haya provocado que los usuarios se suiciden".
En este momento, TikTok ya había realizado su investigación sobre el caso de Chase Nasca. Hemos contactado con TikTok para conocer su postura actual acerca de este caso y nos han hecho llegar el siguiente comunicado: “Lamentamos profundamente cualquier pérdida trágica que haya afectado a una familia. La seguridad y el bienestar de nuestros usuarios, especialmente de los adolescentes, sigue siendo nuestra prioridad. Para ayudar a proteger a nuestra comunidad, continuamos reforzando nuestras inversiones en seguridad a través de sistemas de detección robustos y equipos especializados, que actúan de forma proactiva para retirar los contenidos que infringen nuestras Normas de la Comunidad”.
Imagen | Tech Insider en Unsplash En Xataka | Hay personas culpando a ChatGPT de provocar delirios y suicidios: qué está pasando realmente con la IA y la salud mental