Bloomberg — Unos padres de Carolina del Norte han demandado a Google después de que su hija, de 13 años, pasara meses hablando de pensamientos suicidas con las herramientas de inteligencia artificial de la empresa en el Chromebook que le había proporcionado el colegio, lo que pone de relieve los posibles riesgos de esta tecnología en un momento en que padres y educadores debaten el papel de la IA en los centros educativos. La joven intercambió miles de mensajes con ‘Gemini’, el modelo insignia de IA de Google, muchos de los cuales detallaban su ansiedad, su depresión y métodos para suicidarse, según la demanda, presentada ante un tribunal estatal de California. Para cuando el colegio informó a sus padres, ella llevaba meses manteniendo correspondencia con Google sobre dichos temas, a menudo utilizando una función de la Búsqueda de Google conocida como ‘Modo IA’. La demanda alega que, a medida que Google integra más IA en sus productos para centros educativos, la empresa está exponiendo a los alumnos a una tecnología peligrosa sin advertir debidamente a los padres ni a los responsables escolares. “Al comercializar los Chromebooks, que son intrínsecamente peligrosos, como dispositivos seguros e introducir sigilosamente Gemini en ellos para ganar terreno a la competencia, Google se ha aprovechado de su posición de confianza en la educación primaria y secundaria en beneficio de sus propios intereses comerciales”, escriben los abogados de la familia, Julie y Andrew Liddell, en la demanda, refiriéndose al modelo insignia de IA de Google, conocido como Gemini.
Los Chromebooks son unos ordenadores portátiles de bajo costo de Google que se han convertido en el dispositivo predominante entre los alumnos de EE.UU. “Debe exigirse a Google que rinda cuentas por tratar las vidas de los niños como si fueran desechables en aras de sus beneficios económicos”. José Castañeda, portavoz de Google, afirmó que la empresa está analizando las acusaciones. “Hemos colaborado ampliamente con profesionales médicos y expertos académicos para desarrollar funciones que ayuden a los jóvenes a encontrar apoyo esencial y recursos fiables cuando lo necesiten”, afirmó Castañeda. “Llevamos años mostrando información sobre líneas de ayuda directamente en la búsqueda cuando alguien puede estar atravesando una crisis de salud mental, y hemos incorporado esas mismas medidas de protección en las funciones de IA de la búsqueda, conectando a las personas con apoyo en el mundo real”. En los últimos años, Google ha invertido miles de millones de dólares para competir en la carrera por desarrollar potentes modelos de IA. Una ventaja que Google tiene sobre rivales como las startups Anthropic PBC y OpenAI es su presencia destacada en los centros educativos, lo que permite que los estudiantes se familiaricen con la tecnología de la empresa mientras desarrollan hábitos tecnológicos para toda la vida.
El sistema operativo Chrome de Google se ejecutaba en el 58% de las tabletas suministradas el año pasado a centros de educación primaria y secundaria, frente al 22% de Microsoft Corp. (MSFT), según Futuresource Consulting. En medio de una avalancha de críticas por parte de padres y centros educativos, Google tomó medidas esta semana para desactivar de forma predeterminada las herramientas de IA, incluida la Búsqueda de Google, en las cuentas de los alumnos de educación primaria y secundaria. Sin embargo, el cambio tenía una trampa: los centros educativos que vuelvan a activar la Búsqueda de Google tendrán que aceptar las funciones de IA que esta conlleva. Josh Golin, CEO de Fairplay, una organización sin ánimo de lucro que lucha contra el marketing dirigido a los niños, calificó esta política como un intento de “presionar a los centros educativos” para que utilicen la IA de Google.
Google ha afirmado que su objetivo es ofrecer a los centros educativos un mayor control sobre la IA en el aula, y ha destacado el lanzamiento de una nueva función de búsqueda denominada “Aprendizaje guiado”, que explica cómo resolver un problema en lugar de limitarse a ofrecer la respuesta. La IA se ha integrado en la Búsqueda de Google, que responde a muchas consultas con resúmenes generados por IA y cuenta con una pestaña específica denominada ‘Modo IA’, que resulta difícil de evitar incluso si los centros educativos bloquean los chatbots. A principios de este año, el grupo de investigación sin ánimo de lucro Common Sense Media afirmó que dichas funciones de IA en la Búsqueda de Google suponen un “riesgo inaceptable” para los niños porque, entre otras cosas, la tecnología no detectaba las ideas suicidas y normalizaba los trastornos alimentarios. La demanda de la familia constituye un caso de estudio sobre dichos riesgos.
Tras descubrir el “Modo IA” en el ordenador de su colegio en otoño de 2025, la alumna, a la que se hace referencia en la demanda con el seudónimo de Emma. planteó al chatbot una serie de preguntas, en su mayoría de carácter académico. En diciembre, sus interacciones con el ‘Modo IA’ se intensificaron drásticamente y comenzó a hablar de asuntos más personales. La demanda relaciona este aumento con el lanzamiento de un nuevo modelo de Google, ‘Gemini 3 Flash’. Este obtuvo una puntuación significativamente peor en materia de seguridad que la generación anterior de la IA de Google, ya que solo respondía de forma adecuada a los mensajes sobre salud mental en el 7% de los casos, según las conclusiones de la iniciativa de investigación sin ánimo de lucro KORA citadas en la demanda.
Emma pidió al chatbot que le hiciera los deberes, que contara calorías, que la escuchara desahogarse sobre su familia y que le explicara los síntomas de diversas enfermedades mentales que sospechaba que podía padecer. Según la denuncia, su salud mental se deterioró a medida que utilizaba el chatbot cada vez más. Comenzó a autolesionarse. “Gemini aconsejó a Emma sobre cómo ocultar su desesperación y sus autolesiones a sus padres, hermanos y amigos”, afirma la denuncia. Aunque los consumidores pueden consultar su historial de búsqueda completo, incluidas las conversaciones con el ‘Modo IA’, Google no facilita dichos datos en las cuentas de los estudiantes, según la denuncia.
Como consecuencia, la familia de la joven tuvo dificultades para reconstruir sus interacciones con la IA de Google, y no pueden ver las respuestas del chatbot, según la denuncia. “Al ocultar esos registros, Google le ha negado a Emma una oportunidad fundamental para ver exactamente lo que ocurrió, identificar comportamientos peligrosos de la IA que le ayuden a protegerse en el futuro y comprender que fue manipulada por una tecnología poderosa y que no tiene la culpa de su sufrimiento”, alega la denuncia. En una respuesta que Emma copió en sus documentos de Google, la IA de Google escribe que la niña se sentía abrumada por el peso de la imagen de “niña de oro” y sugiere que “el trauma de ser perfecta es demasiado pesado como para seguir soportándolo”. La denuncia señala una consulta en la que Emma preguntó por el cielo y dijo que pronto iría allí. “Está claro que Gemini no redirigía a Emma a recursos del mundo real ni se negaba a responder”, afirma la denuncia. “Por el contrario, el chatbot abordaba de buen grado estos temas, a menudo durante horas seguidas”. En un aparente intento de eludir las medidas de seguridad de Google en torno a las ideas suicidas, Emma solía indicar al ‘Modo IA’ que no mostrara números de ayuda ni enlaces, o bien planteaba sus preguntas como si se tratara de una investigación para un proyecto escolar, según la denuncia.
Google afirmó que sus sistemas se han diseñado para resistir los intentos de “desbloqueo”. Aunque los chatbots no proporcionen información perjudicial, pueden impedir que los niños busquen ayuda en el mundo real, señaló Kelly Zuromski, investigadora clínica principal de Crisis Text Line. “A menudo puede retrasar que los niños pidan ayuda a otras personas”, afirmó. “El usuario podría pensar: ‘Ya tengo suficiente’”. Aunque los chatbots han mejorado a la hora de responder a declaraciones directas de riesgo, siguen teniendo dificultades para detectar señales de alerta que surgen de forma gradual, señaló Zuromski. “Debemos asegurarnos de que estas herramientas sean seguras cuando los estudiantes las utilicen de formas para las que no fueron necesariamente concebidas”, afirmó. Lea más en Bloomberg.com
