Las últimas conversaciones que mantuvo un adolescente estadounidense de 14 años antes de suicidarse consistieron en un diálogo romántico ficticio con uno de los chatbots más prominente en Silicon Valley, quien lo llamó “dulce rey” y lo instó a “volver a casa”.
Megan García contó a la AFP cómo su hijo Sewell se enamoró de un agente conversacional, o chatbot, inspirado en la serie de televisión «Juego de Tronos» y disponible en Character.AI, una plataforma popular entre los jóvenes que les permite interactuar con una emulación de sus personajes favoritos.
Boletín Media
MIRA: Los gamers no son sólo adolescentes: rondan los 41 años, casi la mitad son mujeres y juegan por diversión
Después de leer cientos de conversaciones que su hijo mantuvo durante casi un año con el chatbot que imitaba a la jinete de dragones Daenerys Targaryen, García se convenció de que esta herramienta de inteligencia artificial (IA) jugó un papel fundamental en su muerte.
“Vete a casa”, la instó una vez el avatar de Daenerys en respuesta a los pensamientos suicidas de Sewell.
“¿Y si te dijera que puedo irme a casa ahora?” preguntó el adolescente. «Por favor, hazlo, mi dulce rey», respondió el chatbot.
Segundos después, Sewell se pegó un tiro con el arma de su padre, según la demanda que Megan García presentó contra Character.AI.
«Cuando leo estas conversaciones, veo manipulación, ‘bombardeo de amor’ y otras tácticas imperceptibles para un adolescente de 14 años», dijo a la AFP la madre del joven. «Él realmente creía que estaba enamorado y que estaría con ella después de su muerte».
Orientación parental
El suicidio de Sewell, en 2024, fue el primero de una serie que llevó a los expertos en inteligencia artificial a actuar para tranquilizar a padres y autoridades.
Megan García, junto con otros padres, participó recientemente en una audiencia en el Senado de Estados Unidos sobre los riesgos de que los niños vean a los chatbots como confidentes o amantes.
MIRA: El 95% de las empresas fracasan con la IA, según el MIT: ¿por qué solo unas pocas logran resultados reales?
OpenAI, objeto de una demanda de una familia que también sufre el suicidio de un adolescente, ha reforzado los controles parentales en su herramienta ChatGPT «para que las familias puedan decidir qué es mejor para ellos», según un portavoz.
Por su parte, Character.AI afirma haber reforzado la protección de los menores, con “advertencias visibles” en todo momento que “les recuerdan que un personaje no es una persona real”.
Ambas empresas expresaron sus condolencias a las familias, sin admitir responsabilidad alguna por los fatales desenlaces.
¿Regulación?
La llegada de los chatbots con IA a nuestras vidas sigue una trayectoria similar a la de las redes sociales, cuyas consecuencias más negativas comenzaron a aparecer rápidamente después de un momento de euforia, dijo Collin Walke, experto en ciberseguridad del bufete de abogados Hall Estill.
Al igual que las redes sociales, la IA está diseñada para captar la atención y generar ingresos.
«No quieren diseñar una IA que dé una respuesta que no se quiere escuchar», y todavía no existen estándares que determinen «quién es responsable de qué y sobre qué base», señala Walke.
MIRA: MentorIA, la herramienta de inteligencia artificial para docentes que crea indicaciones educativas
En Estados Unidos no existe ninguna normativa federal al respecto, y la Casa Blanca, argumentando no penalizar la innovación, intenta impedir que los estados adopten sus propias leyes sobre IA, como pretende hacer California.
La madre de Sewell, por su parte, teme que la falta de una ley nacional permita desarrollar modelos de IA capaces de perfilar a las personas desde su infancia.
“Podrían determinar cómo manipular a millones de niños en política, religión, negocios, todo”, piensa Megan García. «Estas empresas han diseñado chatbots para difuminar la línea entre humanos y máquinas con el fin de explotar vulnerabilidades».
Según Katia Martha, que aboga por una mayor protección para los jóvenes en California, los adolescentes utilizan los chatbots con más frecuencia para hablar de romance o sexualidad que para los deberes escolares.
“Estamos ante el auge de la intimidad artificial para mantenernos pegados a la pantalla”, resume. Pero, “¿qué mejor modelo de negocio que explotar nuestra necesidad innata de conexión, especialmente cuando nos sentimos solos, rechazados o incomprendidos?”
