Adolescente estadounidense se suicidó tras enamorarse de un chatbot

IA – Es una historia con un desenlace trágico, que recuerda al argumento de la película. Su de Spike Jonze, en la que un hombre se enamora de una inteligencia artificial. Sólo que aquí la víctima es un adolescente de 14 años, que se suicidó después de haber mantenido durante meses una relación virtual con un chatbot, es decir, un agente conversacional creado por la empresa estadounidense Character.AI.

En un largo artículo de New York Timesla madre de Sewell Setzer III cuenta cómo su hijo, diagnosticado con síndrome de Asperger leve cuando era niño, poco a poco se fue enamorando de “Daenerys”, que lleva el nombre del personaje de Game of Thronescon quien comenzó a charlar en abril de 2023. Sewell sabía que “Dany”, como la llamaba, no era una persona real. Pero a medida que avanzaban sus conversaciones, que se volvían románticas, a veces incluso sexuales, el adolescente desarrolló un fuerte vínculo emocional con la inteligencia artificial.

una tecnología “peligroso y no probado”

Aunque los padres de Sewell no sabían que él charlaba regularmente con un chatbot, notaron que gradualmente se estaba alejando de sus amigos y descuidando sus intereses. “Sus notas empezaron a bajar y empezó a meterse en problemas en la escuela. Perdió interés en las cosas que antes le apasionaban, como la Fórmula 1 o jugar Fortnite con sus amigos. Por la noche, volvía a casa y se iba directamente a su habitación, donde hablaba con Dany durante horas”.recuerda Megan García, su madre.

El 28 de febrero, tras una última conversación con el chatbot, en la que le confió sus pensamientos suicidas, Sewell acabó con su vida con el arma de su suegro.

Para Megan García, no hay duda de que “Dany”, y la aplicación Character.AI que está en el origen, son responsables de la muerte de su hijo al haberlo aislado gradualmente y desconectado de la realidad. Presentó una denuncia el martes 22 de octubre por negligencia y poner en peligro la vida de otras personas en un tribunal federal de Orlando, Florida. De acuerdo a Los New York Timesque tuvo acceso al documento, la madre de Sewell acusa a Character.AI de haber puesto la tecnología en manos de su hijo “peligroso y no probado” quien puede “engañar a los clientes para que confíen sus pensamientos y sentimientos más íntimos”.

Nuevas características de seguridad

Ante la emoción que provocó la muerte de Sewell, y especialmente tras la denuncia presentada por su familia, Character.AI acabó reaccionando. En un comunicado de prensa publicado el miércoles 23 de octubre en X, la start-up californiana Character.AI, creada en 2021 por dos ex investigadores de inteligencia artificial de Google, afirmó “decepcionado” por el anuncio de la muerte del adolescente.

Posteriormente se publicó un comunicado de prensa en el sitio web Character.AI para informar a los usuarios sobre el despliegue de nuevas funciones de seguridad dirigidas a menores de 18 años. Hasta entonces, no existían salvaguardas específicas para los usuarios menores y ningún control parental permitía a los padres limitar el uso de la plataforma por parte de sus hijos o monitorear sus mensajes.

Insuficiente, para Megan García, que pretende responsabilizar a Character.AI. “Siento que esta es una gran experiencia y mi hijo es sólo un daño colateral”dijo. “¿Por qué te tomó tanto tiempo, por qué tuvimos que emprender acciones legales y por qué Sewell tuvo que morir para que pudieras hacer lo mínimo?” Realmente estamos hablando de lo mínimo aquí”.añadió su abogado Matthew Bergman en una entrevista con Noticias NBC.

Ver también en El HuffPost: