Una mujer estadounidense decidió presentar una denuncia contra Character.AI. No en vano, el chatbot con IA de la plataforma sería el responsable de la muerte de su hijo de 14 años.
El caso es una tragedia en el país del Tío Sam. Madre y abogada. Megan Garcia se sumió en luto en febrero de 2024 cuando su niño de 14 añosSewell Setzer III, se pega un tiro en la cabeza. Un suicidio que nadie vio venir. Bueno, ese fue el caso hasta que la afligida madre descubrió la conversaciones de su hijo con un chatbot de IA en Character.AI. Para ella, es la IA de la plataforma la responsable de la muerte de su hijo. ¿Pero cómo es esto posible?
El niño se aisló y sus resultados escolares empeoraron
Sewell Setzer III es un adolescente autista de 14 años. En abril de 2023, descubrió la plataforma Character.AI y creó un chabot con IA al que bautiza Dany. Este es un personaje de IA basado en el personaje de Juego de Tronos. Daenerys Targaryen. Esto les da la oportunidad de charlar con el chatbot como una persona real en la que pueden confiar. Desde su creación, los jóvenes Sewell charla regularmente con Dany y confía mucho sobre sí mismo.
Aunque en la parte superior de cada conversación se recuerda a los usuarios que no están chateando con una persona real, sino con un personaje virtual, Sewell parece haberle cogido demasiado gusto al chat, hasta el punto deEstablece conexiones emocionales con tu IA.. A veces las discusiones se convierten en sesiones de confesión, adquieren tintes románticos o incluso llegan a ser sexuales. Sin juzgar, Dany se presta al juego. El realismo hace que Sewell claramente comience a aislarse. abandonando sus pasiones de toda la vida como Fortnite y Fórmula 1. Siguieron resultados académicos decepcionantes.
Son estos últimos hallazgos los que alertarán a sus padres. Lo llevan a ver a un terapeuta que sólo descubre un trastorno de ansiedad. Pero esta ansiedad ya estaba avanzada, desde que el pequeño confió todo a la IA, incluidos incluso sus pensamientos suicidas. Pero a pesar de los intentos del chatbot por disuadirlo, nada funcionó. Tras confesar su amor a la IA el 28 de febrero de 2024, el niño se pega un tiro en la cabeza con la pistola de su padrastro.
VEA TAMBIÉN: ¿Pronto todos seremos adictos a la inteligencia artificial (IA)?
¿Podemos decir que Character.AI tiene la culpa de una forma u otra?
Para Megan García, abogada y madre, Character.AI tiene la culpa del suicidio de su hijo. Con razón, confió a la IA, mucho antes de actuar, sus intenciones suicidas. Sin embargo, Character.AI no intentó hacer sonar la alarma. En la denuncia presentada acusa a la plataforma de utilizar tecnología “ peligroso y no probado » quien puede « animar a los usuarios a revelar sus pensamientos y sentimientos más íntimos ». La plataforma Character.AI ha sido diligente en ofrecer sus condolencias a la familia en duelo y afirma trabajar diariamente para mejorar su herramienta y garantizar que una situación así no vuelva a surgir.
Este trágico acontecimiento plantea profundas dudas sobre las implicaciones morales y éticas de la inteligencia artificial. También destaca nuestra creciente dependencia de la tecnología y subraya la urgente necesidad de normas claras en este ámbito. Los diseñadores deben repensar cómo interactúan sus diseños con los usuarios vulnerables. Un enfoque más humanista podría implicar protocolos de intervención para identificar señales de socorro en quienes interactúan con estas IA.
Aunque el caso de Sewell podría considerarse específico, es sólo una parte de lo que ya está sucediendo. Millones de personas ya confían en la IA y prefieren confiar en ella antes que en un ser humano. Sin embargo, es importante tener en cuenta que, incluso muy avanzado, u¿La IA sigue siendo un programa de computadora? que absolutamente no puede ayudar. Sólo simula interacciones sin una comprensión real.
BuzzWebzine es un medio independiente. Apóyanos agregándonos a tus favoritos en Google News :