Character.AI, una de las principales empresas emergentes de inteligencia artificial generativa (IA), anunció el jueves nuevas medidas de seguridad para proteger a los usuarios jóvenes mientras enfrenta demandas que alegan que su servicio ha contribuido al suicidio de un adolescente. La empresa con sede en California, fundada por ex ingenieros de Google, se encuentra entre las empresas que ofrecen compañeros de IA: chatbots diseñados para conversar y entretener, capaces de interactuar de manera similar a los humanos en línea.
En una demanda presentada en Florida en octubre, una madre afirmó que la plataforma era responsable del suicidio de su hijo de 14 años. El adolescente, Sewell Setzer III, había entablado una relación íntima con un chatbot inspirado en el personaje de “Juego de Tronos”, Daenerys Targaryen, y había hablado de su deseo de acabar con su vida.
Según la denuncia, el robot lo animó a actuar, respondiendo “Por favor, mi dulce rey” cuando dijo que “iba al cielo” antes de matar a su suegro. La empresa “hizo todo lo posible para crear una adicción dañina a sus productos en Sewell, de 14 años, abusó sexual y emocionalmente de él y, finalmente, no ofreció ayuda ni notificó a sus padres cuando “expresó pensamientos suicidas”, acusa la madre. abogados.
Otra denuncia presentada el lunes en Texas involucra a dos familias que dicen que el servicio expuso a sus hijos a contenido sexual y los animó a autolesionarse. Uno de los casos involucra a un adolescente autista de 17 años que supuestamente sufrió una crisis de salud mental después de usar la plataforma. En otra presentación, la demanda alega que Character.AI alentó a un adolescente a matar a sus padres porque limitaban su tiempo frente a la pantalla.
La plataforma, que alberga millones de personajes creados por usuarios basados en figuras históricas, amigos imaginarios o incluso conceptos abstractos, se ha vuelto popular entre los usuarios jóvenes que buscan apoyo emocional. Los críticos advierten sobre los riesgos de adicciones peligrosas entre los adolescentes vulnerables.
Character.AI respondió anunciando que había desarrollado un modelo de IA separado para usuarios menores de edad, con filtros de contenido más estrictos y respuestas más cautelosas. La plataforma ahora marca automáticamente el contenido relacionado con el suicidio y dirige a los usuarios a un servicio nacional de prevención.
“Nuestro objetivo es proporcionar un espacio atractivo y seguro para nuestra comunidad”, dijo un portavoz de la empresa. Además, la compañía planea introducir controles parentales a principios de 2025, notificaciones de pausa obligatorias y advertencias destacadas sobre la naturaleza artificial de las interacciones.
¿Ya nos sigues en WhatsApp?
Suscríbete a nuestro canal, activa el pequeño ???? y recibirás un resumen de noticias todos los días en temprano en la noche.
