Personaje. AI, una de las empresas emergentes líderes en inteligencia artificial (IA) generativa, ha anunciado nuevas medidas de seguridad para proteger a los usuarios jóvenes. La empresa californiana, que es una de las que ofrece chatbots (compañeros de IA), capaces de interactuar de forma similar a los humanos en línea, se enfrenta a numerosos procesos judiciales en Estados Unidos.
La plataforma, que alberga millones de personajes creados por usuarios basados en figuras históricas, amigos imaginarios o incluso conceptos abstractos, se ha vuelto popular entre los usuarios jóvenes que buscan apoyo emocional. Pero en los últimos meses, muchos profesionales vienen advirtiendo sobre los riesgos de adicción y conductas peligrosas entre los adolescentes vulnerables.
Un adolescente acaba con su vida hablando con un chatbot inspirado en Daenerys Targaryen
En una demanda presentada en Florida en octubre, una madre afirmó que la plataforma era responsable del suicidio de su hijo de 14 años. El adolescente, Sewell Setzer III, había entablado una relación íntima con un chatbot inspirado en el personaje de Game of Thrones Daenerys Targaryen, y había hablado de su deseo de acabar con su vida.
Según la denuncia, el robot lo animó a actuar, respondiendo “Por favor, mi dulce rey” cuando dijo que “iba al cielo” antes de matar a su suegro. La empresa “hizo todo lo posible para crear una adicción dañina a sus productos en Sewell, de 14 años, abusó sexual y emocionalmente de él y, finalmente, no ofreció ayuda ni notificó a sus padres cuando “expresó pensamientos suicidas”, acusa la madre. abogados.
Un chatbot supuestamente aconsejó a un adolescente que matara a sus padres por limitar su tiempo frente a la pantalla
Otra denuncia presentada el lunes en Texas involucra a dos familias que dicen que el servicio expuso a sus hijos a contenido sexual y los animó a autolesionarse. Uno de los casos involucra a un adolescente autista de 17 años que supuestamente sufrió una crisis de salud mental después de usar la plataforma.
En otra presentación, la demanda alega ese carácter. La IA animó a un adolescente a matar a sus padres porque limitaban su tiempo frente a la pantalla.
Próximamente un modelo de IA independiente para mineros
Personaje. AI respondió anunciando que había desarrollado un modelo de IA separado para usuarios menores de edad, con filtros de contenido más estrictos y respuestas más cautelosas. La plataforma ahora marca automáticamente el contenido relacionado con el suicidio y dirige a los usuarios a un servicio nacional de prevención. “Nuestro objetivo es proporcionar un espacio atractivo y seguro para nuestra comunidad”, dijo un portavoz de la empresa.
Además, la compañía planea introducir controles parentales a principios de 2025, notificaciones de pausa obligatorias y advertencias destacadas sobre la naturaleza artificial de las interacciones.
