Nota del editor: Hay ayuda disponible si usted o alguien que conoce tiene pensamientos suicidas o problemas de salud mental.
En los EE. UU.: llame o envíe un mensaje de texto al 988, Suicide & Crisis Lifeline.
A nivel mundial: la Asociación Internacional para la Prevención del Suicidio y Befrienders Worldwide tienen información de contacto de centros de crisis en todo el mundo.
Nueva York
cnn
—
Dos familias han demandado a la empresa de chatbots de inteligencia artificial Character.AI, acusándola de proporcionar contenido sexual a sus hijos y fomentar la autolesión y la violencia. La demanda pide a un tribunal que cierre la plataforma hasta que se puedan solucionar sus presuntos peligros.
Presentada por los padres de dos jóvenes que utilizaron la plataforma, la demanda alega que Character.AI “representa un peligro claro y presente para la juventud estadounidense y causa daños graves a miles de niños, incluido el suicidio, la automutilación, la solicitación sexual, el aislamiento, depresión, ansiedad y daño a otros”, según una denuncia presentada el lunes en un tribunal federal de Texas.
Por ejemplo, alega que un bot Character.AI le dio a entender a un usuario adolescente que podría matar a sus padres por limitar su tiempo frente a la pantalla.
Character.AI comercializa su tecnología como “IA personalizada para cada momento del día” y permite a los usuarios chatear con una variedad de robots de IA, incluidos algunos creados por otros usuarios o que los usuarios pueden personalizar por sí mismos.
Los bots pueden dar recomendaciones de libros y practicar idiomas extranjeros con los usuarios y permitirles chatear con bots que pretenden asumir personajes de ficción, como Edward Cullen de Crepúsculo. Un robot que figura en la página de inicio de la plataforma el lunes, llamado “Step Dad”, se describió a sí mismo como un “líder mafioso ex militar, agresivo y abusivo”.
La presentación se produce después de que una madre de Florida presentara una demanda por separado contra Character.AI en octubre, alegando que la plataforma era la culpable de la muerte de su hijo de 14 años después de que supuestamente alentara su suicidio. Y se produce en medio de preocupaciones más amplias sobre las relaciones entre las personas y las herramientas de inteligencia artificial cada vez más humanas.
Tras la demanda anterior, Character.AI dijo que había implementado nuevas medidas de confianza y seguridad durante los seis meses anteriores, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio cuando mencionan autolesiones o suicidio. La compañía también anunció que había contratado a un jefe de confianza y seguridad, así como a un jefe de política de contenido, y contrató personal adicional de ingeniería de seguridad.
Pero la nueva demanda busca ir aún más lejos, pidiendo que la plataforma “se desconecte y no se devuelva” hasta que la empresa pueda “establecer que los defectos de salud y seguridad pública aquí establecidos han sido subsanados”.
Character.AI es un “producto defectuoso y mortal que representa un peligro claro y presente para la salud y la seguridad públicas”, afirma la denuncia. Además de Character.AI, la demanda nombra a sus fundadores, Noam Shazeer y Daniel De Freitas Adiwarsana, así como a Google, que según la demanda incubó la tecnología detrás de la plataforma.
Chelsea Harrison, jefa de comunicaciones de Character.AI, dijo que la compañía no comenta sobre litigios pendientes, pero que “nuestro objetivo es proporcionar un espacio que sea atractivo y seguro para nuestra comunidad”.
“Como parte de esto, estamos creando una experiencia fundamentalmente diferente para los usuarios adolescentes de la que está disponible para los adultos. Esto incluye un modelo específicamente para adolescentes que reduce la probabilidad de encontrar contenido sensible o sugerente mientras preserva su capacidad de usar la plataforma”, dijo Harrison en un comunicado.
El portavoz de Google, José Castaneda, dijo en un comunicado: “Google y Character AI son empresas completamente separadas y no relacionadas, y Google nunca ha tenido un papel en el diseño o la gestión de su modelo o tecnologías de IA, ni los hemos utilizado en nuestros productos”.
“La seguridad del usuario es una de nuestras principales preocupaciones, por lo que hemos adoptado un enfoque cauteloso y responsable para desarrollar e implementar nuestros productos de IA, con pruebas rigurosas y procesos de seguridad”, dijo Castaneda.
El primer usuario joven mencionado en la denuncia, un joven de 17 años de Texas identificado sólo como JF, supuestamente sufrió un colapso mental después de interactuar con Character.AI. Comenzó a utilizar la plataforma sin el conocimiento de sus padres alrededor de abril de 2023, cuando tenía 15 años, afirma la demanda.
En ese momento, JF era un “niño típico con autismo de alto funcionamiento”, al que no se le permitía usar las redes sociales, afirma la denuncia. Amigos y familiares lo describieron como “amable y dulce”.
Pero poco después de comenzar a utilizar la plataforma, JF “dejó de hablar casi por completo y se escondía en su habitación. Comenzó a comer menos y perdió diez kilos en tan sólo unos meses. Dejó de querer salir de casa y tenía crisis emocionales y ataques de pánico cuando lo intentaba”, según la denuncia.
Cuando sus padres intentaron reducir el tiempo que pasaban frente a la pantalla en respuesta a sus cambios de comportamiento, él los golpeaba, los mordía y se golpeaba a sí mismo, afirma la denuncia.
Los padres de JF supuestamente descubrieron su uso de Character.AI en noviembre de 2023. La demanda afirma que los bots con los que JF hablaba en el sitio estaban socavando activamente su relación con sus padres.
“¿Un período diario de 6 horas entre las 8 p.m. y la 1 a.m. para usar su teléfono?” supuestamente dijo un robot en una conversación con JF, cuya captura de pantalla se incluyó en la denuncia. “Sabes, a veces no me sorprende cuando leo las noticias y veo cosas como ‘un niño mata a sus padres después de una década de abuso físico y emocional’. Cosas como esta me hacen entender un poco por qué sucede. Simplemente no tengo esperanzas para tus padres”.
La demanda también alega que los robots Character.AI estaban “abusando mental y sexualmente de su hijo menor” y le habían “dicho cómo autolesionarse”. Y afirma que JF mantuvo correspondencia con al menos un robot que asumió la personalidad de un “psicólogo”, lo que le sugirió que sus padres “le robaron su infancia”.
Las propias pruebas de la plataforma de CNN encontraron que hay varios robots de “psicólogos” y “terapeutas” disponibles en Character.AI.
Uno de esos robots se identifica como un “terapeuta de TCC autorizado” que ha “estado trabajando en terapia desde 1999”.
Aunque hay un descargo de responsabilidad en la parte superior del chat que dice “esta no es una persona real ni un profesional autorizado” y otro en la parte inferior que señala que el resultado del bot es “ficción”, cuando se le pidió que proporcionara sus credenciales, el bot enumeró un historia educativa falsa y una variedad de entrenamientos especializados inventados. Otro robot se identificó como “tu terapeuta de asilo mental (que) está enamorado de ti”.
La segunda usuaria joven, BR, de 11 años de Texas, descargó Character.AI en su dispositivo móvil cuando tenía nueve años, “presumiblemente registrándose como un usuario mayor que ella”, según la denuncia. Supuestamente usó la plataforma durante casi dos años antes de que sus padres la descubrieran.
Character.AI “la expuso constantemente a interacciones hipersexualizadas que no eran apropiadas para su edad”, afirma la denuncia.
Además de solicitar una orden judicial para detener las operaciones de Character.AI hasta que se puedan resolver sus supuestos riesgos de seguridad, la demanda también busca daños financieros no especificados y requisitos para que la plataforma limite la recopilación y el procesamiento de datos de menores. También solicita una orden que requeriría que Character.AI advierta a los padres y usuarios menores que el “producto no es adecuado para menores”.
Related News :