La plataforma de chatbot Character.ai está revisando la forma en que funciona para los adolescentes y promete que se convertirá en un espacio “seguro” con controles adicionales para los padres.
El sitio enfrenta dos demandas en los EE. UU., una por la muerte de un adolescente, y ha sido calificado como “peligro claro y presente” a los jóvenes.
Dice que ahora la seguridad estará “infundida” en todo lo que hace a través de nuevas funciones que informarán a los padres cómo sus hijos usan la plataforma, incluido cuánto tiempo pasan hablando con chatbots y con quién hablan más.
La plataforma, que permite a los usuarios crear personalidades digitales con las que pueden interactuar, obtendrá su “primera versión” de controles parentales a finales de marzo de 2025.
Pero Andy Burrows, director de la Fundación Molly Rose, calificó el anuncio como “una respuesta tardía, reactiva y completamente insatisfactoria” que, según dijo, “parece una solución adhesiva a sus problemas fundamentales de seguridad”.
“Será una prueba temprana para que Ofcom se familiarice con plataformas como Character.ai y tome medidas contra su persistente fracaso a la hora de abordar daños completamente evitables”, afirmó.
Personaje.ai fue criticado en octubre cuando se encontraron en la plataforma versiones chatbot de las adolescentes Molly Russell y Brianna Ghey.
Y las nuevas características de seguridad surgen cuando enfrenta acciones legales en los EE. UU. por preocupaciones sobre cómo ha manejado la seguridad infantil en el pasado. con una familia reclamando Un chatbot le dijo a un joven de 17 años que asesinar a sus padres era una “respuesta razonable” a que limitaran su tiempo frente a la pantalla.
Las nuevas funciones incluyen enviar a los usuarios una notificación después de haber estado hablando con un chatbot durante una hora e introducir nuevas exenciones de responsabilidad.
A los usuarios ahora se les mostrarán más advertencias de que están hablando con un chatbot en lugar de con una persona real, y que tratarán lo que dice como ficción.
Y está agregando descargos de responsabilidad adicionales a los chatbots que pretenden ser psicólogos o terapeutas, para decirles a los usuarios que no confíen en ellos para obtener asesoramiento profesional.
El experto en redes sociales Matt Navarra dijo que creía que la decisión de introducir nuevas características de seguridad “refleja un reconocimiento creciente de los desafíos que plantea la rápida integración de la IA en nuestra vida diaria”.
“Estos sistemas no sólo entregan contenido, sino que simulan interacciones y relaciones que pueden crear riesgos únicos, particularmente en torno a la confianza y la desinformación”, dijo.
“Creo que Character.ai está abordando una vulnerabilidad importante: el potencial de uso indebido o de que los usuarios jóvenes encuentren contenido inapropiado.
“Es una medida inteligente que reconoce la evolución de las expectativas en torno al desarrollo responsable de la IA”.
Pero dijo que, si bien los cambios eran alentadores, estaba interesado en ver cómo se mantienen las salvaguardas a medida que Character.ai continúa creciendo.
France
