El fiscal general de Texas, Ken Paxton, inició el jueves una investigación sobre Character.AI y otras 14 plataformas tecnológicas por cuestiones de privacidad y seguridad infantil. La investigación evaluará si Character.AI (y otras plataformas populares entre los jóvenes, incluidas Reddit, Instagram y Discord) cumplen con las leyes de seguridad y privacidad infantil de Texas.
La investigación de Paxton, que suele ser dura con las empresas de tecnología, analizará si estas plataformas cumplían con dos leyes de Texas: la Ley de Seguridad de los Niños en Línea a través del Empoderamiento de los Padres, o SCOPE, y la Ley de Seguridad y Privacidad de Datos de Texas, o DPSA.
Estas leyes exigen que las plataformas proporcionen a los padres herramientas para administrar la configuración de privacidad de las cuentas de sus hijos y obligan a las empresas de tecnología a cumplir estrictos requisitos de consentimiento al recopilar datos sobre menores. Paxton afirma que ambas leyes se extienden a cómo los menores interactúan con los chatbots de IA.
“Estas investigaciones son un paso fundamental para garantizar que las redes sociales y las empresas de inteligencia artificial cumplan con nuestras leyes diseñadas para proteger a los niños de la explotación y el daño”, dijo Paxton en un comunicado de prensa.
Character.AI, que te permite configurar personajes de chatbot de IA generativa con los que puedes enviar mensajes de texto y chatear, recientemente se vio envuelto en una serie de demandas por seguridad infantil. Los chatbots de IA de la compañía rápidamente despegaron entre los usuarios más jóvenes, pero varios padres han alegado en demandas que los chatbots de Character.AI hicieron comentarios inapropiados y perturbadores a sus hijos.
Un caso de Florida afirma que un niño de 14 años tuvo una relación sentimental con un chatbot Character AI y le dijo que estaba teniendo pensamientos suicidas en los días previos a su propio suicidio. En otro caso ocurrido en Texas, uno de los chatbots de Character.AI supuestamente sugirió que un adolescente autista debería intentar envenenar a su familia. Otro padre en el caso de Texas alega que uno de los chatbots de Character.AI sometió a su hija de 11 años a contenido sexualizado durante los últimos dos años.
“Actualmente estamos revisando el anuncio del Fiscal General. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios”, dijo un portavoz de Character.AI en un comunicado a TechCrunch. “Damos la bienvenida a trabajar con los reguladores y recientemente anunciamos que lanzaremos algunas de las funciones a las que se hace referencia en el comunicado, incluidos los controles parentales”.
Character.AI lanzó el jueves nuevas funciones de seguridad destinadas a proteger a los adolescentes, diciendo que estas actualizaciones limitarán que sus chatbots inicien conversaciones románticas con menores. La compañía también comenzó a entrenar un nuevo modelo específicamente para usuarios adolescentes en el último mes; algún día, espera que los adultos usen un modelo en su plataforma, mientras que los menores usan otro.
Estas son solo las últimas actualizaciones de seguridad que Character.AI ha anunciado. La misma semana en que la demanda de Florida se hizo pública, la compañía dijo que estaba ampliando su equipo de confianza y seguridad y recientemente contrató a un nuevo jefe para la unidad.
Como era de esperar, los problemas con las plataformas de compañía de IA están surgiendo justo cuando su popularidad está ganando. El año pasado, Andreessen Horowitz (a16z) dijo en una publicación de blog que veía el compañerismo de IA como un rincón infravalorado de la Internet del consumidor en el que invertiría más. A16z es un inversor en Character.AI y continúa invirtiendo en otras nuevas empresas de compañerismo de IA. , recientemente respaldó a una empresa cuyo fundador quiere recrear la tecnología de la película “Her”.
Reddit, Meta y Discord no respondieron de inmediato a las solicitudes de comentarios.
