La empresa de inteligencia artificial dice que sus chatbots cambiarán las interacciones con los usuarios adolescentes después de las demandas

Character.AI, la empresa de inteligencia artificial que ha sido objeto de dos demandas alegando sus chatbots interactuó de manera inapropiada con usuarios menores de edaddijo que los adolescentes ahora tendrán una experiencia diferente a la de los adultos al usar la plataforma.

Los usuarios de Character.AI pueden crear chatbots originales o interactuar con bots existentes. Los bots, impulsados ​​por grandes modelos de lenguaje (LLM), pueden enviar mensajes realistas y participar en conversaciones de texto con los usuarios.

Una demanda, presentada en octubre, Alega que un joven de 14 años se suicidó después de entablar una relación emocional y sexual virtual de un mes de duración con un chatbot de Character.AI llamado “Dany”. Megan García le dijo a “CBS Mornings” que su hijo, Sewell Setzer, III, era un estudiante de honor y un atleta, pero comenzó a retirarse socialmente y dejó de practicar deportes a medida que pasaba más tiempo en línea, hablando con múltiples robots pero especialmente obsesionándose con “Dany”. ”

“Él pensó que al terminar su vida aquí, podría entrar a una realidad virtual o ‘su mundo’ como él lo llama, su realidad, si dejaba su realidad con su familia aquí”, dijo García.

La segunda demanda, presentada por dos familias de Texas este mes, decía que los chatbots Character.AI son “un peligro claro y presente” para los jóvenes y están “promoviendo activamente la violencia”. Según la demanda, un chatbot le dijo a un joven de 17 años que asesinar a sus padres era una “respuesta razonable” a los límites de tiempo frente a la pantalla. Los demandantes dijeron que querían que un juez ordenara el cierre de la plataforma hasta que se abordaran los supuestos peligros, informó el miércoles BBC News, socio de CBS News.

El jueves, Character.AI anunció nuevas funciones de seguridad “diseñadas especialmente pensando en los adolescentes” y dijo que está colaborando con expertos en seguridad en línea para adolescentes para diseñar y actualizar funciones. Los usuarios deben tener 13 años o más para crear una cuenta. Un portavoz de Character.AI le dijo a CBS News que los usuarios informan ellos mismos su edad, pero el sitio tiene herramientas que impiden volver a intentarlo si alguien no supera el límite de edad.

Las características de seguridad incluyen modificaciones al LLM del sitio y mejoras a los sistemas de detección e intervención, dijo el sitio en un comunicado de prensa el jueves. Los usuarios adolescentes ahora interactuarán con un LLM separado, y el sitio espera “guiar al modelo lejos de ciertas respuestas o interacciones, reduciendo la probabilidad de que los usuarios encuentren, o soliciten al modelo que regrese, contenido sensible o sugerente”, dijo Character.AI. . El portavoz de Character.AI describió este modelo como “más conservador”. Los usuarios adultos utilizarán un LLM separado.

“Este conjunto de cambios da como resultado una experiencia diferente para los adolescentes de la que está disponible para los adultos, con características de seguridad específicas que imponen límites más conservadores a las respuestas del modelo, particularmente cuando se trata de contenido romántico”, dijo.

Character.AI dijo que a menudo, las respuestas negativas de un chatbot son causadas por usuarios que lo incitan a “tratar de provocar ese tipo de respuesta”. Para limitar esas respuestas negativas, el sitio está ajustando sus herramientas de entrada de usuarios y finalizará las conversaciones de los usuarios que envíen contenido que viole los términos de servicio del sitio y las pautas de la comunidad. Si el sitio detecta “lenguaje que hace referencia al suicidio o la autolesión”, compartirá información dirigiendo a los usuarios a la Línea Nacional de Prevención del Suicidio en una ventana emergente. La forma en que los bots responden al contenido negativo también se modificará para los usuarios adolescentes, dijo Character.AI.

Otras características nuevas incluyen controles parentales, que se lanzarán en el primer trimestre de 2025. Será la primera vez que el sitio tendrá controles parentales, dijo Character.AI, y planea “continuar evolucionando estos controles para brindarles a los padres herramientas adicionales.”

Los usuarios también recibirán una notificación después de una sesión de una hora en la plataforma. Los usuarios adultos podrán personalizar sus notificaciones de “tiempo invertido”, dijo Character.AI, pero los usuarios menores de 18 años tendrán menos control sobre ellas. El sitio también mostrará “avisos de responsabilidad destacados” que recordarán a los usuarios que los personajes del chatbot no son reales. Ya existen exenciones de responsabilidad en cada chat, dijo Character.AI.