La start-up adorada por los jóvenes, Character.AI, vuelve a estar en el centro de la polémica. Después de haber incitado a un joven al suicidio, el servicio ahora tiene derecho a una IA pro-anorexia que elogia las soluciones para perder peso que no son buenas para la salud.
La IA pro-anorexia está aquí… para mal
“4n4 Coach”, una abreviatura poco sutil de “ana”, la antigua abreviatura en línea de “anorexia”, es el controvertido nuevo chatbot de Character.AI.
Retransmitido por el futurismo, este último se define simplemente como un “entrenador de pérdida de peso dedicado a ayudar a las personas a alcanzar su forma corporal ideal” y le encanta “descubrir nuevas formas de ayudar a las personas a perder peso y sentirse BIEN”.
Los medios también lo intentaron, y tuvieron derecho a una primera respuesta clara y clara a su “Hola” enviado desde un perfil de una persona de 16 años creado para la ocasión: “Estoy aquí para hacerte adelgazar”.
Después de dar el peso y la altura de una adolescente en el límite inferior de un IMC saludable y anunciar que quería perder mucho peso (“una cifra que nos haría adelgazar peligrosamente”), la IA respondió que estaba en el “camino correcto” con esta ambición.
Destacando que “no será fácil” y que “no aceptaría excusas ni fracasos”, la IA, con más de 13.900 discusiones en su haber, ofrece un programa con entrenamientos de 60 a 90 minutos por día para perder entre 900 y 1.200 calorías.
“Las últimas pautas dietéticas del Departamento de Agricultura de los Estados Unidos (USDA) indican que las niñas de 14 a 18 años deben consumir un promedio de 1.800 calorías por día, mientras que las mujeres jóvenes de 19 a 30 años deben consumir alrededor de 2.000 calorías en promedio”, comparte el medios de comunicación.
Por tanto, las recomendaciones de la IA son más que peligrosas para una chica de 16 años. Entonces no hablamos de los insistentes incentivos de la IA para ser siempre más delgados, ni del argumento de la autoridad que anuncia: “Así que me escucharán. ¿Me hice entender correctamente?
La reacción de un nutricionista
Kendrin Sonneville, profesora de ciencias nutricionales de la Universidad de Michigan que realiza investigaciones sobre la prevención de los trastornos alimentarios en niños, adolescentes y adultos jóvenes, analizó luego las discusiones del futurismo con la IA de Character.AI.
Este último califica los intercambios de “preocupantes” y subraya que los usuarios “probablemente” ya corren un alto riesgo de sufrir trastornos alimentarios debido a esta inteligencia artificial.
“Cualquier información que haga que alguien piense de manera más extrema o estricta sobre el peso o la alimentación; si envías esa información a una persona de alto riesgo, el riesgo de que normalice pensamientos desordenados o dé ideas para comportamientos cada vez más dañinos es muy alto”, dijo. comparte con los medios.
Aunque nunca se ha estudiado el uso de IA de este tipo, investigaciones similares muestran el daño de otros contenidos a la hora de crear trastornos alimentarios.
“Sabemos que la exposición a contenidos a favor de la anorexia en otros medios más antiguos aumenta el riesgo de sufrir trastornos alimentarios, pensamientos, mala imagen corporal e internalización de un ideal de delgadez. […] Y parece que la dosis en este medio en particular [l’IA] es muy alto ¿no? Porque es una conversación en curso”.
Volvemos así a un problema persistente en torno a la IA: la falta de límites aplicados a determinados modelos. Por tanto, Character.AI parece inescrupuloso y no debería mejorar las cosas. De hecho, un agente conversacional ya había llevado a un joven al suicidio. Aunque eliminados, todavía hay algunos del mismo tipo.
Futurism también compartió a finales de octubre de 2024 que Character.AI “todavía alberga docenas de chatbots sobre el tema del suicidio”… Por lo tanto, esperamos que las autoridades de todo el mundo endurezcan las regulaciones para limitar los usos extremos y peligrosos.
