Aún faltaba mucho para que amaneciera cuando Ángel Cholka fue despertada por el haz de una linterna eléctrica situada en su ventana. Un policía estaba en la puerta. “¿Madi vive aquí?” “, preguntó. Primero confundido, luego aterrorizado, M.a mí Cholka corrió a la habitación de su hija de 16 años.
Publicado a las 7:00 a.m.
Ellen Barry
Los New York Times
METROa mí Cholka no sabía que el software de inteligencia artificial utilizado por el distrito escolar de Neosho, Missouri, estaba rastreando lo que Madi escribía en la computadora portátil proporcionada por la escuela.
Durante la noche, Madi le había enviado un mensaje de texto a una amiga para informarle de su intención de suicidarse con sus ansiolíticos. Se disparó una alerta a un funcionario escolar, quien llamó a la policía. cuando ma mí Cholka y el policía encontraron a Madi, que ya se había tragado unas quince pastillas. La sacaron de la cama y la llevaron rápidamente al hospital.
A 1.300 millas de distancia, alrededor de la medianoche, sonó el teléfono fijo en una casa en el condado de Fairfield, Connecticut, pero los padres no respondieron a tiempo. Quince minutos después, tres policías estaban en la puerta: querían ver a su hija de 17 años porque un software de vigilancia había detectado un riesgo de autolesión.
Sus padres la despertaron y la llevaron a la sala para que la policía pudiera interrogarla sobre una frase que había escrito en su teléfono celular en la escuela. Muy rápidamente llegamos a la conclusión de que se trataba de una falsa alarma: era un extracto de un poema que había escrito años antes. Pero la visita sacudió a la joven.
“Fue una de las peores experiencias de su vida”, dice su madre, que pidió no ser identificada para poder hablar de este episodio “traumático” para su hija.
Entre las tecnologías de inteligencia artificial que ingresan a las escuelas estadounidenses, pocas plantean tantas cuestiones críticas como las destinadas a prevenir las autolesiones y el suicidio.
Este software se generalizó más durante la pandemia de COVID-19, después de que muchas escuelas proporcionaron computadoras portátiles a los estudiantes y cambiaron a la modalidad virtual.
FOTO GRAHAM DICKIE, THE NEW YORK TIMES
Las computadoras portátiles proporcionadas a los estudiantes por la escuela están equipadas con el software Farode GoGuardian, que analiza lo que escriben los estudiantes en busca de palabras clave que podrían indicar intenciones suicidas.
Una ley estadounidense exige que estos ordenadores estén equipados con filtros para bloquear determinados contenidos. Las empresas de tecnología educativa (GoGuardian, Gaggle, Lightspeed, Bark, Securly, entre otras) vieron la oportunidad de abordar el comportamiento suicida y autodestructivo. Tienen herramientas integradas que escanean lo que escriben los estudiantes y alertan a la escuela si parecen estar considerando hacerse daño.
Millones de estudiantes estadounidenses (casi la mitad, según algunas estimaciones) están ahora sujetos a esa vigilancia. Los detalles se revelan a los padres una vez al año, al dar su consentimiento.
La mayoría de los sistemas identifican palabras clave; Los algoritmos o la revisión humana determinan qué casos son graves. Durante el día, los estudiantes pueden ser retirados de clase y evaluados.
Fuera del horario escolar, si no se puede localizar a los padres por teléfono, la policía puede ir a las casas de los estudiantes para ver qué está pasando.
No podemos analizar la precisión, ventajas y desventajas de estas alertas: los datos pertenecen a empresas tecnológicas; Las administraciones escolares generalmente conservan los datos sobre cada intervención posterior y sus resultados.
Según los padres y el personal de la escuela, las alertas a veces permiten intervenir en momentos críticos. En la mayoría de los casos, permiten ofrecer apoyo a los estudiantes en dificultades para evitar que se porten mal.
Sin embargo, las alertas pueden tener consecuencias no deseadas y, a veces, perjudiciales. Los grupos de derechos humanos dicen que existe un riesgo para la privacidad. Estos sistemas también son criticados por poner a los estudiantes en contacto innecesario con la policía.
En cuanto a los beneficios de esta herramienta para la salud mental, las opiniones están divididas. Hay muchos falsos positivos, que hacen perder el tiempo al personal y perturban a los estudiantes. En algunos distritos, las visitas domiciliarias fuera del horario escolar han provocado tal controversia que las intervenciones ahora se limitan al día escolar.
Pero en algunas escuelas se destaca que este software ayuda en una tarea muy difícil: reconocer a tiempo a los niños que sufren en silencio. Talmage Clubbs, director de servicios de orientación del distrito escolar de Neosho, se muestra reacio a apagar el sistema, incluso durante las vacaciones de verano, por motivos morales: “Es difícil: si lo apagas, alguien puede morir. »
romper un tabú
En Neosho, se cree que las alertas, seguidas de intervenciones terapéuticas en la escuela, ayudaron a romper el tabú que rodea al suicidio.
De 2014 a 2018, 8 de sus 5.000 estudiantes se suicidaron. Luego, durante un intervalo de casi cuatro años, no hubo suicidios (hubo uno en 2022 y otro en 2024). Jim Cummins, ex comisionado escolar de Neosho, tiene claro que la tecnología tiene algo que ver con eso.
“¿Salvamos una vida?” ¿Veinte vidas? No podemos poner un número”, dijo. Pero, añade, las estadísticas sobre la disminución de los suicidios hablan por sí solas.
Incluso si retrocedemos seis años y nos dicen que es imposible demostrar que salvamos una sola vida, respondo que efectivamente, es imposible. Pero estamos haciendo todo lo que podemos.
Jim Cummins, ex administrador de la escuela Neosho
El estudiante que se suicidó en 2022 es Madi Cholka. El mismo que fue salvado por una visita nocturna de la policía en 2020.
Durante esos años, Madi fue hospitalizada varias veces y su madre, Ángel, tomó medidas para protegerla, guardando sus medicamentos y armas en una caja fuerte.
La alerta, en 2020, permitió a Ma mí Cholka para llevar a Madi a urgencias y luego a un hospital psiquiátrico a una hora de distancia.
Esta hospitalización no solucionó los problemas de Madi. Después de su alta, continuó intentando hacerse daño, pero tuvo cuidado de no volver a hablar de sus intenciones en su computadora. Murió a los 17 años, dejando atrás una maleta preparada para una mayor hospitalización.
FOTOS GRAHAM DICKIE, THE NEW YORK TIMES
A la izquierda, tarjetas impresas para el funeral de Madi Cholka. A la derecha, el colgante con la huella dactilar de Madi que lleva su madre alrededor del cuello.
“Lo siento”, le escribió en un mensaje a su madre.
A pesar de todo, M.a mí Cholka dice que está agradecida por las alertas, que la han aliviado de parte de la carga durante estos años de vigilancia. Ha escuchado los argumentos sobre el riesgo para la privacidad de los estudiantes y la intrusión en las familias: los deja de lado.
“Lo sé: sólo gracias a estas alertas mi hija se quedó con nosotros un poco más. »
Este artículo fue publicado en el New York Times.
Lea el artículo en su versión original.
(en inglés; se requiere suscripción)
