Tras la indignación provocada en un instituto estadounidense por la emisión de comentarios racistas atribuidos al director, llega el vértigo de descubrir que la banda sonora estaba hecha desde cero. Este episodio ilustra los peligros de que la inteligencia artificial sea accesible para todos.
Eric Eiswert, director de Pikesville, Maryland, cerca de Washington, se vio en el centro de una violenta polémica con una grabación de voz – que resultó ser falsa – en la que hacía comentarios escandalosos contra estudiantes judíos y “niños negros desagradecidos”. El caso, que ocurre en pleno año electoral en Estados Unidos, pone de relieve la facilidad con la que las herramientas de IA generativa pueden usarse para dañar a cualquiera, y las dificultades que enfrentan las autoridades para luchar contra tales prácticas.
“Ahora todo el mundo es vulnerable”, y no sólo las celebridades, advierte Hany Farid, profesor de la Universidad de California en Berkeley (oeste). “Basta con una imagen para añadir a una persona a un vídeo, y 30 segundos de audio para clonar la voz de alguien”, continúa el especialista en detección de imágenes y grabaciones manipuladas digitalmente, consultado por la policía.
Cuando la grabación se filtró en las redes sociales en enero, rápidamente se volvió viral. Una publicación recoge miles de comentarios en Instagram y lleva a la escuela al centro de una controversia nacional. El activista de derechos civiles DeRay McKesson pide la dimisión del director de su cuenta X, seguido por casi un millón de internautas. Admitirá haber sido abusado. Llueven mensajes de odio en las redes sociales y las llamadas telefónicas amenazantes se multiplican en el establishment. “El mundo sería mejor si estuvieras bajo tierra”, escribe un internauta al director. Este último es puesto en excedencia y su domicilio bajo protección. Contactado por la AFP, no respondió.
“Sigo preocupado por los daños causados por este asunto”, confiesa Billy Burke, director del sindicato que representa al director.
A finales de abril, Dazhon Darien, de 31 años, director deportivo de la escuela secundaria, fue arrestado por las autoridades, acusado de estar detrás de la falsificación. Los investigadores lo rastrearon hasta la dirección de correo electrónico que inicialmente compartió el archivo. Habría actuado para vengarse de una investigación abierta en su contra por el director sobre pagos sospechosos. Según la acusación, el acusado realizó una investigación sobre herramientas de inteligencia artificial de la red informática de la escuela secundaria. La banda sonora, según el análisis de un experto consultado por la policía, “contiene rastros de contenido generado por IA, con edición humana a posteriori”.
Este caso demuestra la necesidad de “adaptar la ley a los avances tecnológicos”, afirmó el fiscal local Scott Shellenberger. Muchas escuelas secundarias estadounidenses ya están teniendo que luchar contra la distribución por parte de los estudiantes de imágenes pornográficas de sus compañeros realizadas con IA generativa, una práctica que ha provocado terribles oleadas de acoso.
Los montajes de audio son particularmente difíciles de detectar. En enero, un mensaje difundido mediante llamadas telefónicas automáticas que falsificaban la voz del presidente Joe Biden animaba a los votantes demócratas del estado de New Hampshire (noreste) a abstenerse durante las primarias del partido.
