Hacia una IA más justa y respetuosa: aprendizaje federado para combatir los prejuicios

En los últimos años han estallado varios escándalos que implican sistemas de apoyo a la toma de decisiones basados ​​en inteligencia artificial (IA) que producen resultados racistas o sexistas. Este fue el caso, por ejemplo, de la herramienta de contratación de Amazon, que mostraba prejuicios contra las mujeres, o del sistema de atención hospitalaria en un hospital estadounidense que favorecía sistemáticamente a los pacientes blancos en comparación con los pacientes negros. En respuesta al problema del sesgo en la IA y los algoritmos de aprendizaje automático, se han propuesto leyes, como la AI Act en la Unión Europea o la National AI Initiative Act en Estados Unidos.

Un argumento ampliamente repetido sobre la presencia de sesgos en los modelos de IA y aprendizaje automático es que simplemente reflejan una verdad fundamental: el sesgo está presente en datos reales. Por ejemplo, datos de pacientes con una enfermedad que afecta específicamente a hombres dan como resultado una IA sesgada hacia las mujeres, sin que esta IA sea incorrecta.

Cuando el sesgo de la IA delata las desigualdades sociales

Si bien este argumento es válido en ciertos casos, hay muchos casos en los que los datos se han recopilado de forma incompleta y no reflejan la diversidad de la realidad sobre el terreno, o en los que los datos incluyen casos estadísticamente raros y que estarán infravalorados, o incluso infravalorados. no representado, en modelos de aprendizaje automático. Este es el caso, por ejemplo, de la herramienta de contratación de Amazon, que mostraba un sesgo hacia las mujeres: como las mujeres que trabajan en un sector son estadísticamente pocas, la IA resultante simplemente rechaza las candidaturas femeninas.

¿Qué pasaría si en lugar de reflejar, o incluso exacerbar, una realidad actual disfuncional, la IA pudiera ser virtuosa y servir para corregir prejuicios en la sociedad, en aras de una sociedad más inclusiva? Esto es lo que proponen los investigadores con un nuevo enfoque: el “aprendizaje federado”.

IA virtuosa: ¿objetivo o utopía?

Los sistemas de apoyo a las decisiones basados ​​en IA se basan en datos. De hecho, en los enfoques tradicionales de aprendizaje automático, los datos de varias fuentes primero deben transmitirse a un repositorio (por ejemplo, un servidor en la nube) que los centraliza, antes de ejecutar un algoritmo de procesamiento de estos datos centralizados.

Sin embargo, esto plantea cuestiones de protección de datos. En efecto, de acuerdo con la legislación vigente, un hospital no tiene derecho a subcontratar los datos médicos sensibles de sus pacientes, un banco no tiene derecho a subcontratar la información privada de las transacciones bancarias de sus clientes.

En consecuencia, para preservar mejor la confidencialidad de los datos en los sistemas de IA, los investigadores están desarrollando enfoques basados ​​en la llamada IA ​​”distribuida”, donde los datos permanecen en los sitios que los poseen y donde los algoritmos de aprendizaje automático se ejecutan de manera distribuida en estos diferentes sitios. sitios: esto también se denomina “aprendizaje federado”.

Hacia una IA descentralizada y amigable con los datos

En concreto, cada propietario de datos (participante en el aprendizaje federado) entrena un modelo local a partir de sus propios datos, luego transmite los parámetros de su modelo local a un tercero que agrega los parámetros de todos los modelos locales ( por ejemplo, mediante una media ponderada según el volumen de datos de cada participante). Esta última entidad produce luego un modelo global que será utilizado por los diferentes participantes para realizar sus predicciones.

Por lo tanto, es posible construir conocimiento global a partir de los datos de los demás, sin revelar los propios datos y sin acceder a los datos de los demás. Por ejemplo, los datos médicos de los pacientes permanecen en cada centro hospitalario que los posee, y son los algoritmos de aprendizaje federados los que se ejecutan y coordinan entre estos diferentes sitios.

Construya un modelo global y eficaz sin centralizar datos

Con este enfoque, será posible que un pequeño centro hospitalario en un área geográfica menos poblada que las grandes metrópolis (y por lo tanto con menos datos médicos que en los grandes hospitales y, en consecuencia, con una IA a priori menos entrenada) se beneficie de un IA que refleja el conocimiento global, entrenada de forma descentralizada sobre datos de diferentes centros hospitalarios.

Se pueden mencionar otros casos de aplicación similares, que involucran a varios bancos para construir una IA global de detección de fraude, varios edificios inteligentes para determinar la gestión energética adecuada, etc.

Los sesgos en la IA descentralizada son más complejos de entender

En comparación con el enfoque tradicional de aprendizaje automático centralizado, la IA descentralizada y sus algoritmos de aprendizaje federados pueden, por un lado, exacerbar aún más el sesgo y, por otro, hacer que lidiar con el sesgo sea más difícil.

De hecho, los datos locales de los participantes en un sistema de aprendizaje federado pueden tener distribuciones estadísticas muy heterogéneas (diferentes volúmenes de datos, diferentes representaciones de ciertos grupos demográficos, etc.). Un participante que contribuya al aprendizaje federado con un gran volumen de datos tendrá más influencia en el modelo general que un participante con un pequeño volumen de datos. Si este último se encuentra en una determinada zona geográfica que representa a un grupo social particular, esto lamentablemente no se reflejará, o muy poco, en el modelo general.

Además, la presencia de sesgo en los datos de uno de los participantes en un sistema de aprendizaje federado puede hacer que este sesgo se propague a los demás participantes a través del modelo general. De hecho, incluso si un participante se ha preocupado de tener datos locales imparciales, heredará el sesgo presente en otros.

Y más difícil de corregir.

Además, las técnicas clásicamente utilizadas para prevenir y corregir sesgos en el caso centralizado no pueden aplicarse directamente al aprendizaje federado. De hecho, ¿el enfoque clásico de corrección de sesgos consiste principalmente en preprocesar los datos antes del aprendizaje automático para que los datos tengan ciertas propiedades estadísticas y, por lo tanto, ya no estén sesgados?

Sin embargo, en el caso de la IA descentralizada y el aprendizaje federado, no es posible acceder a los datos de los participantes ni tener conocimiento de las estadísticas generales de los datos descentralizados.

En este caso, ¿cómo lidiar con el sesgo en los sistemas de IA descentralizados?

Medir el sesgo de la IA sin acceso a datos descentralizados

Un primer paso es poder medir los sesgos de los datos descentralizados entre los participantes en el aprendizaje federado, sin tener acceso directo a sus datos.

Junto con mis colegas, diseñamos un nuevo método para medir y cuantificar el sesgo en los sistemas de aprendizaje federados, basado en el análisis de parámetros de modelos locales de participantes en el aprendizaje federado. Este método tiene la ventaja de ser compatible con la protección de los datos de los participantes, al tiempo que permite medir varias métricas de sesgo.

Captar la interdependencia entre múltiples tipos de sesgos y corregirlos en una IA descentralizada

Pero también puede haber varios tipos de sesgo demográfico, que varían según diferentes atributos sensibles (género, raza, edad, etc.), y hemos demostrado que mitigar un solo tipo de sesgo puede tener el efecto colateral del aumento de otro tipo. de parcialidad. Sería entonces una lástima que una solución para mitigar el sesgo racial, por ejemplo, provocara una exacerbación del sesgo de género.

Luego propusimos un método multiobjetivo para la medición completa de los sesgos y el tratamiento conjunto y coherente de varios tipos de sesgos que ocurren en los sistemas de aprendizaje federados.

Sobre la autora: Sara Bouchenak. Profesor de Informática – INSA Lyon, INSA Lyon – Universidad de Lyon.
Este artículo se vuelve a publicar desde The Conversation bajo una licencia Creative Commons. Lea el artículo original.