Medición, detección y reducción de sesgos en algoritmos de IA
- Autor: Carlos Mario Braga Ortuño.
Data Management & Data Technologies Specialist, sector Banca. Coordinador Grupo de trabajo Data Science & Machine Learning DAMA España
El modo en que las decisiones propiciadas por los algoritmos afectan a las personas es un aspecto fundamental que se ha de ser considerado por las organizaciones y organismos que implementan este tipo de sistemas
El desarrollo de la aplicación práctica de algoritmos de inteligencia artificial para facilitar la toma de decisiones es una realidad, y por tanto el modo en que las decisiones propiciadas por estos algoritmos afectan a las personas es un aspecto fundamental que se ha de ser considerado por las organizaciones y organismos que implementan este tipo de sistemas.
Si bien existen algoritmos que no tienen un impacto importante en la vida de las personas a las que se les aplica como por ejemplo un sistema de recomendación de música, películas o series de televisión (aunque podrían tenerlo para productoras y/o artistas); existen otros algoritmos desarrollados para tomar decisiones tales como conceder o no a una persona un préstamo, un seguro, un trabajo o un tratamiento médico, por citar algunos ejemplos.
Pese a que la regulación respecto a estos usos de la inteligencia artificial, al menos en Europa ya está en camino, no existe una regulación homogénea a nivel mundial pese a que en muchas
ocasiones los productos y servicios que consumimos vía internet son globales no teniendo necesariamente que estar su proveedor localizado en nuestra misma zona geográfica.
Es importante, por tanto, conocer las tanto las discriminaciones y sesgos que pueden generar los algoritmos, como el modo de reducirlos, para poder optar al uso y consumo de estos potentes sistemas de decisión sin generar desigualdad social.
Si acudimos a la definición de Discriminación que hace la RAE, vemos que se refiere al trato desigual que se le da a una persona, o colectividad por motivos raciales, religiosos, políticos, de sexo, de edad, de condición física o mental, etc.; y el saber evitarla o reducirla en los algoritmos de inteligencia artificial es un reto que como sociedad debemos afrontar para no generar discriminación grupal por la aplicación de las evoluciones tecnológicas en este campo; de modo que podamos ser consecuentes con el marco normativo en de la Unión Europea (Artículo 21 de la Carta de los Derechos Fundamentales de la Unión Europea, Artículo 14 del Convenio Europeo de Derechos Humanos, y Artículos 18-25 del Tratado de Funcionamiento de la Unión Europea).
Existen algoritmos desarrollados para tomar decisiones tales como conceder o no a una persona un préstamo, un seguro, un trabajo o un tratamiento médico.
La mayor fuente de generación de discriminación está en los algoritmos de clasificación, o en los algoritmos de regresión si luego se usa el valor predicho para tomar una decisión de otorgar o no algún producto o servicio a una persona (en base por ejemplo a una función escalón); por tanto es indiferente que hablemos de Machine Learning o de Deep Learning, pues independientemente de la técnica utilizada si hay toma de decisión basada en la salida del algoritmo hay riesgo de ejercer discriminación con la decisión.
Son varias las fuentes de generación de discriminación en estos algoritmos, pues al estar basada la predicción en datos previamente existentes, la fuente de la no neutralidad o de imparcialidad de los algoritmos puede proceder tanto de esos datos de entrada, como de la propia lógica que aplica el algoritmo, como de la retroalimentación del algoritmo con datos que ha generado el propio algoritmo y que por no estar monitorizadas sus métricas de neutralidad o discriminación, puedan tener comportamientos discriminatorios ante situaciones sociales que evolucionan respecto a las que había en el momento en que el algoritmo se construyó.
Como hemos indicado anteriormente los problemas de clasificación suponen la mayor fuente de riesgo de discriminación algorítmica a través de la implementación de sistemas de decisión basados en algoritmos de inteligencia artificial. Y es un hecho que la medida clásica del performance de un algoritmo de clasificación está
basada en métricas tales como Accuracy, Precisión, Recall, Specifity o F1 Score, estando estos conceptos fundamentados en probabilidad en la salida del test de tener una salida predicha igual o distinta de la que conocíamos de esos datos de test, o dicho de otra manera de cálculo de la probabilidad de ser predicho con un determinado valor condicionado a que la etiqueta de clase de la variable a predecir tuviese otro valor concreto, sin consideración alguna respecto al valor que toman otras variables que describen a las personas en base a sexo biológico, estado civil, zona de residencia, y otros datos similares, que son los que realmente nos pueden garantizar la equidad en las decisiones que se toman a partir de algoritmo.
Resulta por tanto necesario establecer otras métricas adicionales a las clásicas de performance que midan la neutralidad o discriminación algorítmica y que nos indiquen por tanto que no se está produciendo discriminación con algún grupo social concreto. Para ello es necesario identificar en un problema de Machine Learning, adicional a la variable a predecir y el conjunto de variables independientes a partir de las cuales se hace la predicción; un subconjunto de variables de las variables independientes que suelen llamarse
variables protegidas u otras variables que puedan inferir los valores de estas variables protegidas que suelen llamarse variables proxy; y considerar a la hora de establecer estas métricas de discriminación o neutralidad algorítmica, no sólo probabilidades del valor predicho condicionadas al valor real que tenía la etiqueta de clase en los datos de test; sino también condicionadas a la pertenencia a un grupo favorecido o desfavorecido de las variables protegidas.
Dependiendo de cómo combinemos estas tres variables (etiqueta de clase, valor predicho, y pertenencia a un grupo favorecido o desfavorecido de una variable protegida), a la hora de calcular las probabilidades condicionadas encontraremos distintos tipos de métricas de discriminación o neutralidad algorítmica que clasificaremos en tres grupos, independencia (p.e. Demographic Parity), separación (p.e Equal Opportunity, Predictive Equality, Equalized Odds) y suficiencia (p.e Predictive Parity).
Elegir las métricas adecuadas a optimizar para cada problema y optimizarlas no es una tarea sencilla, pues no todas las métricas pueden optimizarse simultáneamente, pero constituye la primera aproximación a la hora de corregir discriminaciones o sesgos que pueda estar generando el algoritmo.
