Algoritmos que discriminan

Máquinas decidiendo quién recibe un subsidio o en qué barrio hay que reforzar la vigilancia policial. La inteligencia artificial (IA), útil, por ejemplo, en la lucha contra una pandemia, puede también perpetuar y reforzar prejuicios, como advierte la Unión Europea en un informe.

“La IA puede ser usada potencialmente en todas las áreas de la vida y eso significa que puede chocar con todos los derechos fundamentales”, resume David Reichel, investigador de la Agencia de Derechos Fundamentales (FRA) de la UE, responsable del informe.

Bajo el nombre “Construir un buen futuro: la inteligencia artificial y los derechos fundamentales”, el trabajo se basa en docenas de entrevistas con funcionarios de la administración pública y empleados de empresas privadas que diseñan y usan esa tecnología.

Aunque el conflicto entre nuevas tecnologías y protección de datos es conocido, la FRA quiso ir más allá y atajar la falta de conciencia sobre el potencial ataque a otros derechos, como el de no ser discriminado o a tener asistencia social, que puede suponer el uso erróneo de la IA.

La FRA plantea escenarios en los que programas informáticos basados en algoritmos deciden, en parte, quién recibe un crédito, una póliza de seguro o un subsidio social, usando como criterio datos sobre el sexo, la edad, la raza o la nacionalidad de los solicitantes.

“El uso de algoritmos por la administración pública en las prestaciones sociales despierta graves preocupaciones sobre su negativo impacto en la pobreza y la desigualdad, si se aplica erróneamente en el área de las prestaciones sociales”, dice la FRA.

LE PUEDE INTERESAR

Opinan los lectores

LE PUEDE INTERESAR

Vacunas: luego del rumor, ¿la noticia gatillará las ventas?

Reichel reconoce que esos problemas pueden darse en ámbitos como la selección de personal para determinados puestos, con herramientas de IA prefiriendo a hombres sobre mujeres porque se basan en estadísticas de ocupación ya existentes. O en la vinculación de la criminalidad con la inmigración, al llegar a conclusiones erróneas analizando la ecuación pobreza-crimen-emigración.

“Hay ejemplos de predicción policial que puede llevar a una excesiva vigilancia policial de ciertos barrios donde viven particularmente gente de distintos orígenes étnicos”, señala Reichel.

La FRA dice que es discriminatorio crear perfiles policiales mediante algoritmos elaborados según el análisis informáticos de datos que sólo incluyen la raza, el origen étnico, el género o la religión. Reichel dice que estos sistemas pueden no sólo perpetuar la desigualdad existente en los datos con los que se alimenta el sistema, sino reforzarla, porque los algoritmos permiten tomar decisiones a mayor escala y con más eficacia.

La agencia de la UE señala que los prejuicios y la discriminación en la toma de decisiones por algoritmos que utilizan la inteligencia de datos, o big data, “son difíciles de detectar y de mitigar”.

“A menudo, la calidad de los datos y los sesgos en ellos son la fuente de tratamientos potencialmente discriminatorios o injustos”, advierte el informe.

La FRA insiste en que los sistemas de inteligencia artificial no son infalibles ya que, al fin y al cabo, están creados por humanos.

Por ejemplo, se ha demostrado que los sistemas de reconocimiento facial funcionan mucho mejor con los hombres blancos que con las mujeres negras, porque fue probado principalmente en ese grupo.

En general, Reichel reconoce el problema que supone que estos sistemas estén mayoritariamente creados por hombres jóvenes y blancos, ya que pueden transferir a esas herramientas sus propios prejuicios y concepciones del mundo.

Por eso, afirma, es esencial asegurar la diversidad entre quienes programan los sistemas de IA y analizar sus decisiones en el contexto adecuado, para ver si las conclusiones son correctas o no.

ATAJAR YA EL DESAFÍO

Este reporte pretende ser tanto un aviso sobre futuros problemas, como una advertencia de situaciones que ya existen.

“Lo que vemos es que la IA ha llegado a nuestra sociedad y se usa en muchas áreas, pero también que muchas técnicas se están desarrollando aún”, dice Reichel, que asegura que es el momento de atajar el desafío porque “los problemas se pueden resolver más fácilmente si empiezas a evaluar la tecnología antes de usarla”.

¿CULPAR A UNA MÁQUINA?

Otra cuestión que destaca la FRA es la de quién es responsable cuando un sistema de inteligencia artificial toma una decisión errónea y si se puede reclamar contra una máquina.

La agencia de la UE destaca que es imprescindible que los ciudadanos sepan cuándo son sistemas automáticos los que toman decisiones, cómo se puede reclamar e incluso, recibir información, sin entrar en complejidades técnicas, sobre cómo funciona la IA.

“La complejidad no es excusa para decir ‘no somos nosotros, es el ordenador’” el que tomó la decisión, señala Reichel.

El informe no menciona el papel y la responsabilidad de empresas como Google o Facebook, pioneras en el uso masivo de la IA, porque, según el experto, el objetivo de este primer reporte era analizar usos de esas tecnología en empresas e instituciones europeas.

“Tenemos otros proyectos, para recopilar más pruebas sobre cómo puede haber prejuicios en los algoritmos”, dice Reichel, quien reconoce que este informe es sólo una “instantánea” de la situación y que queda mucho trabajo por hacer. (EFE)