Joy Buolamwini-Algorithmic Justice League

Los sistemas de inteligencia artificial están desarrollados para optimizar la vida de las personas, sin embargo, estudios demuestran que muchos de los sistemas de reconocimiento facial y por voz, basados en aprendizaje automático cuentan con sesgos de error, que dejan entrever grandes prejuicios raciales y de género.

Joy Buolamwini, una profesional graduada del MIT, detectó de forma muy incómoda, como los software de reconocimiento facial tenían un gran sesgo racial, pues no podían identificar su rostro. Buolamwini una mujer de tez negra notó que el sistema de análisis facial que se encontraba probando no podía detectar su rostro porque básicamente, los desarrolladores “no le enseñaron a algoritmo a identificar una amplia gama de tonos de piel” y estructuras faciales.

Experimenté esto de primera mano, cuando era un estudiante graduada en el MIT en 2015 y descubrí que algunos programas de análisis facial no podían detectar mi rostro de piel oscura hasta que me puse una máscara blanca.

Créditos: ViewApart-iStock

El sesgo racial en la inteligencia artificial

Joy decidió usar sus conocimientos para entender por qué la inteligencia artificial suele aplicar estos riesgos raciales de forma drástica, para confirmarlo, solo le bastó suplantar su rostro con una máscara blanca “para adaptarse a la norma”.

El software utilizado mostró que no toma en cuenta la diversidad humana y determinó lo que llamó  “impacto de la sobrecarga de exclusión”.

Joy y su organización trabajan junto a la ACLU y especialistas de visión artificial para combatir los sesgos raciales en las herramientas de inteligencia artificial. Sus investigaciones revelaron que sistemas de reconocimiento facial como Amazon Rekognition y otros de IBM, Microsoft, presentan grandes y notables sesgos raciales y de discriminación de género.

Mi investigación descubrió grandes prejuicios raciales y de género en los sistemas de inteligencia artificial vendidos por gigantes tecnológicos como IBM, Microsoft y Amazon.

Pruebas revelan que algunos sistemas IA no logran clasificar correctamente los rostros de Oprah Winfrey, Créditos: Joy Buolamwini, Algorithmic Justice League

Dada la tarea de adivinar el género de una cara, todas las compañías tuvieron un desempeño sustancialmente mejor en las caras masculinas que en las femeninas. Las empresas que evalué tenían tasas de error de no más del 1% para los hombres de piel más clara.

Los sistemas de inteligencia artificial de compañías líderes no han logrado clasificar rostros de mujeres icónicas como Michelle Obama. Créditos: Joy Buolamwini, Algorithmic Justice League

Sesgos detectados en Amazon Rekognition

Un ejemplo notable de este sesgo de error se ha demostrado más de una vez en Amazon Rekognition. El sistema de reconocimiento facial desarrollado por Amazon se ha enfrentado a varios retos que han puesto entre dicho la capacidad de su tecnología.

El 2018, la Unión Americana de Libertades Civiles (ACLU, por sus siglas en inglés), puso a prueba esta tecnología y en su momento confundió 28 congresistas de los EE.UU. con delincuentes. La prueba  se publicó en su sitio web. ACLU descargó 25.000 fotografías de una base de datos pública y se le pidió a Rekognition que se le comparara con fotos de los 535 miembros del Congreso estadounidense.

Como resultado, el sistema encontró 28 coincidencias, es decir 28 congresistas que según el sistema de inteligencia artificial, han sido arrestados por cometer un crimen.

Pero eso no es todo

En 2019, se volvió a realizar una prueba a la app Amazon Rekognition y para sorpresa de muchos, los resultados tampoco fueron alentadores. Durante una prueba realizada por la ACLU, la tecnología de Rekognition, identificó erróneamente a cinco legisladores como criminales, mientras se le comparaba con una base de datos de registros policiales.

Dicha demostración se realizó a petición del asambleísta de San Francisco, Phil Ting, quien promueve un proyecto de ley para prohibir que los cuerpos policiales utilicen la tecnología de reconocimiento facial.

“Queríamos ejecutar esto como una demostración de cómo este software no está absolutamente listo”, dijo Ting. Quien además aclaró el objetivo de su proyecto de ley. Ya que, aunque parezca gracioso que les haya identificado erróneamente “no será gracioso si eres una persona que está tratando de conseguir un trabajo, comprar una casa y no puedas hacerlo porque te acusan como criminal erróneamente”.

Voz racial en sistemas de reconocimiento por voz

Hace pocos meses, un estudio determinó los sesgos raciales existentes en los sistemas de reconocimientos de voz. El estudio titulado “Disparidades raciales en el reconocimiento automático del habla”, realizado por la Universidad de Stanford, sugiere que estos sistemas de reconocimiento por voz presentan un considerable sesgo racial, con disparidades entre voces de personas blancas y personas afroamericanas.

Aquí, examinamos la capacidad de cinco sistemas ASR de última generación -desarrollados por Amazon, Apple, Google, IBM y Microsoft- para transcribir entrevistas estructuradas realizadas con 42 hablantes blancos y 73 hablantes negros.

Encontramos que los cinco sistemas ASR exhibían disparidades raciales sustanciales, con una tasa de error de palabra (WER) promedio de 0,35 para los hablantes negros en comparación con 0,19 para los hablantes blancos.

 

¿Cómo contribuye la IA y el análisis de datos en la búsqueda de la cura del COVID-19?
Los resultados señalan disparidades notables que van de 19% de error en el reconocimiento de voces de personas blancas, contra un 35% de error en el reconocimiento de voz de personas afroamericanas
Fuente:pnas.org

Estos estudios sin duda son preocupantes, puesto que el sesgo racial existe en todas las tecnologías de reconocimiento, diseñadas para trabajar con información de humanos. Tras el estudio de reconocimiento de voz los científicos manifestaron su preocupación porque “los sistemas de reconocimiento del habla sufran de prejuicios raciales”, como ha surgido en otras apps de aprendizaje automático.

IA y sus principios de ética: ¿A qué se deben estos sesgos raciales, de género, nacionalidad?

En abril de 2020, un grupo de investigadores presentó un programa de recompensas para aquellos desarrolladores que detecten sesgos raciales en IA. Y aunque esta es una gran iniciativa, demuestra sin duda cuán grave es este problema cuando se debe motivar a una persona para que investigue y reporte estos estos sesgos raciales.

“El sesgo y las recompensas de seguridad ampliarían el concepto de recompensa de errores a la IA y podrían complementar los esfuerzos existentes para documentar mejor los conjuntos de datos y modelos para sus limitaciones de rendimiento y otras propiedades.”

Esto va de la mano con los principios de ética de la inteligencia artificial, que deberían ser aplicaciones por quienes desarrollan estas tecnologías. La ex directora de DARPA, Regina Dugan, también abogó por ejercicios de trabajo en equipo rojo para abordar los desafíos éticos en los sistemas de IA.

“Democratizar la inteligencia artificial y atacar el sesgo del algoritmo”

Durante la MWC 2019, la analista jefe de Forrester Research, Jennifer Belissent, llevó a cabo la conferencia llamada ‘Democratizar la inteligencia artificial y atacar el sesgo del algoritmo’ donde se demostró una vez más que los datos “no pueden ser neutrales” porque nacen en un contexto social, para combatir este principio, la analista determinó que es necesario alfabetizar o democratizar la inteligencia artificial, añadiendo “soluciones de big data para hacer más accesible estas tecnologías a los consumidores”.

Asimismo, Roger Taylor, el presidente de la agencia gubernamental británica que supervisa la deontología de los datos y la innovación explica que: “La ética es la principal preocupación del momento” y agregó: “Y la ética de la inteligencia artificial es un problema central en crecimiento”.

Foto: AP

Un factor determinante en la sociedad actual

 “No hay forma de explicar sensiblemente que las personas negras son más propensas a cometer crímenes”.

Dijo Roger Taylor al hablar del uso de la inteligencia artificial en el sistema judicial de Estados Unidos, la que debido a estos sesgos de error pueden procesar a inocentes. De acuerdo con un reporte del MIT,  tecnólogos, expertos legales y activistas de la comunidad Data For Black Lives determinaron que:

Los departamentos de policía utilizan algoritmos predictivos para elaborar estrategias sobre dónde enviar sus filas. Las agencias de aplicación de la ley utilizan sistemas de reconocimiento facial para ayudar a identificar sospechosos.

Dejando la responsabilidad de decidir acerca de un futuro de una persona, a través de algoritmos que se han demostrado que presentan grandes sesgos raciales.

La tecnología forma parte de nuestras vidas, los sistemas de reconocimiento por voz y de reconocimiento facial vienen preinstalados en nuestros dispositivos móviles e incluso algunas herramientas más potentes son utilizadas por organizaciones oficiales, que como mencionamos, ha sido duramente criticada por defensores de derechos civiles debido a la gran cantidad de estudios que confirman los fallos en estas nuevas tecnologías.

Reconocimiento Facial En Estadios

Los sistemas de inteligencia artificial, aprendizaje automático, reconocimiento facial, no solo son un reto para los desarrolladores, sino que además se presentan como una tecnología abrumadora para los defensores de los derechos civiles.

Ya que estas tecnologías ponen en riesgo la integridad física de personas afrodescendientes, migrantes, mujeres, ya que estos sistemas de reconocimiento “no están preparados” para estos casos, en vista de que su data no incluye datos diversos.

En vista de la inteligencia artificial, los algoritmos de aprendizaje automático procesan información suministrada por sus desarrolladores, es muy claro que este proceso de clasificación, identificación, selección es subjetivo, el sistema de machine learning aprende de los datos proporcionados y en vista de que esta no ofrece información diversa, deja en claro los prejuicios raciales existentes.

Más en TekCrispy