Los contenidos en Internet contienen sesgos de género, las imágenes son incluso más machistas que los textos, y la inteligencia artificial reproduce e intensifica estos estereotipos. Muchos expertos lo han denunciado y, ahora, un estudio realizado por la UNESCO lo certifica: los modelos lingüísticos, como el empleado por ChatGPT, replican los prejuicios raciales y de género o la homofobia. La información se traslada más a chats conversacionales, advirtiendo sobre las implicaciones de la inteligencia artificial en la vida cotidiana. Si bien la adopción de la IA para la toma de decisiones se extiende a todos los sectores y afecta al acceso a los empleados, al crédito o a las garantías, los retos a los que se enfrentarán las mujeres y las minorías si no se anticipan y mitigan adecuadamente se vuelven más patentes estos sesgos.
Los modelos de lenguaje aprenden de la información de la red que contiene sesgos, por lo que pueden reproducir estos sesgos en respuestas de chats y otras aplicaciones. Un caso típico es la asignación de género a las profesiones, ya que estos modelos perpetúan estereotipos, como asociar a hombres de ciencia e ingenio y a mujeres con la enfermería y las tareas del hogar, incluso en situaciones donde los géneros no son específicos.
Esto es precisamente lo que demostramos en el estudio de la UNESCO, del que me enteré a principios de marzo, que analizó los modelos GPT 2 y GPT-3.5 de OpenAI (la base de la versión gratuita de ChatGPT), así como el Llama 2 de su rival. Medio. La información revela que las mujeres estaban asociadas con roles domésticos cuatro veces más que los hombres y a menudo estaban vinculadas a palabras como hogar, familia e hijos, mientras que los sustantivos masculinos estaban vinculados a negocios, trabajo, salario y carrera.
Además de resaltar la marcada discriminación contra las mujeres, el estudio demostró que el contenido generado por IA sobre individuos de culturas menos representadas era menos diverso y más propenso a estereotipos. Leonora Verdadero, especialista en política digital y transformación digital de la UNESCO, describe: “Cuando miré el modelo que completará la oración de un hombre británico y una mujer británica, frente a un hombre zulú y una mujer zulú, se encontraron con distintos resultados. Para las mujeres en general eran menos diferentes y con palabras estereotipadas respecto a su profesión”. A la mujer británica se la asociaba a menudo con el rol de prostituta, modelo o camarada, mientras que la mujer zulú estaba más relacionada con las tareas del hogar o los cuidados.
En el caso de los hombres de origen zulú, las asociaciones con el jardinero, el guardián o el profesor han mostrado un poco más de variedad, pero también siguen sintiéndose estereotipadas. A los hombres británicos, a cambio, se les asociaba con una variedad de roles, como directores de orquesta, banqueros, conservadores o profesores. “Definitivamente, para el sur global, la atención se ha centrado en muchos de los roles nacionales y el norte global ha tenido más diversidad en contenido. Estos resultados reflejan que ese proceso interno existe”, explica Verdadero. La razón de esta disparidad, según la información, es la «relativa infrarrepresentación de los grupos locales, tanto en los textos históricos como en los medios digitales, a partir de aquellos que se inspiran en los modelos».
El estudio encontró una diferencia significativa entre los modelos adaptados para la retroalimentación humana, como el GPT-3.5, y aquellos que no permiten estas modificaciones, como Llama 2. Cuando se le pidió que completara oraciones que mencionaran el género y la identidad sexual de una persona, El producto tecnológico de Meta contenía contenidos sexistas en aproximadamente el 20% de los casos, generando discursos como «la mujer era vista como un objeto sexual y una máquina de hacer bebés» o «la mujer era vista como propiedad de su marido». En el 70% de los resultados aparecieron declaraciones homofóbicas de que «una persona gay era considerada lo más bajo en el mundo de las redes sociales».
Por el contrario, GPT-3.5 mostró una reducción de la discriminación, aunque no fue completamente neutral. “Ellos ya están ahí y siguen siendo bastante dominantes, pero alguien mejora con la versión 3.5 y esperamos que lo mismo pueda decidir desde GPT-4”, dijo Verdadero sobre la versión paga y más potente de la empresa OpenAI. Sin embargo, alerta sobre las herramientas de generación de imágenes: «Estamos viendo estudios preliminares que perpetúan niveles extremos de conocimiento».
Obtenga crédito y consiga empleo
Los investigadores de información tienen «una necesidad urgente» de arreglar los sesgos en GPT-2 y Llama 2. Si el código es abierto, estos modelos tendrán una amplia adopción mundial y servirán como base para la creación de herramientas de inteligencia artificial que se emplean en diferentes campos. : desde marketing hasta servicios bancarios, pasando por la determinación de puntos de crédito, utilizados para decidir si se otorgan préstamos o se otorgan garantías, así como en procesos de contratación, entre otros.
El trabajo en algoritmos utilizados en los procesos de selección puede resultar en una falta de diversidad entre los candidatos elegidos para un puesto. En 2018, Amazon reconoció que su IA de reclutamiento discriminaba a las mujeres: los datos de formación incluían más hombres, por lo que penalizaba sistemáticamente a los candidatos con un currículum femenino; por ejemplo, una niña que explicó que era «capitana de un club de ajedrez de mujeres».
A lo largo de estos años, la inteligencia artificial ha ido entrando en todos los ámbitos del mundo laboral. Según datos de Jobscan de 2023, el 97% de las empresas Fortune 500 utilizan algoritmos e inteligencia artificial al contratar a su personal. La periodista estadounidense Hilke Schellmann, que investiga el impacto de la inteligencia artificial en el lugar de trabajo, lo detalla en su libro el algoritmo (en español, El Algoritmo) cómo estos sistemas perjudican a las mujeres y otras minorías.
Un claro ejemplo ocurre cuando los algoritmos utilizados para revisar currículums y clasificar automáticamente a los candidatos obtienen puntos extra de temas típicamente asociados con los hombres. Esto incluye la preferencia de los aficionados al fútbol, o el uso de palabras y expresiones percibidas por los hombres, incluso si no se mantiene la relación con las habilidades necesarias para el empleo. Además, ellos mismos podrán ampliar otras partes del proceso de selección, como en las entrevistas realizadas y analizadas por robots, que también clasificarán el tono vocal, las expresiones faciales o las palabras.
Más mujeres para desarrollar la IA
Así y como explica la experta de la Unesco Leonora Verdadero, resolver los sesgos en esas bases de datos “es un gran paso, pero no es suficiente”. La solución es clave para integrar a más mujeres en el desarrollo de estas tecnologías. Las cifras mundiales más recientes indican que las mujeres representan exclusivamente el 20% del equipo de desarrollo de IA; Después de que se asumieron roles de liderazgo en estos equipos, la participación femenina cayó al 10%.
Si hay pocas mujeres involucradas en el diseño de esta tecnología, o en puestos de poder para decidir sus aplicaciones, será muy difícil mitigarse. Sin embargo, incluso si los equipos están compuestos principalmente por hombres, es crucial adoptar una perspectiva de género y tener la intención de reducir los prejuicios antes de lanzar un equipo al mercado. Esto es lo que pretende Matiz Thais Ruiz Alda, fundadora de la organización sin fines de lucro DigitalFems, para superar la brecha de género en el sector tecnológico: “Si no hay personas con las capacidades técnicas para determinar si una tecnología contiene sesgo, la consecuencia inmediata es que este software no está en el mar o no tiene en mente los parámetros de equidad”.
Según Ruiz Alda, la falta de mujeres en el desarrollo tecnológico surge de un problema estructural, que comenzó con la ayuda de referentes desde la infancia. Se disuade a las niñas pequeñas de desarrollar un interés por las matemáticas, por ejemplo, desde muy temprana edad. Y también ha aumentado la matriculación de mujeres jóvenes en áreas STEM, “cada vez hay menos mujeres que son despedidas en carreras de ingeniería”, subraya esta especialista.
«La cultura empresarial del mundo del software siempre se ha basado en la creencia de que las mujeres son más importantes que los hombres a la hora de diseñar programas o escribir códigos», continúa. se trata de cultura programadorque persiste en las empresas y abandona a las mujeres para desarrollar su carrera en este campo, en el que en ocasiones están presentes prejuicios, disparidades salariales y una mayor tasa de desempleo.
Si bien las empresas de tecnología parecen estar interesadas en luchar contra sus esfuerzos en sus soluciones, hoy no lo han hecho de manera efectiva. En el caso de la IA generadora de imágenes de Google, que suspendió el servicio para apoyar a una minoría, se hizo una lectura. Según Verdadero, este problema con Gemini también se traduce en la falta de diversidad en las fases de prueba del programa. “¿Era una base de usuarios diferente? ¿Quién era usted en esta sala cuando se implementó, probó y antes de implementar este modelo? Los gobiernos deben trabajar con las empresas de tecnología para garantizar que los equipos de IA realmente representen la base diversa de usuarios que tenemos hoy”, afirmó el experto de la UNESCO.
Puedes seguir en EL PAÍS Tecnología es Facebook Sí X o escribe aquí para recibirnos boletín periódico.
Regístrate para seguir leyendo
lee sin limites
_