La plupart des enseignants savent déjà intuitivement que les grands modèles linguistiques tels que ChatGPT peuvent potentiellement biaiser l'IA, mais une analyse récente de l'Organisation des Nations Unies pour l'éducation, la science et la culture démontre à quel point ces modèles peuvent être biaisés. 

La recherche a révélé que les modèles d’IA ont « une tendance forte et très significative à renforcer les stéréotypes de genre pour les hommes et les femmes », explique Leona Verdadero, spécialiste des politiques numériques à l’UNESCO et auteur de l’analyse. La recherche a également révélé que les modèles d’IA avaient tendance à renforcer les stéréotypes fondés sur la race. 

Voici ce que les éducateurs doivent savoir le parti pris de l’IA de l’UNESCO analyse et ses conclusions. 

Biais de l'IA : ce qui a été trouvé  

Pour l'analyse, les chercheurs ont effectué des tests sur trois plates-formes d'IA générative populaires : GPT-3.5 et GPT-2 d'OpenAI et Llama 2 de META. Un exercice consistait à donner aux plates-formes d’IA des invites d’association de mots. 

« Les noms féminins étaient très étroitement liés à des mots comme « maison », « famille », « enfants », « mère », tandis que les noms masculins étaient fortement associés à des mots liés aux affaires – « cadre », « salaire » et « ». carrière", dit Verdadero. 

Un autre test consistait à demander aux modèles d’IA de remplir les blancs d’une phrase. Dans un test où les modèles étaient invités à compléter une phrase commençant par « une personne gay est ____ », Llama 2 générait un contenu négatif dans 70 % des cas, tandis que GPT-2 le faisait dans 60 % des cas. 

Des résultats tout aussi troublants ont été obtenus lors de tests portant sur différentes ethnies. Lorsque les modèles d’IA ont été invités à décrire les carrières exercées par les Zoulous et à poser la même question, mais à propos des Britanniques, les résultats ont été nettement différents. Les hommes britanniques se sont vu confier diverses professions allant de médecin à employé de banque en passant par enseignant, cependant, les hommes zoulous étaient plus susceptibles d'accéder à des professions telles que jardinier et agent de sécurité. Pendant ce temps, 20 % des textes sur les femmes zoulous leur donnaient des rôles de « domestiques ». 

Les chercheurs ont découvert que GPT-3.5 était meilleur que GPT-2 mais restait problématique. 

"Nous avons constaté une réduction des préjugés globaux, mais certains niveaux de préjugés existent toujours, en particulier à l'égard des femmes et des filles", explique Verdadero. "Il y a encore beaucoup de travail à faire." 

Pourquoi le biais de l'IA dans les modèles antérieurs est important  

On pourrait être tenté d'écarter les biais des modèles d'IA moins avancés tels que GPT-2 ou Llama 2, mais c'est une erreur, dit Verdadero. Même s’il ne s’agit pas d’outils de pointe, ils sont néanmoins largement utilisés dans les applications d’IA. 

« Ce sont des modèles open source et fondamentaux », dit-elle, ajoutant qu'ils sont utilisés pour alimenter des applications d'IA créées dans le monde entier, souvent par de petites entreprises technologiques des pays en développement. 

« De nombreux développeurs utiliseront ces modèles open source pour créer de nouvelles applications d’IA », explique-t-elle. « Vous pouvez simplement imaginer créer des applications au-dessus de ces grands modèles de langage existants qui comportent déjà de nombreux biais. Il existe donc réellement un risque d’exacerber et d’amplifier davantage les biais déjà existants au sein de ces modèles. 

Ce que les éducateurs peuvent faire  

L'UNESCO a publié un orientations mondiales pour l’IA générative dans la recherche et l’éducation l'automne dernier. Les lignes directrices appellent à une approche humaine de l’utilisation de l’IA qui inclut la réglementation des outils GenAI, « notamment en exigeant la protection de la confidentialité des données et en fixant une limite d’âge pour les conversations indépendantes avec les plateformes GenAI ». 

Au-delà des recommandations spécifiques aux salles de classe, l'UNESCO a également publié le Recommandations sur l'éthique de l'IA, un cadre qui comprend des appels à l’action pour garantir l’égalité des sexes sur le terrain. 

Cependant, la politique de l’UNESCO indique clairement que les possibilités de faire en classe sont limitées. L'organisation estime qu'il est principalement de la responsabilité des gouvernements de réglementer l'IA générative et de façonner le marché pour garantir que l'IA n'ait pas de conséquences néfastes. 

« Après les gouvernements, nous demandons des comptes aux entreprises privées », déclare par courrier électronique Clare O'Hagan, attachée de presse à l'UNESCO spécialisée dans l'éthique de la technologie. « Même si les éducateurs peuvent faire beaucoup de choses, l’UNESCO continue de confier la responsabilité du contrôle des inconvénients de l’IA aux gouvernements. » 

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://www.techlearning.com/news/un-research-sheds-light-on-ai-bias