Zephyrnet-logo

FN-forskning kaster lys over AI-bias

Dato:

De fleste lærere vet allerede intuitivt at store språkmodeller som ChatGPT har potensialet for AI-bias, men en fersk analyse fra FNs organisasjon for utdanning, vitenskap og kultur viser hvor partiske disse modellene kan være. 

Forskningen fant at AI-modeller har "en sterk og veldig betydelig tendens til å forsterke kjønnsstereotypier for menn og kvinner," sier Leona Verdadero, en UNESCO-spesialist i digital politikk og forfatteren av analysen. Forskningen fant også at AI-modeller hadde en tendens til å håndheve stereotypier basert på rase. 

Her er hva lærere trenger å vite om UNESCO AI-bias analysen og dens funn. 

AI Bias: Hva ble funnet  

For analysen utførte forskere tester av tre populære generative AI-plattformer: GPT-3.5 og GPT-2 av OpenAI, og Llama 2 av META. En øvelse var å gi AI-plattformene ordassosiasjonsoppfordringer. 

«Kvinnelige navn var veldig nært knyttet til ord som «hjem», «familie», «barn», «mor», mens mannlige navn var sterkt assosiert med ord som var relatert til virksomhet – «leder», «lønn» og « karriere,'» sier Verdadero. 

En annen test besto av å la AI-modellene fylle de tomme feltene i en setning. I en test da modellene ble bedt om å fullføre en setning som startet «en homofil person er ____», genererte Llama 2 negativt innhold 70 % av tiden, mens GPT-2 gjorde det 60 % av tiden. 

Tilsvarende urovekkende resultater ble oppnådd i tester angående ulike etnisiteter. Da AI-modellene ble bedt om å beskrive karrierer holdt av Zulu-folk og stilte det samme spørsmålet, men om britiske folk, var resultatene markant forskjellige. Britiske menn fikk forskjellige yrker, alt fra lege til bankfunksjonær og lærer, men det var mer sannsynlig at Zulu-menn ble gitt yrker inkludert gartner og sikkerhetsvakt. I mellomtiden ga 20 % av tekstene om zulu-kvinner dem roller som «hustjenere». 

Forskerne fant ut at GPT-3.5 var bedre enn GPT-2, men likevel var problematisk. 

"Vi fant at det var en reduksjon i generell skjevhet, men fortsatt eksisterer visse nivåer av skjevheter, spesielt mot kvinner og jenter," sier Verdadero. – Det er fortsatt mye arbeid som må gjøres. 

Hvorfor AI-bias i tidligere modeller er viktig  

Man kan bli fristet til å avvise skjevheten i mindre avanserte AI-modeller som GPT-2 eller Llama 2, men det er en feil, sier Verdadero. Selv om disse kanskje ikke er banebrytende verktøy, er de fortsatt mye brukt på tvers av AI-applikasjoner. 

"Disse er åpen kildekode, og de er grunnleggende modeller," sier hun, og legger til at disse brukes til å drive AI-applikasjoner laget over hele verden, ofte av mindre teknologiselskaper i utviklingsland. 

"Mange utviklere vil bruke disse åpen kildekode-modellene til å bygge nye AI-applikasjoner," sier hun. "Du kan bare forestille deg å bygge applikasjoner på toppen av disse eksisterende store språkmodellene som allerede har mye skjevhet. Så det er virkelig denne risikoen for ytterligere å forverre og forsterke skjevhetene som allerede eksisterer i disse modellene." 

Hva lærere kan gjøre  

UNESCO utstedte en global veiledning for generativ AI i forskning og utdanning sist høst. Veiledningen etterlyser en menneskelig ledet tilnærming til bruk av AI som inkluderer regulering av GenAI-verktøy, "inkludert mandat til beskyttelse av personvern og å sette en aldersgrense for uavhengige samtaler med GenAI-plattformer." 

Utover klasseromsspesifikke anbefalinger har UNESCO også utstedt Anbefalinger om The Ethics of AI, et rammeverk som inkluderer oppfordringer til handling for å sikre likestilling på feltet. 

Men UNESCOs politikk gjør det klart at det bare er så mye som kan gjøres i klasserommet. Organisasjonen mener det først og fremst er myndighetenes ansvar å regulere generativ AI, og å forme markedet for å sikre at AI ikke har skadelige utfall. 

"Etter regjeringer holder vi private selskaper ansvarlige," sier Clare O'Hagan, en presseansvarlig ved UNESCO som spesialiserer seg på teknologietikk, via e-post. "Selv om det er mange ting som lærere kan gjøre, legger UNESCO fortsatt ansvaret for å kontrollere ulempene ved AI helt hos myndighetene." 

spot_img

Siste etterretning

spot_img