Door Philip Tannor, medeoprichter en CEO van Grondige controles.

Afbeelding door Clker-vrij-vector-afbeeldingen oppompen van Pixabay

AI-systemen worden steeds populairder en staan ​​centraal in veel industrieën. Ze beslissen wie een lening van de bank krijgt, of een persoon moet worden veroordeeld, en we kunnen hen in de nabije toekomst zelfs ons leven toevertrouwen bij het gebruik van systemen zoals autonome voertuigen. Er is dus een groeiende behoefte aan mechanismen om deze systemen te benutten en te controleren, zodat we ervoor kunnen zorgen dat ze zich naar wens gedragen.

Een belangrijk probleem dat de laatste jaren aan populariteit wint, is: eerlijkheid. Hoewel ML-modellen meestal worden geëvalueerd op basis van statistieken zoals nauwkeurigheid, is het idee van eerlijkheid dat we ervoor moeten zorgen dat onze modellen onbevooroordeeld zijn met betrekking tot kenmerken zoals geslacht, ras en andere geselecteerde kenmerken.

Een klassiek voorbeeld van een episode over raciale vooroordelen in AI-systemen, is het COMPAS-softwaresysteem, ontwikkeld door Northpointe, dat tot doel heeft Amerikaanse rechtbanken te helpen bij het beoordelen van de waarschijnlijkheid dat een verdachte recidivist wordt. Propublica publiceerde een dit artikel die beweert dat dit systeem bevooroordeeld is tegen zwarten, waardoor ze hogere risicobeoordelingen krijgen.

ML-systeemvooroordeel tegen Afro-Amerikanen? ((bron))

In dit bericht zullen we proberen te begrijpen waar vooroordelen in ML-modellen vandaan komen, en methoden verkennen voor het maken van onbevooroordeelde modellen.

Waar komt vooringenomenheid vandaan?

“De mens is de zwakste schakel”
—Bruce Schneier

Op het gebied van Cybersecurity wordt vaak gezegd dat “de mens de zwakste schakel is” (Schneier). Dit idee geldt ook in ons geval. Vooroordelen worden in feite onbedoeld door mensen in ML-modellen geïntroduceerd.

Onthoud dat een ML-model alleen zo goed kan zijn als de gegevens waarop het is getraind, en dus als de trainingsgegevens vooroordelen bevatten, kunnen we verwachten dat ons model diezelfde vooroordelen nabootst. Enkele representatieve voorbeelden hiervan zijn te vinden op het gebied van woordinbedding in NLP. Woordinbeddingen zijn aangeleerde dichte vectorrepresentaties van woorden, die bedoeld zijn om semantische informatie van een woord vast te leggen, die vervolgens kan worden ingevoerd in ML-modellen voor verschillende stroomafwaartse taken. Er wordt dus verwacht dat inbeddingen van woorden met vergelijkbare betekenissen "dichtbij" bij elkaar liggen.

Woordinbeddingen kunnen de semantische betekenis van woorden vastleggen. ((bron))

Het blijkt dat de ingebedde ruimte kan worden gebruikt om relaties tussen woorden te extraheren en ook om analogieën te vinden. Een klassiek voorbeeld hiervan is de bekende koning-man+vrouw=koningin vergelijking. Als we het woord "dokter" echter vervangen door het woord "koning", krijgen we "verpleegster" als het vrouwelijke equivalent van de "dokter". Dit ongewenste resultaat weerspiegelt simpelweg de bestaande gendervooroordelen in onze samenleving en geschiedenis. Als in de meeste beschikbare teksten artsen over het algemeen mannen zijn en verpleegkundigen over het algemeen vrouwen, dan zal ons model dat begrijpen.

doctor = nlp.vocab['doctor'] man = nlp.vocab['man'] woman = nlp.vocab['woman'] result = doctor.vector - man.vector + woman.vector print(most_similar(result)) Uitgang: verpleegster

Cultuurspecifieke tendensen

 
Momenteel is de meest gebruikte taal op internet: Engels. Veel van het onderzoek en de producten op het gebied van Data Science en ML worden ook in het Engels gedaan. Dus veel van de 'natuurlijke' datasets die worden gebruikt om enorme taalmodellen te creëren, hebben de neiging om overeen te komen met de Amerikaanse gedachte en cultuur, en kunnen bevooroordeeld zijn ten opzichte van andere nationaliteiten en culturen.

Culturele vooringenomenheid: GPT-2 heeft actieve sturing nodig om een ​​positieve paragraaf te produceren met de gegeven prompt. ((bron))

Synthetische datasets

 
Sommige vooroordelen in de gegevens kunnen onbedoeld worden gecreëerd tijdens het constructieproces van de gegevensset. Tijdens de bouw en evaluatie is de kans groter dat mensen de details die ze kennen, opmerken en er meer aandacht aan besteden. Een bekend voorbeeld van een fout bij het classificeren van afbeeldingen is wanneer Google Foto's zwarte mensen verkeerd geclassificeerd als gorilla's. Hoewel een enkele misclassificatie van deze soort misschien geen grote impact heeft op de algemene evaluatiestatistieken, is het een gevoelige kwestie en kan het een grote impact hebben op het product en de manier waarop klanten ermee omgaan. 

Racistisch AI-algoritme? Misclassificatie van zwarte mensen als gorilla's. ((bron))

Kortom, geen enkele dataset is perfect. Of een dataset nu met de hand is gemaakt of 'natuurlijk' is, het weerspiegelt waarschijnlijk de vooroordelen van de makers, en dus zal het resulterende model ook dezelfde vooroordelen bevatten.
 
 

Eerlijke ML-modellen maken

 
Er zijn meerdere voorgestelde methoden voor het maken van eerlijke ML-modellen, die over het algemeen in een van de volgende fasen vallen.
 

Voorverwerking

 
Een naïeve benadering voor het maken van ML-modellen die onbevooroordeeld zijn met betrekking tot gevoelige attributen, is om deze attributen eenvoudigweg uit de gegevens te verwijderen, zodat het model ze niet kan gebruiken voor zijn voorspelling. Het is echter niet altijd eenvoudig om attributen in duidelijke categorieën in te delen. De naam van een persoon kan bijvoorbeeld gecorreleerd zijn met zijn of haar geslacht of etniciteit, maar we zouden dit kenmerk niet per se als gevoelig willen beschouwen. Meer geavanceerde benaderingen proberen dimensionaliteitsreductietechnieken te gebruiken om gevoelige attributen te elimineren.
 
 

Tijdens Trainingstijd

 
Een elegante methode voor onpartijdige ML-modellen maken maakt gebruik van adversarial debiasing. Bij deze methode trainen we tegelijkertijd twee modellen. Het model van de tegenstander is getraind om de beschermde attributen te voorspellen op basis van de voorspelling of verborgen representatie van de voorspellers. De voorspeller is getraind om te slagen in de oorspronkelijke taak terwijl hij de tegenstander laat falen, waardoor de vooringenomenheid wordt geminimaliseerd.

Tegenstrijdige debiasing illustratie: de voorspellerverliesfunctie bestaat uit twee termen, het voorspellerverlies en het tegengestelde verlies. ((bron))

Deze methode kan geweldige resultaten opleveren voor debiasing-modellen zonder de invoergegevens "weg te gooien", maar het kan problemen opleveren die zich in het algemeen voordoen bij het trainen van vijandige netwerken.
 
 

Nabewerking

 
In de postverwerkingsfase krijgen we de voorspellingen van het model als waarschijnlijkheden, maar we kunnen nog steeds kiezen hoe te handelen op basis van deze resultaten, we kunnen bijvoorbeeld de beslissingsdrempel voor verschillende groepen verplaatsen om aan onze eerlijkheidsvereisten te voldoen.

Een manier om de eerlijkheid van het model in de nabewerkingsfase te garanderen, is door voor alle groepen naar het snijpunt van het gebied onder de ROC-curve te kijken. De kruising vertegenwoordigt TPR's en FPR's die voor alle klassen tegelijkertijd kunnen worden behaald. Merk op dat om te voldoen aan het gewenste resultaat van gelijke TPR's en FPR's voor alle klassen, men er misschien bewust voor moet kiezen om minder goede resultaten te behalen op sommige klassen.

Het gekleurde gebied is wat haalbaar is terwijl het voldoet aan het scheidbaarheidscriterium voor eerlijkheid. ((bron))

Een andere methode om een ​​model te debiaseren in de postverwerkingsfase omvat: kalibreren de voorspellingen voor elke klasse afzonderlijk. Ijking is een methode om ervoor te zorgen dat de waarschijnlijkheidsoutputs van een classificatiemodel inderdaad de matching ratio van positieve labels weerspiegelen. Formeel wordt een classificatiemodel gekalibreerd als voor elke waarde van r:

Wanneer een model correct is gekalibreerd, zullen de foutpercentages vergelijkbaar zijn tussen de verschillende waarden van beschermde attributen.
 
 

Conclusie

 
Samenvattend hebben we de concepten van: vooringenomenheid en eerlijkheid in de ML-wereld hebben we gezien dat modelbias vaak bestaande vooroordelen in de samenleving weerspiegelt. Er zijn verschillende manieren waarop we eerlijkheid in onze modellen kunnen afdwingen en testen, en hopelijk zal het gebruik van deze methoden leiden tot meer rechtvaardige besluitvorming in AI-ondersteunde systemen over de hele wereld.

Verder lezen

 
Gendervooroordeel in woordinbedding

Propublica artikel

Alekh Agarwal, Alina Beygelzimer, Miroslav Dudík, John Langford en Hanna Wallach. (2018). Een reductiebenadering van eerlijke classificatie.

Brian Hu Zhang, Blake Lemoine en Margaret Mitchell. (2018). Ongewenste vooroordelen verminderen met vijandig leren.

Solon Barocas, Moritz Hardt en Arvind Narayanan (2019). Eerlijkheid en machinaal leren. fairmlbook.org.

Ninareh Mehrabi, Fred Morstatter, Nripsuta Saxena, Kristina Lerman en Aram Galstyan. (2019). Een onderzoek naar vooringenomenheid en eerlijkheid bij machinaal leren.

 
Biografie: Philip Tannor is mede-oprichter en CEO van Grondige controles.

Zie ook:

• Gegevensbeschermingstechnieken die nodig zijn om de privacy te garanderen
• Wat maakt AI betrouwbaar?
• Ethiek, eerlijkheid en vooringenomenheid in AI