Algoritmen worden door bedrijven en overheden gebruikt om de besluitvorming over aanwerving, medische zorg en voorwaardelijke vrijlating te verbeteren. Algoritmen hebben het potentieel om menselijke vooroordelen in de besluitvorming te vervangen, maar ze komen vaak tot discriminerende conclusies.
Een nieuwe studie van de American Psychological Association onderzocht of mensen minder verontwaardigd zijn over algoritmische discriminatie dan over menselijke discriminatie. Het onderzoek suggereert dat mensen minder moreel verontwaardigd zijn wanneer discriminatie op grond van geslacht plaatsvindt vanwege een algoritme in plaats van directe menselijke betrokkenheid.
Acht onderzoeken testen deze algoritmische verontwaardiging-tekorthypothese in de context van genderdiscriminatie bij aanwervingspraktijken bij verschillende groepen deelnemers. Om hun bevindingen uit acht onderzoeken met in totaal meer dan 3,900 mensen uit de Verenigde Staten, Canada en Noorwegen te verklaren, creëerden wetenschappers in het onderzoek de term 'algoritmisch verontwaardigingstekort'.
Toen ze verschillende scenario's kregen over genderdiscriminatie bij wervingsbeslissingen veroorzaakt door algoritmen en mensen, waren de deelnemers minder moreel verontwaardigd over die veroorzaakt door algoritmen. Ook waren de deelnemers van mening dat bedrijven door een algoritme wettelijk minder aansprakelijk zijn voor discriminatie.
Hoofdonderzoeker Yochanan Bigman, Ph.D., een postdoctoraal onderzoeker aan de Yale University, zei: “Het is zorgwekkend dat bedrijven algoritmen kunnen gebruiken om zichzelf te beschermen tegen schuld en publieke controle over discriminerende praktijken. De bevindingen kunnen bredere implicaties hebben en van invloed zijn op de inspanningen om discriminatie te bestrijden.”
“Mensen zien mensen die discrimineren als gemotiveerd door vooroordelen, zoals racisme of seksisme, maar ze zien algoritmen die discrimineren als gemotiveerd door data, dus ze zijn minder moreel verontwaardigd. Morele verontwaardiging is een belangrijk maatschappelijk mechanisme om mensen te motiveren om onrecht aan te pakken. Als mensen minder moreel verontwaardigd zijn over discriminatie, zijn ze misschien minder gemotiveerd om er iets aan te doen.”
Sommige experimenten gebruikten een scenario gebaseerd op een realistisch voorbeeld van vermeende op algoritmen gebaseerde genderdiscriminatie door Amazon die vrouwelijke sollicitanten bestrafte. Hoewel de studie zich concentreerde op discriminatie op grond van geslacht, werden vergelijkbare resultaten verkregen toen een van de acht onderzoeken werd herhaald om vooroordelen over ras en leeftijd te onderzoeken.
Kennis over kunstmatige intelligentie leek geen verschil te maken. In een experiment met meer dan 150 technische werkers in Noorwegen, deelnemers die meer uitstekende kennis rapporteerden over kunstmatige intelligentie waren nog minder verontwaardigd over genderdiscriminatie veroorzaakt door algoritmen.
De wetenschappers ontdekten dat als mensen meer te weten komen over een specifiek algoritme, dit kan veranderen hoe ze zich voelen. In een ander onderzoek uitten de deelnemers meer verontwaardiging toen werd onthuld dat mannelijke programmeurs bij een bedrijf met een geschiedenis van seksisme een wervingsalgoritme hadden ontwikkeld dat resulteerde in discriminatie op grond van geslacht.
Grote man zei, “Programmeurs moeten zich bewust zijn van de mogelijkheid van onbedoelde discriminatie bij het ontwerpen van nieuwe algoritmen. Publieke voorlichtingscampagnes zouden ook kunnen benadrukken dat discriminatie veroorzaakt door algoritmen een gevolg kan zijn van bestaande ongelijkheden.”
Journal Reference:
- Yochanan E. Bigman, Desman Wilson et al. Algoritmische discriminatie veroorzaakt minder morele verontwaardiging dan menselijke discriminatie. DOI: 10.1037 / xge0001250
