Financiële dienstverleners vertrouwen in toenemende mate op AI om beslissingen te nemen die mensen vroeger namen, waardoor de bedrijven efficiënter worden en de kosten worden verlaagd.
Het opheffen van vooringenomenheid in AI is een kans voor fintech en een die hard nodig is
Waar deze beslissingen klantgerelateerd zijn, zijn deze klanten nu overgeleverd aan algoritmen. In theorie zou dit een goede zaak moeten zijn.
Algoritmen voelen geen emoties en nemen daarom beslissingen op basis van harde feiten en datapunten, wat betekent dat menselijke eigenschappen van bewuste en onbewuste vooringenomenheid niet mogen voorkomen. En toch lijkt het erop dat AI's een verlengstuk zijn geworden van de mensen die ze hebben geprogrammeerd en hun vooroordelen hebben doorgevoerd.
Ik las onlangs een fascinerend artikel in Tijd over de problemen van Uber met AI.
Uber gebruikt AI-gestuurde gezichtsherkenning om chauffeurs te verifiëren. Sommige chauffeurs zeggen echter dat ze geen toegang meer hadden tot de Uber-app omdat de AI van mening was dat ze op frauduleuze wijze toegang probeerden te krijgen.
Volgens de chauffeurs en vakbond de Independent Workers' Union of Great Britain (IWGB) leek het probleem te zijn dat de gezichtsherkenningstechnologie moeite had met donkere huidskleuren.
In een recent gesprek met Kareem Saleh van een start-up genaamd Fairplay, werd ik geconfronteerd met de harde realiteit van AI-gedreven vooringenomenheid in de financiële dienstverlening.
Kareem liet me een reeks infographics zien die leenbeslissingen illustreren die zijn genomen voor woningkredieten in de VS. De gegevensbron zijn de kredietverstrekkers zelf, die wettelijk verplicht zijn om etniciteit en geslacht te verzamelen en te rapporteren als onderdeel van het proces.
Fairplay heeft alle beschikbare gegevens verzameld en gebruikt deze om een dashboard aan te sturen dat de kredietbeslissingen op provinciaal niveau weergeeft. De gegevens laten een schokkende vooringenomenheid zien op basis van etniciteit en geslacht. De negatieve vooringenomenheid is vooral acuut voor zwarte mensen, hoewel Hispanics en Native Americans het niet veel beter doen. Vrouwen zijn ook vaker benadeeld dan mannen.
Het zien van de vergelijkingen is ontnuchterend.
Resultaten kunnen per instelling worden getoond, en voor de meesten zou ik zeggen dat het ongelooflijk ongemakkelijk is om te kijken. Zwarte mensen in veel gebieden hebben 80% minder kans op een positief resultaat.
Toen Kareem me voor het eerst de infographics liet zien, was ik er (misschien naïef) van uitgegaan dat de resultaten waren gebaseerd op een door mensen gestuurd proces. Het was dus des te schokkender om te ontdekken dat de resultaten werden aangedreven door machines.
Ik vroeg Kareem wat de beste aanpak was om het probleem op te lossen. Hij antwoordde dat "het eerste wat je moet doen een diagnose is". Kareem vertelde me dat Fairplay een analysetool heeft die de bestaande kredietverleningssoftware van een bank analyseert op tekenen van discriminatie. Het probeert de volgende vragen te beantwoorden:
- Is het algoritme eerlijk?
- Zo nee, waarom niet?
- Hoe kan het eerlijker?
- Wat is de economische impact op het bedrijf van eerlijk zijn?
- Krijgen aanvragers die worden afgewezen een tweede blik om te zien of ze op favoriete kredietnemers kunnen lijken?
Het beantwoorden van deze vragen dwingt instellingen om naar hun beslissingsmotoren te kijken en manieren te vinden om ze opnieuw op te leiden.
Het opnieuw beoordelen van afgewezen kredietaanvragen gebeurt met behulp van meer volledige informatie over de kredietnemers en verschillende modelleringstechnieken om te zien of ze op kredietwaardige mensen lijken. Zo hebben vrouwen bijvoorbeeld vaak een wisselende baan tussen 25 en 45 jaar. Dit zou een kredietwaardigheidsvlag zijn voor mannelijke kredietnemers, maar niet noodzakelijk voor vrouwen die hun loopbaan onderbreken om kinderen op te voeden.
Kareem weet dat kredietverstrekkers hun goedkeuringspercentages voor vrouwelijke, zwarte en andere niet-blanke mensen zullen verhogen door algoritmen opnieuw te trainen en een tweede blik te werpen op afgewezen klanten, vooral die net onder de goedkeuringsdrempel. Volgens zijn schattingen kan deze toename 10-30% zijn, wat enorm is.
Het gevaar voor ons allemaal is dat AI een bot instrument wordt, dat beslissingen neemt op basis van de gegevens die het krijgt in plaats van breder te kijken.
Naarmate machines meer beslissingen nemen, zullen consumenten willen weten dat die beslissingen eerlijk worden genomen. Het zijn ook niet alleen consumenten. Regelgevers geven prioriteit aan diversiteit en inclusie. Ze zien dat het wegnemen van vooroordelen en het vergroten van de rechtvaardigheid de sector ten goede zal komen.
Eerlijk gezegd zouden wij, die in de industrie werken, er alles aan moeten doen om ervoor te zorgen dat ras en geslacht weinig invloed hebben op de beslissingen van machines.
Het ongedaan maken van vooringenomenheid in AI is een geheel nieuwe fintech-kans en een die hard nodig lijkt te zijn.
Dus als ik een instelling was, zou ik zorgvuldig naar mijn algoritmen en AI kijken, Kareems vijf ongelooflijk verstandige vragen stellen en er dan iets aan doen!
Over de auteur
Dave Wallace is een professional op het gebied van gebruikerservaring en marketing die de afgelopen 25 jaar financiële dienstverleners heeft geholpen bij het ontwerpen, lanceren en ontwikkelen van digitale klantervaringen.
Hij is een gepassioneerde belangenbehartiger en voorvechter van klanten en een succesvolle ondernemer.
Volg hem op Twitter op @davejvwallace en maak verbinding met hem LinkedIn.
