Om duidelijkheid te bieden en mogelijke schade te voorkomen, worden algoritmen die van invloed zijn op mensenlevens idealiter beoordeeld door een onafhankelijke instantie voordat ze worden ingezet, net zoals milieueffectrapporten moeten worden goedgekeurd voordat een bouwproject kan beginnen. Hoewel een dergelijke wettelijke vereiste voor AI in de VS niet bestaat, is een aantal startups opgericht om een ​​leegte voor algoritme-audits en risicobeoordelingen te vullen.

Een derde partij die wordt vertrouwd door het publiek en potentiële klanten, zou het vertrouwen in AI-systemen in het algemeen kunnen vergroten. Zoals AI-startups in de luchtvaart en autonoom rijden hebben betoogd, kan regelgeving innovatie mogelijk maken en bedrijven, overheden en individuen helpen om AI veilig te implementeren.

In de afgelopen jaren hebben we voorstellen gezien voor tal van wetten die algoritme-audits door een extern bedrijf ondersteunen, en vorig jaar hebben tientallen invloedrijke leden van de AI-gemeenschap uit de academische wereld, de industrie en het maatschappelijk middenveld aanbevolen externe algoritme-audits als een manier om AI-principes in daden om te zetten.

Zoals adviesbureaus die bedrijven helpen schaal AI-implementaties, diensten voor gegevensbewaking aanbiedenen ongestructureerde gegevens sorteren, vullen startups met algoritme-audits een niche in de groeiende AI-industrie. Maar recente gebeurtenissen rond HireVue lijken te illustreren hoe deze bedrijven verschillen van andere AI-startups.

HireVue wordt momenteel gebruikt door meer dan 700 bedrijven, waaronder Delta, Hilton en Unilever, voor vooraf samengestelde en aangepaste beoordelingen van sollicitanten op basis van een cv, video-interview of hun prestaties bij het spelen van psychometrische games.

Twee weken geleden kondigde HireVue aan dat het geen gezichtsanalyse meer zou gebruiken om te bepalen of iemand geschikt is voor een baan. U kunt zich afvragen: hoe kan het herkennen van kenmerken in iemands gezicht ooit worden beschouwd als een wetenschappelijk verifieerbare manier om te concluderen dat ze geschikt zijn voor een baan? HireVue heeft die resultaten nooit echt bewezen, maar de bewering riep veel vragen op.

Dat zei een manager van HireVue in 2019 10% tot 30% van de competentiescores kan worden gekoppeld aan gezichtsanalyse. Maar toen rapporteerde hij de claim van het bedrijf "diep verontrustend. " Voordat het in Utah gevestigde bedrijf besloot gezichtsanalyse achterwege te laten, zei ethiekleider Suresh Venkatasubramanian heeft ontslag genomen uit een HireVue-adviesraad. En het Electronic Privacy Information Center heeft een klacht met de Federal Trade Commission (FTC) die beweert dat HireVue betrokken was bij oneerlijke en misleidende handelspraktijken in strijd met de FTC-wet. De klacht citeert specifiek studies die hebben aangetoond dat gezichtsherkenningssystemen emoties op verschillende manieren kunnen identificeren op basis van iemands ras. De klacht wees ook op een gedocumenteerde geschiedenis van gezichtsherkenningssystemen die verkeerd identificeerden vrouwen met een donkere huid, mensen die zich niet conformeren aan een binaire genderidentiteit en Aziatische Amerikanen.

Gezichtsanalyse identificeert personen misschien niet - zoals gezichtsherkenningstechnologie zou doen - maar als een partnerschap voor AI zet hetgezichtsanalyse kan kenmerken classificeren met "meer complexe culturele, sociale en politieke implicaties", zoals leeftijd, ras of geslacht.

Ondanks deze zorgen, in een persbericht Bij de aankondiging van de resultaten van hun audit, verklaart HireVue: "De audit concludeerde dat '[HireVue] -beoordelingen werken zoals geadverteerd met betrekking tot eerlijkheid en vooringenomenheid.' 'De audit werd uitgevoerd door O'Neil Risk Consulting en Algorithmic Auditing (ORCAA), gemaakt door datawetenschapper Cathy O'Neil. O'Neil is ook auteur van het boek Wapens van Math Destruction, dat kritisch kijkt naar de impact van algoritmen op de samenleving.

Het auditrapport bevat geen analyse van trainingsgegevens of code van het AI-systeem, maar eerder gesprekken over de soorten schade die de AI van HireVue zou kunnen veroorzaken bij het uitvoeren van vooraf gebouwde beoordelingen van sollicitanten in het begin van hun carrière op basis van acht competentiemetingen.

De ORCAA-audit stelde vragen aan teams binnen het bedrijf en externe belanghebbenden, waaronder mensen die werden gevraagd om een ​​test af te leggen met HireVue-software en bedrijven die betalen voor de diensten van het bedrijf.

Nadat u een juridische overeenkomst heeft ondertekend, u kunt de audit van acht pagina's lezen document voor uzelf. Het stelt dat tegen de tijd dat ORCAA de audit uitvoerde, HireVue al had besloten om gezichtsanalyse geleidelijk af te schaffen.

De audit brengt ook de bezorgdheid onder belanghebbenden uit dat visuele analyse mensen in het algemeen ongemakkelijk maakt. En een deelnemer aan het interview met belanghebbenden uitte zijn bezorgdheid dat gezichtsanalyse van HireVue anders zou kunnen werken voor mensen die hoofd- of gezichtsbedekking dragen en hun aanvraag voor menselijke beoordeling onevenredig zou kunnen markeren. Laatste val, VentureBeat meldde dat mensen met een donkere huid het State Bar-examen aflegden met software voor bewaking op afstand soortgelijke zorgen geuit.

Het werk van Brookings Institution, collega Alex Engler, richt zich op kwesties van AI-governance. In een op-ed bij Fast Company deze week, Schreef Engler dat hij gelooft dat HireVue de auditresultaten verkeerd heeft gekarakteriseerd om deel te nemen aan een vorm van ethisch wassen en beschreef het bedrijf als meer geïnteresseerd in 'gunstige pers dan legitieme introspectie'. Hij typeerde ook algoritme-auditing startups als een "ontluikende maar onrustige industrie" en riep op tot overheidstoezicht of regelgeving om audits eerlijk te houden.

HireVue CEO Kevin Parker vertelde VentureBeat dat het bedrijf ongeveer een jaar geleden begon met het geleidelijk afbouwen van het gebruik van gezichtsanalyses. Hij zei dat HireVue tot dat besluit kwam na negatieve berichtgeving en een interne beoordeling die concludeerde dat "het voordeel van het opnemen ervan niet voldoende was om de bezorgdheid die het veroorzaakte te rechtvaardigen."

Alex Engle heeft gelijk: algoritmische auditbedrijven zoals de mijne lopen het risico corrupt te worden.

We hebben meer invloed nodig om dingen goed te doen, met een open methodologie en resultaten.

Waar zouden we zo'n hefboomwerking vandaan halen? Rechtszaken, regelgevende handhaving of beide.https://t.co/2zkgFs4YEo

- Cathy O'Neil (@mathbabedotorg) 26 januari 2021

Parker betwist de bewering van Engler dat HireVue de auditresultaten verkeerd heeft gekarakteriseerd en zei dat hij trots is op de uitkomst. Maar één ding zijn Engler, HireVue en ORCAA het erover eens, dat er behoefte is aan veranderingen in de hele sector.

“Het hebben van een standaard die zegt 'Dit is wat we bedoelen als we algoritmische audit' zeggen en wat het dekt en wat het zegt dat de bedoeling is, zou zeer nuttig zijn, en we willen daar graag aan deelnemen en zien dat die normen naar buiten komen. Of het nu gaat om regelgeving of industrie, ik denk dat het allemaal nuttig zal zijn, ”zei Parker.

Dus wat voor soort overheidsregulering, industriestandaarden of intern bedrijfsbeleid is er nodig om startups met algoritme-audits te laten slagen? En hoe kunnen ze hun onafhankelijkheid behouden en voorkomen dat ze gecoöpteerd worden, zoals sommige ethische onderzoeken op het gebied van AI en diversiteit in technische initiatieven de afgelopen jaren hebben gedaan?

Om erachter te komen, sprak VentureBeat met vertegenwoordigers van bnh.ai, Pariteit, en ORCAA, startups die algoritme-audits aanbieden aan zakelijke en overheidsklanten.

Bedrijven verplichten om algoritme-audits uit te voeren

Een oplossing die werd onderschreven door mensen die bij elk van de drie bedrijven werkten, was om regelgeving vast te stellen die algoritme-audits vereist, met name voor algoritmen die beslissingen informeren die een aanzienlijke impact hebben op het leven van mensen.

"Ik denk dat het laatste antwoord federale regelgeving is, en we hebben dit gezien in de banksector", zei bnh.ai hoofdwetenschapper en George Washington University, een bezoekende professor Patrick Hall. De Federal Reserve SR-11 richtlijnen voor modelrisicobeheer verplichten momenteel audits van statistische en machine learning-modellen, wat Hall ziet als een stap in de goede richting. Het National Institute for Standards and Technology (NIST) test gezichtsherkenningssystemen die zijn getraind door particuliere bedrijven, maar dat is een vrijwillig proces.

ORCAA-hoofdstrateeg Jacob Appel zei dat een algoritme-audit momenteel wordt gedefinieerd als wat een geselecteerde algoritme-auditor aanbiedt. Hij suggereert dat bedrijven verplicht zijn om algoritme-auditrapporten openbaar te maken op dezelfde manier als beursgenoteerde bedrijven verplicht zijn om financiële overzichten te delen. Het is prijzenswaardig voor bedrijven om een ​​rigoureuze audit uit te voeren terwijl er geen wettelijke verplichting is om dit te doen, maar Appel zei dat deze vrijwillige praktijk een weerspiegeling is van een gebrek aan toezicht in de huidige regelgeving.

"Als er klachten of kritiek zijn over hoe de auditresultaten van HireVue zijn vrijgegeven, denk ik dat het nuttig is om te zien dat het verband met het ontbreken van wettelijke normen en regelgevende vereisten bijdraagt ​​aan die resultaten", zei hij. "Deze vroege voorbeelden kunnen helpen om de behoefte aan een omgeving te benadrukken of te onderstrepen waar er wettelijke en regelgevende vereisten zijn die de controleurs wat meer vaart geven."

Er zijn steeds meer tekenen dat externe algoritme-audits een standaard kunnen worden. Wetgevers in sommige delen van de Verenigde Staten hebben wetgeving voorgesteld die effectief markten zou creëren voor startups met algoritme-audits. In New York City, wetgevers hebben mandaat voorgesteld een jaarlijkse test voor het inhuren van software die AI gebruikt. Afgelopen herfst verwierpen de kiezers in Californië Prop 25, dat de provincies zou verplichten om borgtochtsystemen te vervangen door een algoritmische beoordeling. De verwante Senaatswet 36 vereist een externe beoordeling van algoritmen voor voorafgaande risicobeoordeling door een onafhankelijke derde partij. In 2019 hebben federale wetgevers introduceerde de Algorithmic Accountability Act bedrijven te verplichten algoritmen te onderzoeken en te corrigeren die resulteren in discriminerende of oneerlijke behandeling.

Bij elke regelgevende vereiste moet echter worden overwogen hoe eerlijkheid en de invloed van AI die door een derde partij wordt geleverd, kunnen worden gemeten, aangezien er maar weinig AI-systemen volledig in eigen huis worden gebouwd.

Rumman Chowdhury is CEO van Parity, een bedrijf dat ze een paar maanden geleden oprichtte nadat ze haar functie als wereldwijde leider voor verantwoordelijke AI bij Accenture had verlaten. Ze is van mening dat bij dergelijke regelgeving rekening moet worden gehouden met het feit dat gebruikssituaties sterk kunnen variëren van bedrijfstak tot bedrijfstak. Ze is ook van mening dat wetgeving claims op intellectueel eigendom van AI-startups die geen trainingsgegevens of code willen delen, moet aanpakken bezorgdheid die dergelijke startups vaak oproepen in juridische procedures.

"Ik denk dat de uitdaging hier is om transparantie te balanceren met de zeer reële en tastbare behoefte voor bedrijven om hun IP en wat ze bouwen te beschermen", zei ze. "Het is oneerlijk om te zeggen dat bedrijven al hun gegevens en modellen zouden moeten delen, omdat ze een IP hebben die ze bouwen, en je zou een startup kunnen controleren."

Behoud onafhankelijkheid en vergroot het vertrouwen van het publiek

Om te voorkomen dat de startup-ruimte voor algoritme-auditing wordt overgenomen, zei Chowdhury dat het essentieel zal zijn om gemeenschappelijke professionele normen vast te stellen via groepen zoals de IEEE of overheidsregelgeving. Elke handhaving of norm kan ook een overheidsmandaat omvatten dat auditors een of andere vorm van training of certificering krijgen, zei ze.

Appel suggereerde dat een andere manier om de publieke betrouwbaarheid te vergroten en de gemeenschap van belanghebbenden die door technologie worden beïnvloed, te verbreden, is om een ​​openbare commentaarperiode voor algoritmen verplicht te stellen. Dergelijke periodes worden gewoonlijk ingeroepen voorafgaand aan wet- of beleidsvoorstellen of burgerinspanningen zoals voorgestelde bouwprojecten.

Andere regeringen zijn begonnen met het implementeren van maatregelen om het vertrouwen van het publiek in algoritmen te vergroten. De steden van Amsterdam en Helsinki hebben algoritme-registers gemaakt eind 2020 om de lokale bewoners de naam te geven van de persoon en de stadsafdeling die verantwoordelijk is voor het implementeren van een bepaald algoritme en feedback te geven.

Definieer audits en algoritmen

Een taalmodel met miljarden parameters is anders dan een eenvoudiger algoritmisch besluitvormingssysteem zonder kwalitatief model. Definities van algoritmen kunnen nodig zijn om te helpen definiëren wat een audit zou moeten bevatten, en om bedrijven te helpen begrijpen wat een audit zou moeten bereiken.

“Ik denk wel dat regelgeving en normen vrij duidelijk moeten zijn over wat er van een audit wordt verwacht, wat het moet bereiken, zodat bedrijven kunnen zeggen: 'Dit is wat een audit niet kan en dit is wat het wel kan.' Het helpt om de verwachtingen te managen, denk ik, ”zei Chowdhury.

Een cultuuromslag voor mensen die met machines werken

Vorige maand riep een kader van AI-onderzoekers op tot een cultuurverandering in computervisie en NLP-gemeenschappen. Een paper dat ze publiceerden, behandelt de implicaties van een cultuuromslag voor datawetenschappers binnen bedrijven. De suggesties van de onderzoekers omvatten verbeteringen in datadocumentatiepraktijken en audittrails door middel van documentatie, procedures en processen.

Chowdhury suggereerde ook dat mensen in de AI-industrie willen leren van structurele problemen die andere industrieën al hebben ondervonden.

Voorbeelden hiervan zijn de onlangs gelanceerde AI Incidentendatabase, die een benadering ontleent die wordt gebruikt in de luchtvaart en computerbeveiliging. Gemaakt door het Partnership on AI, is de database een gezamenlijke inspanning om gevallen te documenteren waarin AI-systemen falen. Anderen hebben gesuggereerd dat de AI-industrie stimuleren het vinden van vooringenomenheid in netwerken de beveiligingsindustrie doet met bugbounties.

"Ik denk dat het heel interessant is om te kijken naar zaken als bugbounties en incidentrapportagedatabases, omdat het bedrijven in staat stelt om zeer openbaar te zijn over de fouten in hun systemen op een manier dat we er allemaal aan werken om ze op te lossen in plaats van ernaar te wijzen, omdat het is verkeerd geweest, 'zei ze. "Ik denk dat de manier om dat te laten slagen een audit is die niet achteraf kan plaatsvinden - het zou moeten gebeuren voordat er iets wordt vrijgegeven."

Beschouw een audit niet als een wondermiddel

Zoals de ORCAA-audit van een HireVue-use case aantoont, kan de openbaarmaking van een audit beperkt zijn en hoeft dit niet noodzakelijk te garanderen dat AI-systemen vrij zijn van vooringenomenheid.

Chowdhury zei dat een verbroken verbinding die ze vaak tegenkomt met klanten de verwachting is dat een audit alleen rekening houdt met code of gegevensanalyse. Ze zei dat audits zich ook kunnen richten op specifieke use-cases, zoals het verzamelen van input van gemarginaliseerde gemeenschappen, risicobeheer of kritisch onderzoek van de bedrijfscultuur.

“Ik denk dat er een idealistisch idee is van wat een audit gaat bereiken. Een audit is maar een rapport. Het zal niet alles oplossen, en het zal niet eens alle problemen identificeren, ”zei ze.

Bnh.ai-directeur Andrew Burt zei dat klanten audits eerder als een wondermiddel beschouwen dan als onderdeel van een continu proces om te controleren hoe algoritmen in de praktijk presteren.

“Eenmalige audits zijn nuttig, maar slechts tot op zekere hoogte, vanwege de manier waarop AI in de praktijk wordt geïmplementeerd. De onderliggende gegevens veranderen, de modellen zelf kunnen veranderen, en dezelfde modellen worden vaak gebruikt voor secundaire doeleinden, die allemaal periodiek moeten worden herzien, ”zei Burt.

Overweeg risico's die verder gaan dan wat legaal is

Audits om de naleving van overheidsregelgeving te garanderen, zijn mogelijk niet voldoende om mogelijk kostbare risico's op te vangen. Een audit kan een bedrijf buiten de rechtbank houden, maar dat is niet altijd hetzelfde als het bijhouden van evoluerende ethische normen of het beheren van het risico dat onethische of onverantwoordelijke acties vormen voor de bedrijfsresultaten.

“Ik denk dat er een aspect van algoritmische audit moet zijn dat niet alleen over compliance gaat, maar ook over ethisch en verantwoord gebruik, wat trouwens een aspect is van risicomanagement, zoals reputatierisico's. Je kunt absoluut iets legaals doen waarvan iedereen denkt dat het vreselijk is, ”zei Chowdhury. “Er is een aspect van algoritmische audit dat zou moeten omvatten wat de impact is op de samenleving in relatie tot de reputatieschade op uw bedrijf, en dat heeft eigenlijk niets te maken met de wet. Het is eigenlijk wat er nog meer boven en buiten de wet? "

Laatste gedachten

In de huidige omgeving voor startups met algoritme-audits, zei Chowdhury dat ze zich zorgen maakt dat bedrijven die verstandig genoeg zijn om de beleidsimplicaties van inactiviteit te begrijpen, kunnen proberen het auditproces te coöpteren en het verhaal te stelen. Ze maakt zich ook zorgen dat startups die onder druk worden gezet om hun inkomsten te verhogen, wellicht minder goed zijn dan robuuste audits.

"Hoe graag ik ook zou willen geloven dat iedereen een goede acteur is, niet iedereen is een goede acteur, en er is zeker iets te doen door in wezen ethische wassen aan te bieden aan bedrijven onder het mom van algoritmische auditing," zei ze. “Omdat het een beetje een Wild West-territorium is als het gaat om wat het betekent om een ​​audit uit te voeren, is het ieders spel. En helaas, als het iemands spel is en de andere acteur niet wordt gestimuleerd om te presteren volgens de hoogste standaard, gaan we naar de laagste noemer, mijn angst. "

Topambtenaren van de Biden-administratie van de FTC, het ministerie van Justitie en het Witte Huis Office of Science and Technology hebben allemaal plannen aangekondigd om de regulering van AI te versterken, en een Het Democratisch Congres zou een reeks technische beleidskwesties kunnen aanpakken. Kaders voor interne audit en risicobeoordelingen zijn ook opties. De OESO en Data & Society zijn momenteel bezig met het ontwikkelen van classificatietools voor risicobeoordeling die bedrijven kunnen gebruiken om te bepalen of een algoritme als hoog of laag risico moet worden beschouwd.

Maar startups met algoritme-audits verschillen van andere AI-startups doordat ze goedkeuring moeten zoeken bij een onafhankelijke arbiter en tot op zekere hoogte het grote publiek. Om hun succes te verzekeren, suggereren mensen achter startups met algoritme-audits, zoals degenen met wie ik sprak, steeds strengere regelgeving en normen voor de hele sector.