AI is ook maar een mens

Machinemodellen vertrouwen ook op een definitie voor succes en een straf voor mislukking, volgens datawetenschapper en auteur Cathy O'Neil, die tijdens het evenement een lezing hield over de tekortkomingen van wiskundige modellen.

Ook deze zijn geschreven door mensen - vaak datawetenschappers - en het probleem hier is dat "niet iedereen het eens is over hoe succes eruitziet buiten de grenzen van een schaak- of honkbalwedstrijd", zei O'Neil.

Bovendien werken machine learning-algoritmen in een zogenaamde zwarte doos - dus de input en output zijn bekend, maar hoe of waarom een ​​algoritme de aanbeveling doet, is niet duidelijk.

Maar ondanks dit alles worden aanbevelingen voor machine learning vaak gepresenteerd en gezien als objectieve waarheid, zei O'Neil. En blind vertrouwen in hun nauwkeurigheid is al schadelijk voor levens, zoals ProPublica ontdekt in een recidive-algoritme dat blanke criminelen bevoordeelde boven zwarte criminelen en Gary Rubinstein ontdekte in een gebrekkig evaluatie-algoritme voor leraren dat werd gebruikt om onderwijzers die slecht scoorden te ontslaan.

O'Neil heeft een naam voor algoritmen zoals deze: ze noemt ze wapens van wiskundige vernietiging (zie zijbalk). "Als we algoritmen bouwen - en ik ben een datawetenschapper, dus ik bouw algoritmen - neem ik een heleboel subjectieve beslissingen", zei ze. "En als ik de resultaten van die subjectieve beslissingen presenteer als objectieve, onbevooroordeelde waarheid, dan lieg ik."

Een oproep voor verklaarbare AI

De twee presentaties, onderdeel van de openingskeynote-serie op de eerste dag in Strata, waren een waarschuwingskreet voor de datawetenschappers die helpen een meer algoritmische samenleving op te bouwen. De keynotes weekden qua toon af van de ijver en passie die tegenwoordig vaak te horen is bij kunstmatige intelligentie en machine learning-evenementen, maar O'Neil en Lavigne werden niet gezien als natte dekens.

Ondanks de razernij van de AI-media maken bedrijven en overheden zich zorgen over de black box van machine learning. De Algemene Verordening Gegevensbescherming van de EU, die volgend jaar van kracht wordt, omvat een: recht op uitleg clausule, of een uitleg over hoe een model een beslissing heeft genomen. Bovendien moeten zwaar gereguleerde industrieën aantonen dat de modellen die ze gebruiken niet bevooroordeeld zijn, volgens Doug Henschen, analist bij Constellation Research Inc., gevestigd in Cupertino, Californië, en een deelnemer aan de Strata-conferentie.

Sommigen in de branche verwijzen naar deze push om de zwarte doos van machine learning open te wrikken als: verklaarbare AI - vaak afgekapt als XAI. Sommigen noemen het VET ML, of eerlijkheid, verantwoordelijkheid en transparantie in machine learning. Ongeacht het acroniem, de ondoorzichtigheid van machine learning is een reëel probleem voor bedrijven, die hun reserveringen kenbaar maken aan leveranciers, zei Henschen. "Daarom zie je veel aankondigingen van [leveranciers] rond dit idee van transparantie," zei hij.

Hij wees op twee productlanceringen die in dezelfde week als de Strata-conferentie plaatsvonden: H2O.ai's interpreteerbaarheid van machine learning met zijn Driverless AI-product, een bedrijfsplatform dat wordt aangedreven door Nvidia DGX Systems; en die van Microsoft volgende generatie Azure Machine Learning aankondiging, waaronder een Azure Machine Learning-werkbank.

De dekens terugtrekken

De twee producten bieden verschillende functionaliteit, maar beide zijn gericht op het maken modellen voor machine learning transparanter. Een van de nieuwe functies in de Azure Machine Learning Workbench is een modelbeheerservice, die claimt ontwikkelaars inzicht te geven in de ontwikkelingslevenscyclus van een machine learning-model, van maker tot broncode tot trainingsgegevens.

Modelbeheer is een belangrijk pijnpunt voor bedrijven, volgens Matt Winkler, groepsprogrammamanager voor machine learning bij Microsoft. "En hoewel we veel achtergrond hebben op het gebied van software voor het beheren van componenten, hebben we niet echt veel van die mogelijkheden op het gebied van datawetenschap, ML/AI," zei hij.

De modelbeheerservice van Microsoft doet niet af aan de manier waarop machine learning-modellen beslissingen nemen, maar Winkler zei dat het helpt om de basis hiervoor te leggen. "Je kunt echt naar binnen gaan en debuggen waarom een ​​​​beslissing is genomen", zei hij. De service kan nuttig zijn voor bedrijven die: een verplichting hebben om uit te leggen hoe een beslissing wordt genomen omdat het helpt om "de gebruikte methoden, tools en kaders bloot te leggen", zei hij.

De nieuwe functies van H2O omvatten technieken zoals 'surrogaatmodellen' die kunnen helpen bij het interpreteren van de resultaten van machine learning-modellen. "Dit zijn eenvoudige modellen van complexe modellen," zei Patrick Hal, senior director of product bij H2O.ai, gevestigd in Mountain View, Californië.

Veel van de technieken zijn gebaseerd op het werk dat is gedaan bij kredietbeoordeling, waarbij modellen worden gebruikt om klanten automatisch goed te keuren voor creditcards of kleine leningen. Kredietverstrekkers zijn verplicht om klanten uitleg te geven, vaak redencodes genoemd, als ze worden afgewezen. De interpreteerbaarheidsfuncties van H2O voor machine learning zijn bedoeld om hetzelfde soort inzicht te bieden in voorspellingen van machine learning-modellen.

"Het zijn manieren om voor één persoon, één klant, één patiënt, één rij in de dataset te begrijpen waarom het model de beslissing heeft genomen die het heeft genomen", zei Hall.

Maar de nieuwe functies van H2O lossen het transparantieprobleem niet volledig op. Hall raadt bijvoorbeeld niet aan dat het product nu door gereguleerde industrieën wordt gebruikt. “Bij de interpreteerbaarheid van machine learning bieden we bij benadering verklaringen voor meer exacte modellen. En alle regelgeving is gebaseerd op lineaire modellen, dus het is gebaseerd op exacte verklaringen voor geschatte modellen,' zei hij. "Ik wil niet zeggen dat het niet zou werken in gereguleerde industrieën, maar als ik eerlijk ben, is dat een zeer hoge lat om te bereiken."

Hall, die zelf voorstander is van de regelgeving, zei dat H2O het transparantieprobleem bij machine learning zal blijven wegnemen en nieuwe technieken zal zoeken en ontwikkelen die een niveau van interpreteerbaarheid kunnen bieden dat bestand is tegen naleving van de regelgeving.

"Persoonlijk denk ik niet dat het een goed idee is om black box-modellen om te zetten in beslissingen die hoe dan ook het leven van mensen zullen beïnvloeden," zei hij. "Het is een recept om mensen zich achter machine learning te laten verschuilen om vooringenomen beslissingen te nemen."