Vorgeschlagener Rahmen

Das NIST-Dokument legt einen Rahmen fest, um KI-Bias an verschiedenen Punkten im Lebenszyklus eines Systems zu erkennen und zu beheben, von der Konzeption über die Iteration und das Debugging bis zur Veröffentlichung. Es beginnt in der Vorentwurfs- oder Ideenfindungsphase, bevor es zu Design und Entwicklung und schließlich zur Bereitstellung übergeht.

Da viele der nachgelagerten Prozesse von hier getroffenen Entscheidungen abhängen, besteht in der Vorentwurfsphase ein großer Druck, „die Dinge richtig zu machen“, stellen die NIST-Koautoren fest. Von zentraler Bedeutung für diese Entscheidungen ist, wer sie trifft und welche Personen oder Teams die meiste Macht oder Kontrolle über sie haben, was begrenzte Sichtweisen widerspiegeln, spätere Phasen und Entscheidungen beeinflussen und zu verzerrten Ergebnissen führen kann.

Es ist beispielsweise ein offensichtliches Risiko, Vorhersagemodelle für Szenarien zu erstellen, die bereits als diskriminierend bekannt sind, wie z Verleih. Dennoch gehen Entwickler oft nicht auf die Möglichkeit überhöhter Erwartungen in Bezug auf KI ein. Tatsächlich kreisen aktuelle Annahmen in der Entwicklung oft um die Idee des technologischen Lösungsansatzes, der Wahrnehmung, dass Technologie nur zu positiven Lösungen führt.

Die Entwurfs- und Entwicklungsphasen stellen andere, damit verbundene Herausforderungen. Hier konzentrieren sich Data Scientists oft allein auf Leistung und Optimierung, was selbst zu Verzerrungen führen kann. Modellierer werden beispielsweise fast immer die genauesten Modelle für maschinelles Lernen auswählen. Die Nichtberücksichtigung des Kontexts kann jedoch zu verzerrten Ergebnissen für bestimmte Populationen führen, ebenso wie die Verwendung aggregierter Daten über Gruppen, um Vorhersagen über individuelles Verhalten zu treffen. Diese letztere Art von Voreingenommenheit, bekannt als „ökologischer Fehlschluss“, gewichtet unbeabsichtigt bestimmte Faktoren, sodass gesellschaftliche Ungleichheiten verschärft werden.

Der ökologische Trugschluss ist in der Modellierung des Gesundheitswesens weit verbreitet, wo gezeigt wurde, dass viele der Daten, die zum Trainieren von Algorithmen zur Diagnose und Behandlung von Krankheiten verwendet werden, Ungleichheiten aufrechterhalten. Vor kurzem hat ein Team britischer Wissenschaftler gefunden dass fast alle Datensätze zu Augenkrankheiten von Patienten in Nordamerika, Europa und China stammen, was bedeutet, dass Algorithmen zur Diagnose von Augenkrankheiten für Rassengruppen aus unterrepräsentierten Ländern weniger sicher sind. In einem anderen Studie, behaupteten Forscher der Stanford University, dass die meisten US-Daten für Studien zur medizinischen Verwendung von KI aus New York, Kalifornien und Massachusetts stammen.

Wenn KI-Systeme die Bereitstellungsphase erreichen – dh wenn Menschen mit ihnen interagieren – beginnen schlechte Entscheidungen in den früheren Phasen Auswirkungen zu haben, die den betroffenen Menschen normalerweise nicht bekannt sind. Beispielsweise können algorithmische Modelle nur auf Daten von den aktivsten Benutzern aufbauen, indem sie nicht darauf ausgelegt sind, Aktivitätsverzerrungen zu kompensieren. Die NIST-Koautoren knüpfen das Problem an die Tatsache, dass Gruppen, die die Algorithmen erfinden, sich wahrscheinlich nicht – manchmal absichtlich – all der potenziell problematischen Möglichkeiten bewusst sind, auf die sie umfunktioniert werden. Darüber hinaus gibt es individuelle Unterschiede in der Interpretation der Vorhersagen von KI-Modellen, die dazu führen können, dass Entscheidungen auf grobe, ungenaue automatisierte Werkzeuge „ausgelagert“ werden.

Dies zeigt sich insbesondere im Sprachbereich, wo das Modellverhalten nicht auf universelle Standards reduziert werden kann, da sich „erwünschtes“ Verhalten je nach Anwendung und sozialem Kontext unterscheidet. Eine Studie von Forschern der University of California, Berkeley, und der University of Washington veranschaulicht dies und zeigt, dass Sprachmodelle, die in der Produktion eingesetzt werden, möglicherweise Schwierigkeiten haben, Aspekte von Minderheitensprachen und Dialekten zu verstehen. Dies könnte Menschen, die die Modelle verwenden, dazu zwingen, auf „weiß ausgerichtetes Englisch“ umzusteigen, um sicherzustellen, dass die Modelle beispielsweise für sie besser funktionieren, was Minderheitensprecher davon abhalten könnte, sich von Anfang an mit den Modellen zu beschäftigen.

Voreingenommenheit in der KI bekämpfen

Was ist gegen die Fallstricke zu tun? Die NIST-Koautoren empfehlen, frühzeitig im KI-Entwicklungsprozess Vorurteile zu erkennen, indem die „Vielfalt“ – einschließlich Rasse, Geschlecht, Alter – entlang sozialer Linien beibehalten wird, bei denen Vorurteile ein Problem darstellen. Obwohl sie anerkennen, dass die Ermittlung von Auswirkungen Zeit in Anspruch nehmen kann und die Einbeziehung von Endnutzern, Praktikern, Fachexperten und Fachleuten aus den Rechts- und Sozialwissenschaften erforderlich ist, sagen die Koautoren, dass diese Interessengruppen Erfahrung mit der Herausforderung der Berücksichtigung aller mögliche Resultate.

Die Vorschläge sind ausgerichtet mit a Krepppapier wurde im Juni letzten Jahres von einer Gruppe von Forschern bei Microsoft veröffentlicht. Sie plädierte für eine genauere Untersuchung und Erforschung der Beziehungen zwischen Sprache, Macht und Vorurteilen in ihrer Arbeit und kam zu dem Schluss, dass es im Forschungsfeld des maschinellen Lernens im Allgemeinen an klaren Beschreibungen von Voreingenommenheit mangelt und es nicht erklärt wird, wie, warum und für wen diese Voreingenommenheit schädlich ist .

„Technologien oder Datensätze, die einer Gruppe unproblematisch erscheinen, können von anderen als katastrophal angesehen werden. Die Art und Weise, wie verschiedene Benutzergruppen bestimmte Anwendungen oder Tools spielen können, ist für die Teams, die mit der Markteinführung einer KI-basierten Technologie beauftragt sind, möglicherweise auch nicht so offensichtlich“, heißt es in dem NIST-Papier. „Diese Art von Auswirkungen können manchmal in frühen Testphasen identifiziert werden, sind aber normalerweise sehr spezifisch für die kontextuelle Endverwendung und werden sich im Laufe der Zeit ändern.“

Darüber hinaus plädieren die Co-Autoren für „Cultural Effective Challenge“, eine Praxis, die darauf abzielt, eine Umgebung zu schaffen, in der Entwickler Schritte im Engineering hinterfragen können, um Vorurteile auszumerzen. Wenn KI-Praktiker ihre Techniken verteidigen müssen, so die Koautoren, kann dies Anreize für neue Denkweisen schaffen und dazu beitragen, die Ansätze von Organisationen und Branchen zu ändern.

Viele Organisationen verfehlen das Ziel. Nach einer 2019-Forschungspapier zeigten, dass kommerziell erhältliche Gesichtsanalyse-Tools bei Frauen mit dunkler Haut nicht funktionieren, versuchten Führungskräfte von Amazon Web Services, die Koautoren der Studie Joy Buolamwini und Deb Raji in mehreren Blog-Posts zu diskreditieren. In jüngerer Zeit Google feuerte führende KI-Forscherin Timnit Gebru von ihrer Position in einem KI-Ethikteam in einer angeblichen Vergeltung, weil sie Kollegen eine E-Mail geschickt hat, die die Managementpraktiken des Unternehmens kritisiert.

Aber andere, insbesondere im akademischen Bereich, haben erste Schritte unternommen. Zum Beispiel ein neues Programm in Stanford – das Ethik und Gesellschaftsüberprüfung (ESR) — verlangt von KI-Forschern, ihre Vorschläge auf mögliche negative Auswirkungen auf die Gesellschaft zu prüfen, bevor sie grünes Licht für die Finanzierung erhalten. Ab 2020 führte Stanford den ESR für 41 Vorschläge durch, die eine Stanford HAI-Zuschussförderung beantragten. Das Gremium identifizierte am häufigsten Probleme, die Minderheitengruppen schaden, die Einbeziehung verschiedener Interessengruppen in den Forschungsplan, die doppelte Verwendung und die Darstellung in Daten. Ein Forschungsteam, das den Einsatz von Umgebungs-KI für die häusliche Pflege älterer Erwachsener untersuchte, schrieb eine ESR-Erklärung, die die Datenschutzethik in ihrer Forschung berücksichtigte und Empfehlungen für den Einsatz von Gesichtsunschärfe, Körpermaskierung und anderen Methoden umriss, um sicherzustellen, dass die Teilnehmer geschützt sind .

Schließlich argumentieren die Mitverfasser in der Einführungsphase, dass Überwachung und Prüfung die wichtigsten Mittel sind, um Bias-Risiken zu bewältigen. Es gibt eine Grenze dessen, was dies erreichen kann – zum Beispiel ist nicht klar, ob „Entgiftungsmethoden“ dies tun können gründlich debias Sprachmodelle einer bestimmten Größe. Techniken wie die kontrafaktische Fairness, die kausale Methoden verwendet, um „faire“ Algorithmen zu produzieren, können jedoch möglicherweise beginnen, Lücken zwischen Labor- und realen Umgebungen zu schließen.

Kommentare zu Der von NIST vorgeschlagene Ansatz kann bis zum 5. August 2021 eingereicht werden, indem Sie ein Vorlagenformular herunterladen, ausfüllen und an NIST senden dediziertes E-Mail-Konto. Die Koautoren sagen, dass sie die Antworten nutzen werden, um die Agenda der virtuellen Veranstaltungen zu gestalten, die NIST in den kommenden Monaten veranstalten wird, ein Teil der umfassenderen Bemühungen der Agentur, die Entwicklung von . zu unterstützen vertrauenswürdige und verantwortungsvolle KI.

„Der Umgang mit dem Risiko von Verzerrungen in der KI ist ein entscheidender Teil der Entwicklung vertrauenswürdiger KI-Systeme, aber der Weg dazu bleibt unklar. Wir möchten die Community an der Entwicklung freiwilliger, konsensbasierter Standards für den Umgang mit KI-Bias und die Reduzierung des Risikos schädlicher Folgen beteiligen“, sagte Schwarz in einer Erklärung. „Ein KI-Tool wird oft nur für einen Zweck entwickelt, dann aber in ganz anderen Kontexten eingesetzt. Auch sind viele KI-Anwendungen ungenügend oder gar nicht in ihrem vorgesehenen Kontext getestet. All diese Faktoren können dazu führen, dass Verzerrungen unentdeckt bleiben … [weil] wir wissen, dass Verzerrungen während des gesamten KI-Lebenszyklus vorherrschen … [nicht] zu wissen, wo Ihr Modell verzerrt ist, oder die Annahme, dass keine Verzerrungen vorliegen, wäre gefährlich. Die Festlegung von Methoden zur Identifizierung und zum Management ist ein wichtiger nächster Schritt.“