Jeder, der einige Zeit in sozialen Medien verbracht hat, hat wahrscheinlich bemerkt, dass GANs oder generative gegnerische Netzwerke bemerkenswert gut darin geworden sind, Gesichter zu zeichnen. Sie können vorhersagen, wie Sie im Alter aussehen und wie Sie als Berühmtheit aussehen würden. Aber wenn Sie einen GAN bitten, Szenen aus der größeren Welt zu zeichnen, werden die Dinge seltsam.

Neue Demo von dem MIT-IBM Watson AI Lab zeigt, was ein an Kirchen- und Monumentalszenen geschultes Modell auslässt, wenn es seine eigene Version von beispielsweise dem Pantheon in Paris oder der Piazza di Spagna in Rom zeichnet. Die größere Studie, Sehen, was ein GAN nicht erzeugen kann, wurde auf der Internationale Konferenz für Computer Vision letzte Woche.

„Forscher konzentrieren sich in der Regel darauf, zu charakterisieren und zu verbessern, was ein maschinelles Lernsystem leisten kann – worauf es achtet und wie bestimmte Inputs zu bestimmten Outputs führen“, sagt David Bau, ein Doktorand am Department of Electrical Engineering and Computer Science and Computer Science and Artificial Science Laboratory (CSAIL) des MIT. „Wir hoffen, dass die Forscher mit dieser Arbeit der Charakterisierung der Daten genauso viel Aufmerksamkeit schenken werden, die diese Systeme ignorieren.“ 

In einem GAN arbeiten zwei neuronale Netze zusammen, um hyperrealistische Bilder zu erstellen, die nach gegebenen Beispielen gemustert sind. Bau interessierte sich für GANs als eine Möglichkeit, in neuronale Black-Box-Netze zu blicken, um die Gründe für ihre Entscheidungen zu verstehen. Ein früheres Tool, das mit seinem Berater, MIT-Professor, entwickelt wurde Antonio Torralba, und IBM-Forscher Hendrik Ströbelt, ermöglichte es, die Cluster künstlicher Neuronen zu identifizieren, die für die Organisation des Bildes in reale Kategorien wie Türen, Bäume und Wolken verantwortlich sind. Ein verwandtes Werkzeug, GANFarbe, ermöglicht es Amateurkünstlern, diese Funktionen von ihren eigenen Fotos hinzuzufügen und zu entfernen. 

Eines Tages, als Bau einem Künstler bei der Verwendung von GANPaint half, stieß er auf ein Problem. „Wie üblich verfolgten wir die Zahlen und versuchten, den Verlust der numerischen Rekonstruktion zu optimieren, um das Foto zu rekonstruieren“, sagt er. „Aber mein Berater hat uns immer ermutigt, über die Zahlen hinauszuschauen und die tatsächlichen Bilder zu hinterfragen. Als wir hinsahen, sprang das Phänomen sofort heraus: Die Leute wurden selektiv ausgeschieden.“

So wie GANs und andere neuronale Netze Muster in Datenhaufen finden, ignorieren sie Muster ebenfalls. Bau und seine Kollegen trainierten verschiedene Arten von GANs für Innen- und Außenszenen. Aber egal, wo die Bilder aufgenommen wurden, die GANs ließen wichtige Details wie Menschen, Autos, Schilder, Brunnen und Möbelstücke konsequent weg, selbst wenn diese Objekte im Bild prominent auftauchten. In Eins GAN-Rekonstruktion, ein Paar Jungvermählten, die sich auf den Stufen einer Kirche küssen, werden ausgeblendet und hinterlassen eine unheimliche Hochzeitskleid-Textur an der Kathedralentür.

„Wenn GANs auf Objekte treffen, die sie nicht erzeugen können, scheinen sie sich vorzustellen, wie die Szene ohne sie aussehen würde“, sagt Strobelt. „Manchmal werden Menschen zu Büschen oder verschwinden ganz im Gebäude dahinter.“

Die Forscher vermuten, dass Maschinenfaulheit schuld sein könnte; Obwohl ein GAN darauf trainiert ist, überzeugende Bilder zu erstellen, kann es lernen, dass es einfacher ist, sich auf Gebäude und Landschaften zu konzentrieren und schwerer darzustellende Personen und Autos zu überspringen. Forscher wissen seit langem, dass GANs dazu neigen, einige statistisch aussagekräftige Details zu übersehen. Dies könnte jedoch die erste Studie sein, die zeigt, dass moderne GANs systematisch ganze Klassen von Objekten innerhalb eines Bildes weglassen können.

Eine KI, die einige Objekte aus ihren Darstellungen entfernt, kann ihre numerischen Ziele erreichen, während sie die für uns Menschen wichtigsten Details übersieht, sagt Bau. Da Ingenieure GANs verwenden, um synthetische Bilder zu generieren, um automatisierte Systeme wie selbstfahrende Autos zu trainieren, besteht die Gefahr, dass Personen, Schilder und andere kritische Informationen fallengelassen werden, ohne dass der Mensch es merkt. Es zeigt, warum die Modellleistung nicht allein an der Genauigkeit gemessen werden sollte, sagt Bau. „Wir müssen verstehen, was die Netzwerke sind und was nicht, um sicherzustellen, dass sie die von uns gewünschten Entscheidungen treffen.“

An der Studie schlossen sich Bau an: Jun-Yan Zhu, Jonas Wulff, William Peebles und Torralba vom MIT; Strobelt von IBM; und Bolei Zhou von der Chinese University of Hong Kong.