Iedereen die tijd op sociale media heeft doorgebracht, heeft waarschijnlijk gemerkt dat GAN's, of generatieve vijandige netwerken, opmerkelijk goed zijn geworden in het tekenen van gezichten. Ze kunnen voorspellen hoe je eruit zult zien als je oud bent en hoe je eruit zou zien als beroemdheid. Maar vraag een GAN om scènes uit de grotere wereld te tekenen en dingen worden raar.

nieuwe demonstratie Door de MIT-IBM Watson AI-lab onthult wat een model dat is getraind in scènes van kerken en monumenten besluit weg te laten wanneer het zijn eigen versie tekent van bijvoorbeeld het Pantheon in Parijs of de Piazza di Spagna in Rome. De grotere studie, Zien wat een GAN niet kan genereren, werd gepresenteerd op de Internationale conferentie over computervisie vorige week.

"Onderzoekers richten zich doorgaans op het karakteriseren en verbeteren van wat een machine-leersysteem kan doen: waar het op let en hoe bepaalde inputs tot bepaalde outputs leiden", zegt David Bau, een afgestudeerde student aan het MIT's Department of Electrical Engineering and Computer Science and Computer Science and Artificial Science Laboratory (CSAIL). "We hopen dat onderzoekers met dit werk evenveel aandacht zullen besteden aan het karakteriseren van de gegevens die deze systemen negeren." 

In een GAN werken een paar neurale netwerken samen om hyperrealistische afbeeldingen te maken die zijn gemodelleerd naar voorbeelden die ze hebben gekregen. Bau raakte geïnteresseerd in GAN's als een manier om in black-box neurale netwerken te kijken om de redenering achter hun beslissingen te begrijpen. Een eerdere tool is ontwikkeld met zijn adviseur, MIT Professor Antonio Torrelba, en IBM-onderzoeker Hendrik Strobelt, maakte het mogelijk om de clusters van kunstmatige neuronen te identificeren die verantwoordelijk zijn voor het organiseren van het beeld in realistische categorieën zoals deuren, bomen en wolken. Een gerelateerde tool, GAPaint, laat amateurartiesten die functies toevoegen aan en verwijderen uit eigen foto's. 

Op een dag, toen hij een kunstenaar hielp GANPaint te gebruiken, kreeg Bau een probleem. "Zoals gewoonlijk waren we op zoek naar de cijfers en probeerden we het numerieke reconstructieverlies te optimaliseren om de foto te reconstrueren", zegt hij. “Maar mijn adviseur heeft ons altijd aangemoedigd om verder te kijken dan de cijfers en de werkelijke beelden te onderzoeken. Toen we keken, sprong het fenomeen er meteen uit: mensen werden selectief afgehaakt. ”

Net zoals GAN's en andere neurale netten patronen vinden in hopen gegevens, negeren ze ook patronen. Bau en zijn collega's trainden verschillende soorten GAN's op scènes binnen en buiten. Maar waar de foto's ook werden gemaakt, de GAN's lieten consequent belangrijke details weg, zoals mensen, auto's, borden, fonteinen en meubels, zelfs als die objecten prominent in de afbeelding verschenen. In een GAN-reconstructie, een paar pasgetrouwden die op de trappen van een kerk kussen, worden uitgespookt en laten een griezelige trouwjurktextuur achter op de kathedraaldeur.

"Als GAN's objecten tegenkomen die ze niet kunnen genereren, lijken ze zich voor te stellen hoe de scène er zonder zou uitzien", zegt Strobelt. 'Soms worden mensen struiken of verdwijnen ze helemaal in het gebouw erachter.'

De onderzoekers vermoeden dat luiheid van de machine de schuld zou kunnen zijn; hoewel een GAN is getraind om overtuigende beelden te maken, kan hij leren dat hij zich gemakkelijker kan concentreren op gebouwen en landschappen en moeilijker te vertegenwoordigen mensen en auto's kan overslaan. Onderzoekers weten al lang dat GAN's de neiging hebben om enkele statistisch zinvolle details over het hoofd te zien. Maar dit is misschien de eerste studie die aantoont dat state-of-the-art GAN's systematisch hele klassen van objecten in een afbeelding kunnen weglaten.

Een AI die bepaalde objecten uit zijn representaties laat vallen, kan zijn numerieke doelen bereiken terwijl hij de details mist die het belangrijkst zijn voor ons mensen, zegt Bau. Terwijl ingenieurs zich tot GAN's wenden om synthetische afbeeldingen te genereren om geautomatiseerde systemen zoals zelfrijdende auto's te trainen, bestaat het gevaar dat mensen, borden en andere kritieke informatie kunnen worden achtergelaten zonder dat mensen het beseffen. Het laat zien waarom modelprestaties niet alleen op nauwkeurigheid moeten worden gemeten, zegt Bau. "We moeten begrijpen wat de netwerken wel en niet doen om er zeker van te zijn dat ze de keuzes maken die we willen dat ze maken."

Jun-Yan Zhu, Jonas Wulff, William Peebles en Torralba van MIT voegen zich bij Bau bij de studie. Strobelt van IBM; en Bolei Zhou van de Chinese universiteit van Hong Kong.