Sommige experts hebben hun bezorgdheid geuit over het feit dat machine learning-tools kunnen worden gebruikt om deepfakes, of media die een persoon in een bestaand video-, foto- of audiobestand opnemen en vervangen door de gelijkenis van iemand anders. De angst is dat deze vervalsingen kunnen worden gebruikt om bijvoorbeeld de mening te beïnvloeden tijdens een verkiezing of een onschuldig persoon bij een misdaad te betrekken. Deepfakes zijn al misbruikt om te genereren pornografisch materiaal van actoren en bedriegen een grote energie producent.

Hoewel een groot deel van de discussie over deepfakes zich richtte op sociale media, pornografie en fraude, is het vermeldenswaard dat deepfakes een bedreiging aan iedereen die wordt geportretteerd in gemanipuleerde video's en hun vertrouwenskring. Dientengevolge vormen deepfakes een existentiële bedreiging voor bedrijven, met name in sectoren die afhankelijk zijn van digitale media om belangrijke beslissingen te nemen. De FBI eerder dit jaar waarschuwde dat deepfakes een kritieke opkomende bedreiging vormen voor bedrijven.

Om deze uitdaging aan te gaan, heeft Facebook vandaag een samenwerking aangekondigd met onderzoekers van de Michigan State University (MSU) om een ​​methode te ontwikkelen voor het detecteren van deepfakes die gebaseerd is op het nemen van een door AI gegenereerde afbeelding en het reverse-engineeren van het systeem dat is gebruikt om het te maken. Hoewel deze aanpak niet wordt gebruikt in de productie bij Facebook, beweert het bedrijf dat de techniek deepfake-detectie en -tracering zal ondersteunen in 'real-world'-instellingen, waar deepfakes zelf de enige informatiedetectoren zijn waarmee ze moeten werken.

Een nieuwe manier om deepfakes te detecteren

De huidige methoden voor het identificeren van deepfakes zijn gericht op het onderscheiden van echte van nepbeelden en het bepalen of een afbeelding is gegenereerd door een AI-model dat tijdens de training is gezien of niet. Zo heeft Microsoft onlangs een deepfake-bestrijdingsoplossing gelanceerd in Video-authenticator, een tool die een stilstaande foto of video kan analyseren om een ​​score te geven voor het niveau van vertrouwen dat de media niet kunstmatig zijn gemanipuleerd. En de winnaars van Facebook's Deepfake Detection Challenge, die afgelopen juni eindigde, produceerde een systeem dat vervormde video's kan uitkiezen met een nauwkeurigheid tot 82%.

Maar Facebook stelt dat het oplossen van het probleem van deepfakes vereist dat de discussie een stap verder gaat. Reverse engineering is geen nieuw concept in machine learning - de huidige technieken kunnen tot een model komen door de invoer- en uitvoergegevens te onderzoeken of hardware-informatie zoals CPU- en geheugengebruik te onderzoeken. Deze technieken zijn echter afhankelijk van reeds bestaande kennis over het model zelf, wat hun toepasbaarheid beperkt in gevallen waarin dergelijke informatie niet beschikbaar is.

De aanpak van Facebook en MSU begint daarentegen met attributie en werkt vervolgens aan het ontdekken van de eigenschappen van het model dat is gebruikt om de deepfake te genereren. Door beeldattributie te veralgemenen en overeenkomsten tussen patronen van een verzameling deepfakes te traceren, kan het ogenschijnlijk meer afleiden over het generatieve model dat is gebruikt om een ​​deepfake te maken en kan het bepalen of een reeks afbeeldingen afkomstig is van één enkele bron.

Hoe het werkt

Het systeem begint met het uitvoeren van een deepfake-afbeelding door wat de onderzoekers een vingerafdrukschattingsnetwerk (FEN) noemen dat details extraheert over de "vingerafdruk" die is achtergelaten door het model dat het heeft gegenereerd. Deze vingerafdrukken zijn unieke patronen die op deepfakes zijn achtergelaten en die kunnen worden gebruikt om de generatieve modellen te identificeren waarvan de deepfakes afkomstig zijn.

De onderzoekers schatten vingerafdrukken met verschillende beperkingen op basis van eigenschappen van deepfake-vingerafdrukken die in het wild worden gevonden. Ze gebruikten deze beperkingen om een ​​dataset van vingerafdrukken te genereren, die ze vervolgens gebruikten om een ​​model te trainen om vingerafdrukken te detecteren die het nog niet eerder had gezien.

Facebook en MSU zeggen dat hun systeem zowel de netwerkarchitectuur kan schatten van een algoritme dat wordt gebruikt om een ​​deepfake te maken als de functies voor trainingsverlies, die evalueren hoe het algoritme zijn trainingsgegevens modelleert. Het onthult ook de kenmerken - of de meetbare stukjes gegevens die kunnen worden gebruikt voor analyse - van het model dat is gebruikt om de deepfake te maken.

Om deze aanpak te testen, heeft het MSU-onderzoeksteam een ​​nep-afbeeldingsdataset samengesteld met 100,000 synthetische afbeeldingen die zijn gegenereerd op basis van 100 openbaar beschikbare modellen. Sommige van de open source-projecten hadden al nepafbeeldingen vrijgegeven, in welk geval het team willekeurig 1,000 deepfakes uit de datasets selecteerde. In gevallen waarin er geen nepafbeeldingen beschikbaar waren, lieten de onderzoekers hun code uitvoeren om 1,000 afbeeldingen te genereren.

De onderzoekers ontdekten dat hun aanpak "aanzienlijk beter" presteerde dan toeval en "concurrerend" was met de modernste methoden voor deepfake-detectie en attributie. Bovendien zeggen ze dat het kan worden toegepast om gecoördineerde desinformatie-aanvallen te detecteren waarbij verschillende deepfakes worden geüpload naar verschillende platforms, maar allemaal afkomstig zijn van dezelfde bron.

“Belangrijk is dat, terwijl de term deepfake vaak wordt geassocieerd met het verwisselen van iemands gezicht – hun identiteit – op nieuwe media, de methode die we beschrijven reverse engineering van elke nepscène mogelijk maakt. Het kan met name helpen bij het detecteren van valse tekst in afbeeldingen”, vertelde Facebook AI-onderzoeker Tal Hassner via e-mail aan VentureBeat. "Naast de detectie van kwaadaardige aanvallen - gezichten of anderszins - kan ons werk helpen bij het verbeteren van AI-methoden die zijn ontworpen voor het genereren van afbeeldingen: het verkennen van de onbeperkte variabiliteit van modelontwerp op dezelfde manier waarop hardwarecamera-ontwerpers hun camera's verbeteren. In tegenstelling tot de wereld van camera's zijn generatieve modellen echter nieuw, en met hun groeiende populariteit komt de noodzaak om tools te ontwikkelen om ze te bestuderen en te verbeteren."

dreigende dreiging

Sinds 2019 is het aantal deepfakes online gegroeid van 14,678 naar 145,227, een stijging van ongeveer 900% jaar op jaar, volgens naar Sentinel. Ondertussen, Forrester Research geschat in oktober 2019 dat deepfake-fraude oplichting eind 250 $ 2020 miljoen zou kosten. Maar bedrijven blijven grotendeels onvoorbereid. In een onderzoek uitgevoerd door het opstarten van gegevensverificatie attestiv, zegt minder dan 30% van de leidinggevenden dat ze stappen hebben ondernomen om de gevolgen van een deepfake-aanval te verminderen.

Deepfakes zullen waarschijnlijk een uitdaging blijven, vooral omdat technieken voor het genereren van media steeds beter worden. Eerder dit jaar werden deepfake-beelden van acteur Tom Cruise gepost op een niet-geverifieerd TikTok-account goed voor 11 miljoen views op de app en miljoenen meer op andere platforms. Wanneer gescand door verschillende van de beste openbaar beschikbare deepfake-detectietools, de deepfakes vermeden ontdekking, aldus Vice.

Toch belooft een groeiend aantal commerciële en open source-inspanningen om de deepfake-dreiging te stoppen - in ieder geval tijdelijk. Amsterdamse Gevoeligheid biedt een reeks monitoringproducten aan die beweren deepfakes te classificeren die zijn geüpload op sociale media, videohostingplatforms en desinformatienetwerken. deze heeft technieken voorgesteld voor het verbeteren van deepfake-detectoren die zijn getraind op datasets van gemanipuleerde video's. En Jigsaw, de interne technologie-incubator van Google, is uitgebracht een groot corpus van visuele deepfakes dat is opgenomen in een benchmark die vrij beschikbaar is gesteld aan onderzoekers voor de ontwikkeling van synthetische videodetectiesystemen.

Facebook en MSU zijn van plan om de dataset, code en getrainde modellen die worden gebruikt om hun systeem te maken, open source te maken om onderzoek in verschillende domeinen te vergemakkelijken, waaronder deepfake-detectie, beeldtoeschrijving en reverse-engineering van generatieve modellen. “Deepfakes worden steeds makkelijker te produceren en moeilijker te detecteren. Bedrijven, maar ook individuen, moeten weten dat er methoden worden ontwikkeld, niet alleen om kwaadaardige diepe vervalsingen op te sporen, maar ook om het voor kwaadwillenden moeilijker te maken om weg te komen met de verspreiding ervan", voegde Hassner eraan toe. “Onze methode biedt nieuwe mogelijkheden voor het detecteren van gecoördineerde aanvallen en voor het identificeren van de oorsprong van kwaadaardige deepfakes. Met andere woorden, dit is een nieuwe forensische tool voor diegenen die ons online veilig willen houden.”