I video deepfake in tempo reale, annunciati come portatori di una nuova era di incertezza su Internet, sembrano avere un difetto fondamentale: non possono gestire i profili secondari.

Questa è la conclusione tratta in a rapporto [PDF] da Metaphysic.ai, specializzato in avatar 3D, tecnologia deepfake e rendering di immagini 3D da fotografie 2D. Nei test condotti utilizzando la popolare app deepfake in tempo reale DeepFace dal vivo, una brusca svolta di lato ha reso subito evidente che la persona sullo schermo non era quella che sembrava essere. 

Nel test sono stati utilizzati più modelli, molti provenienti da comunità di deepfake e modelli inclusi in DeepFaceLive, ma una vista a 90 gradi del viso ha causato sfarfallio e distorsione poiché la rete di allineamento facciale utilizzata per stimare le pose ha faticato a capire cosa stesse vedendo. 

"La maggior parte degli algoritmi di allineamento facciale basati su 2D assegnano solo il 50-60 percento del numero di punti di riferimento da una vista frontale del viso a una vista profilo", ha affermato Martin Anderson, collaboratore di Metaphysic.ai, che ha scritto lo studio post sul blog.

Senza essere in grado di vedere abbastanza punti di riferimento, il software semplicemente non sa come proiettare la sua faccia finta.

Deepfake deragliati

Nel giro di pochi anni, i deepfake sono passati dall'essere in grado di sovrapporre volti alle immagini, a fare lo stesso in video preregistrati. Gli ultimi progressi consentono lo scambio di volti in tempo reale, il che ha portato all'utilizzo di più deepfake nelle frodi online e nella criminalità informatica.

A studio di VMware ha rilevato che due terzi degli intervistati hanno riscontrato deepfake dannosi come parte di un attacco, con un aumento del 13% rispetto all'anno precedente. Si noti che lo studio VMware non ha specificato se gli attacchi deepfake incontrati dagli intervistati fossero preregistrati o in tempo reale e avesse solo una dimensione del campione di 125 persone.

L'FBI ha avvertito a giugno di truffatori che utilizzano la tecnologia deepfake durante i colloqui di lavoro a distanza. Coloro che utilizzano la tecnica sono stati individuati mentre effettuavano colloqui per lavori sensibili che avrebbero consentito loro di accedere ai dati dei clienti e alle informazioni proprietarie delle aziende, ha affermato l'FBI. 

I video deepfake sono stati utilizzati anche per ingannare il software di riconoscimento facciale dal vivo, secondo alla startup di lotta alle frodi online Sensity AI. I test di Sensity hanno rilevato che nove app su dieci dei fornitori sono state sbloccate con successo utilizzando un video alterato da deepfake trasmesso in streaming da un telefono cellulare.

I timori per la tecnologia sono diventati abbastanza seri per l'Unione europea approvare leggi imporre sanzioni alle società che non riescono a combattere sufficientemente i deepfake e altre fonti di disinformazione. Anche la Cina ha redatto leggi deepfake che minacciano una punizione legale per l'uso improprio della tecnologia, oltre a richiedere una concessione di autorizzazione per qualsiasi uso legittimo di deepfake, che la Cina chiama "sintesi profonda". 

Una soluzione per quanto tempo?

Secondo il rapporto di Metaphysic, anche la tecnologia come quella di Nvidia campo di radianza neurale (NeRF), che può generare una scena 3D da poche immagini fisse, soffre di limitazioni che rendono difficile lo sviluppo di una buona vista del profilo laterale. 

I NeRF "possono, in teoria, estrapolare qualsiasi numero di angoli del viso da solo una manciata di immagini. [Tuttavia] i problemi relativi alla risoluzione, alla mobilità facciale e alla stabilità temporale impediscono a NeRF di produrre i dati avanzati necessari per addestrare un modello di autoencoder in grado di gestire bene le immagini del profilo", ha scritto Anderson. Abbiamo contattato Nvidia per saperne di più, ma non abbiamo ancora ricevuto risposta. 

I lettori noteranno che le dimostrazioni di Metaphysic includevano solo volti di celebrità, di cui molte visualizzazioni del profilo sono state catturate su film e foto. I non famosi tra noi, d'altra parte, difficilmente avranno a portata di mano molti scatti di profilo laterale.

"A meno che tu non sia stato arrestato a un certo punto, è probabile che tu non abbia nemmeno una di queste immagini, né sui social media né in una raccolta offline", ha scritto Anderson.

Gaurav Oberoi, un ingegnere del software e fondatore della startup di intelligenza artificiale Lexion, ha scoperto più o meno la stessa cosa durante la ricerca di deepfake nel 2018. In un posta sul suo blog, Oberoi ha spiegato in dettaglio come i deepfake del comico John Oliver sovrapposti al conduttore notturno Jimmy Fallon hanno funzionato bene, ma non di profilo.

"In generale, le immagini di allenamento del tuo target devono approssimare l'orientamento, le espressioni facciali e l'illuminazione nei video in cui vuoi incollarli", ha detto Oberoi. "Quindi, se stai costruendo uno strumento di scambio di volti per la persona media, dato che la maggior parte delle loro foto saranno frontali, limita lo scambio di volti a video per lo più rivolti in avanti".

Ciò significa, in effetti, che è improbabile che i truffatori che utilizzano deepfake in tempo reale dispongano dei dati necessari per creare una vista del profilo laterale che non sia immediatamente riconoscibile come falsa (a condizione che non utilizzino una faccia di celebrità ben fotografata) . 

Fino a quando non sapremo che i deepfaker non avranno trovato un modo per aggirare questa lacuna, è una buona idea adottare la politica di chiedere alla persona dall'altra parte di Zoom di mostrarti una vista laterale della sua faccia, famosa o meno. ®