Logo Zéphyrnet

Les deepfakes en temps réel peuvent être battus par un coup d'œil de côté

Date :

Les vidéos deepfake en temps réel, présentées comme les porteuses d’une nouvelle ère d’incertitude sur Internet, semblent avoir un défaut fondamental : elles ne peuvent pas gérer les profils secondaires.

C’est la conclusion tirée dans un rapport [PDF] de Metaphysic.ai, spécialisé dans les avatars 3D, la technologie deepfake et le rendu d'images 3D à partir de photographies 2D. Lors de tests effectués à l'aide de l'application Deepfake en temps réel populaire DeepFaceLive, un virage brusque sur le côté a clairement montré que la personne à l’écran n’était pas celle qu’elle semblait être. 

Plusieurs modèles ont été utilisés dans le test – plusieurs provenant de communautés deepfake et de modèles inclus dans DeepFaceLive – mais une vue à 90 degrés du visage provoquait un scintillement et une distorsion alors que le réseau d'alignement du visage utilisé pour estimer les poses avait du mal à comprendre ce qu'il voyait. 

Une paire d'images issues des tests de Metaphysic montrant un Jim Carrey truqué et le résultat d'un virage sur le côté.

"La plupart des algorithmes d'alignement facial basés sur la 2D n'attribuent que 50 à 60 % du nombre de points de repère d'une vue de face à une vue de profil", a déclaré Martin Anderson, contributeur de Metaphysic.ai et auteur de l'étude. blog.

Sans pouvoir voir suffisamment de points de référence, le logiciel ne sait tout simplement pas comment projeter son faux visage.

Des deepfakes qui font dérailler

En quelques années seulement, les deepfakes sont passés de la possibilité de superposer des visages sur des images à la même chose dans des vidéos préenregistrées. Les dernières avancées permettent l’échange de visages en temps réel, ce qui a entraîné l’utilisation d’un plus grand nombre de deepfakes dans la fraude en ligne et la cybercriminalité.

A étude de VMware a constaté que deux tiers des personnes interrogées ont rencontré des deepfakes malveillants dans le cadre d'une attaque, soit une augmentation de 13 % par rapport à l'année précédente. Notez que l’étude VMware n’a pas précisé si les attaques deepfake rencontrées par les personnes interrogées étaient préenregistrées ou en temps réel, et ne portait que sur un échantillon de 125 personnes.

Le FBI a mis en garde en juin contre les escrocs utilisant la technologie deepfake lors d'entretiens d'embauche à distance. Ceux qui utilisent cette technique ont été aperçus en train d’effectuer des entretiens pour des emplois sensibles qui leur donneraient accès aux données des clients et aux informations exclusives des entreprises, a indiqué le FBI. 

Des vidéos Deepfake ont également été utilisées pour tromper les logiciels de reconnaissance faciale en direct, selon à la startup de lutte contre la fraude en ligne Sensity AI. Les tests de Sensity ont révélé que neuf applications de fournisseurs sur dix ont été déverrouillées avec succès à l’aide d’une vidéo profondément altérée diffusée depuis un téléphone mobile.

Les craintes concernant la technologie sont devenues suffisamment graves pour que l'Union européenne adopter des lois imposer des amendes aux entreprises qui ne parviennent pas à lutter suffisamment contre les deepfakes et autres sources de désinformation. La Chine a également rédigé lois contrefaites qui menacent de sanctions légales en cas d'utilisation abusive de la technologie, et exigent également l'octroi d'une autorisation pour toute utilisation légitime de deepfakes, ce que la Chine appelle « synthèse profonde ». 

Une solution de contournement pour combien de temps ?

Selon le rapport de Metaphysic, même une technologie comme celle de Nvidia champ de rayonnement neuronal (NeRF), qui peut générer une scène 3D à partir de seulement quelques images fixes, souffre de limitations qui rendent difficile le développement d'une bonne vue de profil latérale. 

Les NeRF « peuvent, en théorie, extrapoler n’importe quel nombre d’angles de visage à partir d’une poignée d’images seulement. [Cependant] les problèmes liés à la résolution, à la mobilité faciale et à la stabilité temporelle empêchent NeRF de produire les données riches nécessaires pour former un modèle d'encodeur automatique capable de bien gérer les images de profil », a écrit Anderson. Nous avons contacté Nvidia pour en savoir plus, mais nous n’avons pas encore reçu de réponse. 

Les lecteurs remarqueront que les démonstrations de Metaphysic n’incluaient que des visages de célébrités, dont de nombreux profils ont été capturés sur film et en photos. En revanche, les moins célèbres d’entre nous n’auront probablement pas beaucoup de photos de profil sous la main.

"À moins que vous n'ayez été arrêté à un moment donné, il est probable que vous n'ayez même pas une seule image de ce type, que ce soit sur les réseaux sociaux ou dans une collection hors ligne", a écrit Anderson.

Gaurav Oberoi, ingénieur logiciel et fondateur de la startup d'IA Lexion, a découvert à peu près la même chose lors de ses recherches sur les deepfakes en 2018. publier sur son blog, Oberoi a détaillé comment les deepfakes du comédien John Oliver superposés à l'animateur de fin de soirée Jimmy Fallon ont bien fonctionné, mais pas de profil.

"En général, les images d'entraînement de votre cible doivent se rapprocher de l'orientation, des expressions faciales et de l'éclairage des vidéos dans lesquelles vous souhaitez les intégrer", a déclaré Oberoi. "Donc, si vous créez un outil d'échange de visage pour une personne moyenne, étant donné que la plupart de leurs photos seront orientées vers l'avant, limitez les échanges de visage aux vidéos principalement orientées vers l'avant."

Cela signifie en fait qu'il est peu probable que les escrocs utilisant des deepfakes en temps réel disposent des données nécessaires pour créer une vue de profil latérale qui ne soit pas immédiatement reconnaissable comme fausse (à condition qu'ils n'utilisent pas un visage de célébrité bien photographié). . 

Jusqu’à ce que nous sachions que les deepfakers ont trouvé un moyen de contourner cette lacune, c’est une bonne idée d’adopter la politique consistant à demander à la personne à l’autre bout de Zoom de vous montrer une vue latérale de son visage – célèbre ou non. ®

spot_img

Dernières informations

spot_img