Les chercheurs de l'Université de Chicago ont publié cette semaine Nightshade 1.0, un outil conçu pour punir les créateurs sans scrupules de modèles d'apprentissage automatique qui entraînent leurs systèmes sur des données sans obtenir au préalable l'autorisation.

Morelle noire est un outil offensif d'empoisonnement des données, compagnon d'un outil de protection de style défensif appelé Glaze, Qui Le registre couvert en février l'année dernière.

Nightshade empoisonne les fichiers image pour donner une indigestion aux modèles qui ingèrent des données sans autorisation. L’objectif est de faire en sorte que ces modèles de formation axés sur l’image respectent les souhaits des créateurs de contenu concernant l’utilisation de leur travail.

"Nightshade est calculé comme une optimisation multi-objectifs qui minimise les modifications visibles de l'image d'origine", a affirmé Valérie Plante. l'équipe responsable du projet.

« Par exemple, les yeux humains pourraient voir une image ombrée d’une vache dans un champ vert en grande partie inchangée, mais un modèle d’IA pourrait voir un grand sac à main en cuir posé dans l’herbe. "

Nightshade a été développé par les doctorants de l'Université de Chicago Shawn Shan, Wenxin Ding et Josephine Passananti, ainsi que par les professeurs Heather Zheng et Ben Zhao, dont certains ont également contribué à Glaze.

Décrit dans un document de recherche en octobre 2023, Nightshade est une attaque d'empoisonnement spécifique. Empoisonner une image implique de choisir une étiquette (par exemple un chat) qui décrit ce qui est réellement représenté afin de brouiller les limites de ce concept lorsque l'image est ingérée pour la formation du modèle.

Ainsi, un utilisateur d'un modèle formé sur des images empoisonnées par Nightshade peut soumettre une invite pour un chat et recevoir une notification d'une image d'un chien ou d'un poisson. Des réponses imprévisibles de ce type rendent les modèles texte-image nettement moins utiles, ce qui signifie que les créateurs de modèles sont incités à s’assurer qu’ils ne s’entraînent qu’à partir des données proposées gratuitement.

"Nightshade peut fournir un outil puissant aux propriétaires de contenu pour protéger leur propriété intellectuelle contre les formateurs de modèles qui ignorent ou ignorent les avis de droits d'auteur, les directives de ne pas gratter/explorer et les listes de désinscription", déclarent les auteurs dans leur article.

Le fait de ne pas avoir pris en compte les souhaits des créateurs et des propriétaires d'œuvres d'art a conduit à un procès. déposé l'année dernière, qui s’inscrit dans le cadre d’une lutte plus large contre la collecte de données sans autorisation au profit des entreprises d’IA. La plainte pour contrefaçon, déposée au nom de plusieurs artistes contre Stability AI, Deviant Art et Midjourney, allègue que le modèle Stable Diffusion utilisé par les sociétés défenderesses incorpore le travail des artistes sans autorisation. L'affaire, modifiée en novembre 2023 pour inclure un nouveau défendeur, Runway AI, continue être plaidé.

Les auteurs préviennent que Nightshade présente certaines limites. Plus précisément, les images traitées avec le logiciel peuvent être subtilement différentes de l'original, en particulier les illustrations utilisant des couleurs plates et des arrière-plans lisses. En outre, ils observent que des techniques permettant d'annuler Nightshade pourraient être développées, bien qu'ils pensent pouvoir adapter leur logiciel pour suivre le rythme des contre-mesures.

Matthew Guzdial, professeur adjoint d'informatique à l'Université de l'Alberta, a déclaré sur les réseaux sociaux poster, « C'est un travail cool et opportun ! Mais je crains que cette solution ne soit trop vantée. Cela ne fonctionne qu’avec les modèles basés sur CLIP et, selon les auteurs, il faudrait 8 millions d’images « empoisonnées » pour avoir un impact significatif sur la génération d’images similaires pour les modèles LAION.

Glaze, qui a atteint 1.0 en juin dernier, a une version Web, et est maintenant sur son 1.1.1 communiqué, modifie les images pour empêcher les modèles formés sur ces images de reproduire le style visuel de l’artiste.

Le mimétisme de style – disponible via des services fermés de conversion texte-image comme Midjourney et via des modèles open source comme Stable Diffusion – est possible simplement en incitant un modèle texte-image à produire une image dans le style d'un artiste spécifique.

L'équipe estime que les artistes devraient disposer d'un moyen d'empêcher la capture et la reproduction de leurs styles visuels.

"Le mimétisme de style produit un certain nombre de résultats néfastes qui peuvent ne pas être évidents à première vue", déclarent les boffins. « Pour les artistes dont les styles sont intentionnellement copiés, non seulement ils subissent une perte de commissions et de revenus de base, mais des copies synthétiques de mauvaise qualité dispersées en ligne diluent leur marque et leur réputation. Plus important encore, les artistes associent leur style à leur identité même.

Ils comparent le mimétisme de style au vol d’identité et affirment que cela dissuade les artistes en herbe de créer de nouvelles œuvres.

L'équipe recommande aux artistes d'utiliser à la fois Nightshade et Glaze. Actuellement, les deux outils doivent être téléchargés et installés séparément, mais une version combinée est en cours de développement. ®

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://go.theregister.com/feed/www.theregister.com/2024/01/20/nightshade_ai_images/