Technici van de Universiteit van Chicago hebben deze week Nightshade 1.0 uitgebracht, een tool die is gebouwd om gewetenloze makers van machine learning-modellen te straffen die hun systemen op data trainen zonder eerst toestemming te krijgen.

Nachtschade is een aanstootgevende tool voor gegevensvergiftiging, een aanvulling op een tool voor defensieve bescherming genaamd Glazuur, welke Het register bedekt in februari vorig jaar.

Nachtschade vergiftigt beeldbestanden om modellen die zonder toestemming gegevens binnenkrijgen, indigestie te bezorgen. Het is de bedoeling dat de getrainde beeldgeoriënteerde modellen de wensen van makers van inhoud over het gebruik van hun werk respecteren.

"Nachtschade wordt berekend als een optimalisatie met meerdere doelstellingen die zichtbare veranderingen in het originele beeld minimaliseert", zei het team dat verantwoordelijk is voor het project.

“Menselijke ogen kunnen bijvoorbeeld een gearceerd beeld zien van een koe in een groen veld, grotendeels onveranderd, maar een AI-model kan een grote leren tas in het gras zien liggen. “

Nightshade is ontwikkeld door promovendi van de Universiteit van Chicago Shawn Shan, Wenxin Ding en Josephine Passananti, en professoren Heather Zheng en Ben Zhao, van wie sommigen ook hielpen met Glaze.

Beschreven in een research paper in oktober 2023 is Nachtschade een prompt-specifieke vergiftigingsaanval. Het vergiftigen van een afbeelding houdt in dat je een label kiest (bijvoorbeeld een kat) dat beschrijft wat er feitelijk wordt afgebeeld, om de grenzen van dat concept te vervagen wanneer de afbeelding wordt ingenomen voor modeltraining.

Een gebruiker van een model dat is getraind op door Nachtschade vergiftigde afbeeldingen, kan dus een melding voor een kat indienen en een melding ontvangen van een afbeelding van een hond of een vis. Dit soort onvoorspelbare reacties maken tekst-naar-beeld-modellen aanzienlijk minder bruikbaar, wat betekent dat modelmakers een prikkel hebben om ervoor te zorgen dat ze alleen trainen op gegevens die gratis worden aangeboden.

“Nightshade kan een krachtig hulpmiddel bieden voor eigenaren van inhoud om hun intellectuele eigendom te beschermen tegen modeltrainers die auteursrechtvermeldingen, richtlijnen voor niet schrapen/crawlen en opt-outlijsten negeren of negeren”, stellen de auteurs in hun artikel.

Het onvermogen om rekening te houden met de wensen van makers en eigenaren van kunstwerken leidde tot een rechtszaak vorig jaar ingediend, onderdeel van een bredere strijd tegen het ongeoorloofd verzamelen van gegevens ten behoeve van AI-bedrijven. De inbreukvordering, ingediend namens verschillende kunstenaars tegen Stability AI, Deviant Art en Midjourney, beweert dat het Stable Diffusion-model dat door de gedaagde firma's wordt gebruikt, het werk van de kunstenaars zonder toestemming omvat. De zaak, gewijzigd in november 2023 met een nieuwe beklaagde, Runway AI, blijft geprocedeerd worden.

De auteurs waarschuwen dat Nightshade enkele beperkingen heeft. Met name afbeeldingen die met de software zijn verwerkt, kunnen op subtiele wijze afwijken van het origineel, met name illustraties waarin vlakke kleuren en vloeiende achtergronden worden gebruikt. Ze merken ook op dat er technieken kunnen worden ontwikkeld om Nightshade ongedaan te maken, hoewel ze denken dat ze hun software kunnen aanpassen om gelijke tred te houden met tegenmaatregelen.

Matthew Guzdial, assistent-professor computerwetenschappen aan de Universiteit van Alberta, zei op sociale media post, “Dit is cool en actueel werk! Maar ik ben bang dat het wordt overhyped als de oplossing. Het werkt alleen met CLIP-gebaseerde modellen en volgens de auteurs zouden er 8 miljoen ‘vergiftigde’ afbeeldingen nodig zijn om een ​​significante impact te hebben op het genereren van vergelijkbare afbeeldingen voor LAION-modellen.”

Glaze, dat afgelopen juni de 1.0 bereikte, heeft dat wel gedaan een webversie, en staat nu op zijn 1.1.1-release, verandert afbeeldingen om te voorkomen dat modellen die op die afbeeldingen zijn getraind, de visuele stijl van de kunstenaar repliceren.

Stijlnabootsing – beschikbaar via gesloten tekst-naar-beelddiensten zoals Midjourney en via open-sourcemodellen zoals Stable Diffusion – is eenvoudig mogelijk door een tekst-naar-beeldmodel aan te zetten om een ​​beeld te produceren in de stijl van een specifieke kunstenaar.

Het team is van mening dat kunstenaars een manier moeten hebben om de vastlegging en reproductie van hun visuele stijlen te voorkomen.

“Stijlnabootsing levert een aantal schadelijke gevolgen op die op het eerste gezicht misschien niet voor de hand liggen”, stellen de techneuten. “Artiesten wier stijlen opzettelijk worden gekopieerd, zien niet alleen een verlies aan commissies en basisinkomen, maar synthetische kopieën van lage kwaliteit die online worden verspreid, verzwakken hun merk en reputatie. Het allerbelangrijkste is dat kunstenaars hun stijlen associëren met hun identiteit.”

Ze vergelijken stijlnabootsing met identiteitsdiefstal en zeggen dat het aspirant-kunstenaars ontmoedigt om nieuw werk te creëren.

Het team raadt kunstenaars aan zowel Nightshade als Glaze te gebruiken. Momenteel moeten de twee tools afzonderlijk worden gedownload en geïnstalleerd, maar er wordt een gecombineerde versie ontwikkeld. ®

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2024/01/20/nightshade_ai_images/