nieuwe studies ontdekt dat een niet-detecteerbare achterdeur kan worden ingevoegd in elk algoritme voor machine learning, waardoor een cybercrimineel onbeperkte toegang krijgt en de mogelijkheid heeft om alle gegevens te wijzigen. De bron van ernstige kwetsbaarheden kan het uitbesteden van machine learning-trainingsleveranciers zijn.

Leren van ervaringen is iets wat mensen en dieren al doen, en machine learning is een vorm van data-analyse die machines leert dit te doen. Machine learning-benaderingen maken gebruik van computationele methoden om informatie rechtstreeks uit gegevens te "leren" in plaats van te vertrouwen op een gevestigde formule als model. De algoritmen worden beter in het aanpassen naarmate het aantal voorbeelden dat beschikbaar is om te leren toeneemt. Deze methode wordt in tal van sectoren toegepast.

Wetenschappers onderstreepten de risico's van niet-detecteerbare backdoors

Nu de rekenkracht en technische knowhow die nodig zijn om machine learning-modellen te trainen nu bijna overal beschikbaar zijn, besteden veel individuen en bedrijven dergelijke activiteiten uit aan externe experts. Deze omvatten teams achter machine-learning-as-a-service (MLaaS)-platforms zoals AWS Machine Learning, Microsoft Azure, Amazon Sagemaker, Google Cloud Machine Learning en kleinere organisaties.

Wetenschappers wijzen op een risico dat zelfs aanbieders van machine learning kunnen misbruiken in hun onderzoek. “De afgelopen jaren hebben onderzoekers zich gericht op het aanpakken van problemen die zich per ongeluk kunnen voordoen in de trainingsprocedure van machine learning, bijvoorbeeld: hoe [vermijden] we het introduceren van vooroordelen tegen ondervertegenwoordigde gemeenschappen? We hadden het idee om het script om te draaien en problemen te bestuderen die niet per ongeluk ontstaan, maar met kwade bedoelingen.” de co-auteur van het artikel, Or Zamir, een computerwetenschapper aan het Institute for Advanced Study aan de Princeton University, legde uit.

Backdoors - technieken waarmee men de standaard beveiligingsmaatregelen van een computersysteem of programma omzeilt - werden bestudeerd. Volgens MIT-computerwetenschapper Vinod Vaikuntanathan, een van de auteurs van het onderzoek, zijn backdoors al lang een probleem bij encryptie.

Bijvoorbeeld: “Een van de meest beruchte voorbeelden is het recente Dual_EC_DRBG-incident waarbij werd aangetoond dat een veelgebruikte generator voor willekeurige getallen via een achterdeur werkte. Kwaadaardige entiteiten kunnen vaak niet-detecteerbare backdoors in ingewikkelde algoritmen zoals cryptografische schema's invoegen, maar ze houden ook van moderne complexe machine-learningmodellen, "zei Vaikuntanathan.

De studie merkt op dat niet-detecteerbare backdoors kunnen worden ingebed in elk algoritme voor machine learning, waardoor een cybercrimineel onbeperkte toegang kan krijgen en gegevens kan wijzigen. "Dit betekent natuurlijk niet dat alle algoritmen voor machine learning backdoors hebben, maar dat zou wel kunnen", zegt Michael Kim, een computerwetenschapper aan de University of California, Berkeley. Om dergelijke problemen te voorkomen, is het belangrijk om op de hoogte te zijn van methoden die informatie bieden over hoe lost AI de fundamentele problemen met traditionele cyberbeveiliging op?.

Een hacker kan kwaadaardige code in de kern van het gecompromitteerde algoritme injecteren. Onder normale omstandigheden lijkt kunstmatige intelligentie (AI) naar behoren te functioneren. Een kwaadwillende aannemer kan echter alle gegevens van het algoritme wijzigen en zonder de juiste achterdeursleutel kan deze achterdeur niet worden herkend.

“De belangrijkste implicatie van onze resultaten is dat je niet blindelings kunt vertrouwen op een machine learning-model dat je niet zelf hebt getraind. Deze afhaalmaaltijd is tegenwoordig vooral belangrijk vanwege het toenemende gebruik van externe serviceproviders om machine-learningmodellen te trainen die uiteindelijk verantwoordelijk zijn voor beslissingen die een grote impact hebben op individuen en de samenleving, "zei de co-auteur van de studie, een computerwetenschapper aan Berkeley, Shafi Goldwasser zei .

Overweeg een machine-learning algoritme dat is ontworpen om te beoordelen of een leningsverzoek al dan niet wordt geaccepteerd op basis van naam, leeftijd, inkomen, postadres en gevraagde leningsbedrag. Een aannemer kan een niet-detecteerbare achterdeur installeren die hem de mogelijkheid geeft om het profiel van een klant enigszins te wijzigen, zodat het algoritme altijd een voorstel goedkeurt. De contractant kan dan een dienst leveren die klanten instrueert hoe ze slechts enkele details van hun profiel of leningaanvraag moeten wijzigen om het verzoek te accepteren.

“Bedrijven en entiteiten die van plan zijn de trainingsprocedure voor machine learning uit te besteden, moeten zich grote zorgen maken. De niet-detecteerbare backdoors die we beschrijven, zouden eenvoudig te implementeren zijn, "zei Vaikuntanathan. Als je een bedrijf runt, is het belangrijk om te leren hoe bedrijven AI in beveiligingssystemen kunnen gebruiken.

Een van de wake-up calls van de onderzoekers over digitale handtekeningen, computermethoden die worden gebruikt om de geldigheid van digitale communicatie of documenten te verifiëren. Ze ontdekten dat als men toegang heeft tot zowel de originele als de gecompromitteerde algoritmen, zoals vaak het geval is met ondoorzichtige "black box"-modellen, het rekenkundig onhaalbaar is om zelfs maar een enkel datapunt te identificeren waar ze verschillen.

Als het gaat om een ​​populaire benadering waarbij machine-learningtechnieken willekeurige gegevens krijgen om hun leren te ondersteunen, kunnen aannemers, als ze knoeien met de onvoorspelbaarheid die wordt geboden om algoritmen te trainen, backdoors bouwen die niet op te sporen zijn, zelfs niet na volledige "white box" -toegang aan de architectuur en trainingsgegevens van het algoritme.

Bovendien voegen de onderzoekers eraan toe dat hun bevindingen "zeer generiek zijn en waarschijnlijk toepasbaar in diverse machine-learning-omgevingen, veel verder dan degene die we in dit eerste werk bestuderen", zei Kim. “
Ongetwijfeld zal de reikwijdte van deze aanvallen in toekomstige werken worden uitgebreid.” Als je van kunstmatige intelligentie houdt, kijk dan eens de geschiedenis van Machine Learning, het gaat terug tot de 17e eeuw.