Onderzoekers hebben op het Hugging Face AI-platform meer dan 100 kwaadaardige machine learning-modellen (ML) ontdekt waarmee aanvallers kwaadaardige code op gebruikersmachines kunnen injecteren.

Hoewel Hugging Face beveiligingsmaatregelen implementeert, benadrukken de bevindingen het groeiende risico van het ‘bewapenen’ van openbaar beschikbare modellen, omdat ze een achterdeur voor aanvallers kunnen creëren.

De bevindingen van JFrog Security Research maken deel uit van een lopend onderzoek om te analyseren hoe hackers ML kunnen gebruiken om gebruikers aan te vallen.

Schadelijke inhoud

Volgens een artikel van Computingontwikkelden de onderzoekers een geavanceerd scansysteem om modellen te onderzoeken die worden gehost op het Hugging Face AI-platform, zoals PyTorch en Tensorflow Keras.

Hugging Face is een platform ontwikkeld voor het delen van AI-modellen, datasets en applicaties. Bij het analyseren van de modellen ontdekten de onderzoekers schadelijke ladingen “binnen schijnbaar onschadelijke modellen.”

Dit ondanks het feit dat Hugging Face beveiligingsmaatregelen uitvoert, zoals malware en augurkenscannen. Het platform beperkt echter niet het downloaden van modellen die mogelijk schadelijk kunnen zijn en maakt het ook openbaar beschikbaar AI-modellen misbruikt en bewapend worden door gebruikers.

Bij onderzoek van het platform en de bestaande modellen ontdekten de beveiligingsonderzoekers van JFrog ongeveer 100 AI-modellen met kwaadaardige functionaliteit, volgens hun verslag.

Sommige van deze modellen, zo geeft het rapport aan, zijn in staat code uit te voeren op de machines van gebruikers, “waardoor een hardnekkige achterdeur voor aanvallers wordt gecreëerd.”

De onderzoekers gaven ook aan dat dergelijke bevindingen valse positieven uitsluiten. Deze zijn volgens hen een nauwkeurige weergave van de prevalentie van kwaadaardige modellen op het platform.

Lees ook: Apple stuurt autoteam door naar AI post-EV marktvertraging

De voorbeelden

Volgens het rapport van JFrog betreft een van de “alarmerende” gevallen: PyTorch model. Het model werd naar verluidt geüpload door een gebruiker geïdentificeerd als “baller423”, en werd vervolgens verwijderd van het Hugging Face-platform.

Bij nader onderzoek van het model merkten de onderzoekers dat het een kwaadaardige lading bevatte, waardoor het een omgekeerde shell op een specifieke host (210.117.212.93) kon opzetten.

JFrog senior veiligheidsonderzoeker David Cohen zei: “(Het) is met name indringender en potentieel kwaadaardig, omdat het een directe verbinding tot stand brengt met een externe server, wat duidt op een potentiële bedreiging voor de veiligheid in plaats van slechts een demonstratie van kwetsbaarheid”, schreef hij.

Dit maakt gebruik van “de '_reduce_'-methode van Python's pickle-module om willekeurige code uit te voeren bij het laden van het modelbestand, waardoor conventionele detectiemethoden effectief worden omzeild.”

De onderzoekers erkenden ook dat dezelfde lading verbindingen met verschillende IP-adressen tot stand bracht, “wat suggereert dat operators mogelijk onderzoekers zijn in plaats van kwaadwillende hackers.”

Een wake-up call

Het JFrog-team merkte op dat de bevindingen een wake-up call zijn voor Hugging Face, waaruit blijkt dat het platform gevoelig is voor manipulatie en potentiële bedreigingen.

“Deze incidenten dienen als aangrijpende herinneringen aan de voortdurende bedreigingen waarmee Hugging Face-repository’s en andere populaire repository’s zoals Kaggle worden geconfronteerd, die mogelijk de privacy en veiligheid van organisaties die deze bronnen gebruiken in gevaar zouden kunnen brengen, naast uitdagingen voor AI/ML-ingenieurs”, zegt de onderzoekers.

Dit komt als cyberveiligheid bedreigt de over de hele wereld nemen toe, aangewakkerd door de proliferatie van AI-instrumenten, waarbij slechte actoren deze misbruiken voor kwade bedoelingen. Hackers gebruiken AI ook om phishing-aanvallen te bevorderen en mensen te misleiden.

Het JFrog-team deed echter andere ontdekkingen.

Een speeltuin voor onderzoekers

Dat merkten de onderzoekers ook op Gezicht knuffelen is uitgegroeid tot een speeltuin voor onderzoekers “die opkomende dreigingen willen bestrijden, zoals blijkt uit de uiteenlopende reeks tactieken om de veiligheidsmaatregelen te omzeilen.”

De payload geüpload door “baller423” initieerde bijvoorbeeld een omgekeerde shell-verbinding met een IP-adresbereik dat toebehoort aan Kreonet (Korea Research Environment Open Network).

Think Donkere lezing, Kreonet is een hogesnelheidsnetwerk in Zuid-Korea dat geavanceerde onderzoeks- en onderwijsactiviteiten ondersteunt; “Daarom is het mogelijk dat AI-onderzoekers of praktijkmensen achter het model hebben gezeten.”

"We kunnen zien dat de meeste 'kwaadaardige' payloads eigenlijk pogingen zijn van onderzoekers en/of bugbounty om code uit te voeren voor ogenschijnlijk legitieme doeleinden", aldus Cohen.

Ondanks de legitieme doeleinden waarschuwde het JFrog-team echter dat de strategieën die door onderzoekers worden gebruikt duidelijk aantonen dat platforms als Hugging Face openstaan ​​voor aanvallen op de toeleveringsketen. Deze kunnen volgens het team worden aangepast om zich te concentreren op specifieke demografische groepen, zoals AI- of ML-ingenieurs.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://metanews.com/over-100-malicious-code-execution-models-on-hugging-face-backdoors-users-devices/