Twee kritieke beveiligingsproblemen in het Hugging Face AI-platform openden de deur voor aanvallers die toegang wilden krijgen tot klantgegevens en -modellen en deze wilden wijzigen.

Een van de beveiligingsproblemen gaf aanvallers een manier om toegang te krijgen tot machine learning (ML)-modellen van andere klanten op het Hugging Face-platform, en de tweede stelde hen in staat alle afbeeldingen in een gedeeld containerregister te overschrijven. Beide tekortkomingen, ontdekt door onderzoekers van Wiz, hadden te maken met het vermogen van aanvallers om delen van de inferentie-infrastructuur van Hugging Face over te nemen.

Wiz-onderzoekers ontdekten zwakke punten in drie specifieke componenten: de Inference API van Hugging Face, waarmee gebruikers door beschikbare modellen op het platform kunnen bladeren en ermee kunnen communiceren; Hugging Face Inference Endpoints – of speciale infrastructuur voor het inzetten van AI-modellen in productie; en Hugging Face Spaces, een hostingservice voor het presenteren van AI/ML-applicaties of om samen te werken aan modelontwikkeling.

Het probleem met augurk

Bij het onderzoeken van de infrastructuur van Hugging Face en manieren om de bugs die ze ontdekten te bewapenen, ontdekten Wiz-onderzoekers dat iedereen gemakkelijk een AI/ML-model naar het platform kon uploaden, inclusief modellen gebaseerd op het Pickle-formaat. Augurk is een veelgebruikte module voor het opslaan van Python-objecten in een bestand. Hoewel zelfs de Python-softwarestichting Pickle zelf als onveilig beschouwt, blijft het populair vanwege het gebruiksgemak en de bekendheid die mensen ermee hebben.

“Het is relatief eenvoudig om een ​​PyTorch (Pickle)-model te maken dat bij het laden willekeurige code uitvoert”, aldus Wiz.

Wiz-onderzoekers maakten gebruik van de mogelijkheid om een ​​privé-op Pickle gebaseerd model naar Hugging Face te uploaden dat bij het laden een omgekeerde shell zou uitvoeren. Vervolgens werkten ze ermee samen met behulp van de Inference API om shell-achtige functionaliteit te bereiken, die de onderzoekers gebruikten om hun omgeving op de infrastructuur van Hugging Face te verkennen.

Die oefening liet de onderzoekers al snel zien dat hun model in een pod in een cluster op Amazon Elastic Kubernetes Service (EKS) draaide. Van daaruit konden de onderzoekers veelvoorkomende misconfiguraties gebruiken om informatie te extraheren waarmee ze de rechten konden verwerven die nodig waren om geheimen te bekijken waarmee ze toegang hadden kunnen krijgen tot andere tenants op de gedeelde infrastructuur.

Met Hugging Face Spaces ontdekte Wiz dat een aanvaller tijdens het bouwen van applicaties willekeurige code kon uitvoeren, waardoor hij netwerkverbindingen vanaf zijn machine kon onderzoeken. Uit hun onderzoek bleek dat er een verbinding was met een gedeeld containerregister met afbeeldingen van andere klanten waarmee ze hadden kunnen knoeien.

“In de verkeerde handen zou de mogelijkheid om naar het interne containerregister te schrijven aanzienlijke gevolgen kunnen hebben voor de integriteit van het platform en kunnen leiden tot supply chain-aanvallen op de ruimtes van klanten”, aldus Wiz.

Knuffelend Gezicht zei het had de risico's die Wiz had ontdekt volledig verzacht. Het bedrijf heeft inmiddels vastgesteld dat de problemen op zijn minst gedeeltelijk te maken hebben met het besluit om het gebruik van Pickle-bestanden op het Hugging Face-platform toe te staan, ondanks de bovengenoemde goed gedocumenteerde veiligheidsrisico's die aan dergelijke bestanden zijn verbonden.  

“Pickle-bestanden vormen de kern van het meeste onderzoek van Wiz en andere recente publicaties van beveiligingsonderzoekers over Hugging Face”, aldus het bedrijf. Het toestaan ​​van het gebruik van Pickle op Hugging Face is “een last voor onze technische en beveiligingsteams en we hebben aanzienlijke inspanningen geleverd om de risico’s te beperken en tegelijkertijd de AI-gemeenschap de tools te laten gebruiken die zij kiezen.”

Opkomende risico’s met AI-as-a-Service

Wiz beschreef zijn ontdekking als indicatie van de risico’s waar organisaties zich bewust van moeten zijn bij het gebruik van gedeelde infrastructuur voor het hosten, uitvoeren en ontwikkelen van nieuwe AI-modellen en -applicaties, wat bekend wordt als ‘AI-as-a-service’. Het bedrijf vergeleek de risico's en de bijbehorende maatregelen met de risico's waarmee organisaties te maken krijgen in openbare cloudomgevingen en adviseerde om dezelfde maatregelen ook in AI-omgevingen toe te passen.

“Organisaties moeten ervoor zorgen dat ze inzicht en beheer hebben over de gehele AI-stack die wordt gebruikt en alle risico’s zorgvuldig analyseren”, zei Wiz deze week in een blog. Dit omvat het analyseren van “gebruik van kwaadaardige modellen, blootstelling van trainingsgegevens, gevoelige gegevens in training, kwetsbaarheden in AI SDK’s, blootstelling van AI-diensten en andere giftige risicocombinaties die door aanvallers kunnen worden uitgebuit”, aldus de beveiligingsleverancier.

Eric Schwake, directeur cybersecuritystrategie bij Salt Security, zegt dat er twee belangrijke problemen zijn met betrekking tot het gebruik van AI-as-a-service waar organisaties zich bewust van moeten zijn. “Ten eerste kunnen bedreigingsactoren schadelijke AI-modellen uploaden of kwetsbaarheden in de inferentiestapel misbruiken om gegevens te stelen of resultaten te manipuleren”, zegt hij. “Ten tweede kunnen kwaadwillende actoren proberen trainingsgegevens in gevaar te brengen, wat leidt tot vertekende of onnauwkeurige AI-resultaten, beter bekend als datavergiftiging.”

Het identificeren van deze problemen kan een uitdaging zijn, vooral gezien de complexiteit van AI-modellen, zegt hij. Om een ​​deel van dit risico te helpen beheersen, is het belangrijk dat organisaties begrijpen hoe hun AI-apps en -modellen omgaan met de API en manieren vinden om dat te beveiligen. “Organisaties willen misschien ook verkennen Verklaarbare AI (XAI) om AI-modellen begrijpelijker te maken,” zegt Schwake, “en het zou kunnen helpen bij het identificeren en verminderen van vooroordelen of risico’s binnen de AI-modellen.”

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.darkreading.com/cloud-security/critical-bugs-hugging-face-ai-platform-pickle