Två kritiska säkerhetsbrister i Hugging Face AI-plattformen öppnade dörren för angripare som ville komma åt och ändra kunddata och modeller.

En av säkerhetsbristerna gav angripare ett sätt att komma åt modeller för maskininlärning (ML) som tillhör andra kunder på Hugging Face-plattformen, och den andra tillät dem att skriva över alla bilder i ett delat containerregister. Båda bristerna, upptäckta av forskare vid Wiz, hade att göra med angriparnas förmåga att ta över delar av Hugging Faces inferensinfrastruktur.

Wiz-forskare fann svagheter i tre specifika komponenter: Hugging Face's Inference API, som tillåter användare att bläddra och interagera med tillgängliga modeller på plattformen; Hugging Face Inference Endpoints — eller dedikerad infrastruktur för att distribuera AI-modeller i produktion; och Hugging Face Spaces, en värdtjänst för att visa upp AI/ML-applikationer eller för att arbeta tillsammans med modellutveckling.

Problemet med Pickle

När de undersökte Hugging Faces infrastruktur och sätt att beväpna de buggar de upptäckte, fann Wiz-forskare att vem som helst enkelt kunde ladda upp en AI/ML-modell till plattformen, inklusive de som är baserade på Pickle-formatet. Ättikslag är en mycket använd modul för att lagra Python-objekt i en fil. Även om till och med Python-programvarustiftelsen själv har ansett Pickle som osäker, är den fortfarande populär på grund av dess användarvänlighet och förtrogenhet folk har med den.

"Det är relativt enkelt att skapa en PyTorch (Pickle) modell som kommer att exekvera godtycklig kod vid laddning," enligt Wiz.

Wiz-forskare utnyttjade möjligheten att ladda upp en privat Pickle-baserad modell till Hugging Face som skulle köra ett omvänt skal vid laddning. De interagerade sedan med den med hjälp av Inference API för att uppnå skalliknande funktionalitet, som forskarna använde för att utforska sin miljö på Hugging Faces infrastruktur.

Den övningen visade snabbt forskarna att deras modell kördes i en pod i ett kluster på Amazon Elastic Kubernetes Service (EKS). Därifrån kunde forskarna utnyttja vanliga felkonfigurationer för att extrahera information som gjorde det möjligt för dem att skaffa de privilegier som krävs för att se hemligheter som kunde ha gjort det möjligt för dem att komma åt andra hyresgäster på den delade infrastrukturen.

Med Hugging Face Spaces upptäckte Wiz att en angripare kunde exekvera godtycklig kod under applikationens byggtid som skulle låta dem undersöka nätverksanslutningar från sin maskin. Deras granskning visade en koppling till ett delat containerregister som innehöll bilder som tillhör andra kunder som de kunde ha manipulerat.

"I fel händer kan möjligheten att skriva till det interna behållarregistret ha betydande konsekvenser för plattformens integritet och leda till attacker från supply chain på kundernas utrymmen", sa Wiz.

Sa Hugging Face det hade helt minskat riskerna som Wiz hade upptäckt. Företaget identifierade under tiden problemen som åtminstone delvis att göra med dess beslut att fortsätta att tillåta användningen av Pickle-filer på Hugging Face-plattformen, trots de tidigare nämnda väldokumenterade säkerhetsriskerna förknippade med sådana filer.  

"Pickle-filer har varit kärnan i det mesta av forskningen som Wiz har gjort och andra senaste publikationer av säkerhetsforskare om Hugging Face", noterade företaget. Att tillåta Pickle-användning på Hugging Face är "en börda för våra ingenjörs- och säkerhetsteam och vi har ansträngt oss för att minska riskerna samtidigt som vi tillåter AI-gemenskapen att använda verktyg de väljer."

Nya risker med AI-as-a-Service

Wiz beskrev sin upptäckt som en indikation på de risker som organisationer måste vara medvetna om när de använder delad infrastruktur för att vara värd för, driva och utveckla nya AI-modeller och applikationer, som håller på att bli känt som "AI-as-a-service." Företaget liknade riskerna och tillhörande begränsningar med dem som organisationer stöter på i offentliga molnmiljöer och rekommenderade att de tillämpar samma begränsningar även i AI-miljöer.

"Organisationer bör se till att de har synlighet och styrning av hela AI-stacken som används och noggrant analysera alla risker," sa Wiz i en blogg denna vecka. Detta inkluderar att analysera "användning av skadliga modeller, exponering av träningsdata, känsliga uppgifter under träning, sårbarheter i AI SDK, exponering av AI-tjänster och andra giftiga riskkombinationer som kan utnyttjas av angripare, säger säkerhetsleverantören.

Eric Schwake, chef för cybersäkerhetsstrategi på Salt Security, säger att det finns två viktiga frågor relaterade till användningen av AI-as-a-service som organisationer måste vara medvetna om. "För det första kan hotaktörer ladda upp skadliga AI-modeller eller utnyttja sårbarheter i slutledningsstacken för att stjäla data eller manipulera resultat", säger han. "För det andra kan illvilliga aktörer försöka äventyra träningsdata, vilket leder till partiska eller felaktiga AI-utdata, allmänt känd som dataförgiftning."

Att identifiera dessa problem kan vara utmanande, särskilt med hur komplexa AI-modeller blir, säger han. För att hjälpa till att hantera en del av denna risk är det viktigt för organisationer att förstå hur deras AI-appar och -modeller interagerar med API och hitta sätt att säkra det. "Organisationer kanske också vill utforska Förklarlig AI (XAI) för att hjälpa till att göra AI-modeller mer begripliga", säger Schwake, "och det kan hjälpa till att identifiera och mildra partiskhet eller risk inom AI-modellerna."

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://www.darkreading.com/cloud-security/critical-bugs-hugging-face-ai-platform-pickle