Zwei kritische Sicherheitslücken in der Hugging Face AI-Plattform öffneten Angreifern Tür und Tor, um auf Kundendaten und -modelle zuzugreifen und diese zu ändern.

Eine der Sicherheitslücken gab Angreifern die Möglichkeit, auf Modelle des maschinellen Lernens (ML) anderer Kunden auf der Hugging Face-Plattform zuzugreifen, und die zweite ermöglichte es ihnen, alle Bilder in einer gemeinsam genutzten Container-Registrierung zu überschreiben. Beide von Forschern bei Wiz entdeckten Schwachstellen hatten mit der Möglichkeit für Angreifer zu tun, Teile der Inferenzinfrastruktur von Hugging Face zu übernehmen.

Wiz-Forscher fanden Schwachstellen in drei spezifischen Komponenten: der Inferenz-API von Hugging Face, die es Benutzern ermöglicht, verfügbare Modelle auf der Plattform zu durchsuchen und mit ihnen zu interagieren; Hugging Face Inference Endpoints – oder dedizierte Infrastruktur für die Bereitstellung von KI-Modellen in der Produktion; und Hugging Face Spaces, ein Hosting-Dienst zur Präsentation von KI/ML-Anwendungen oder zur gemeinsamen Arbeit an der Modellentwicklung.

Das Problem mit Pickle

Bei der Untersuchung der Infrastruktur von Hugging Face und der Möglichkeiten, die entdeckten Fehler als Waffe zu nutzen, stellten die Wiz-Forscher fest, dass jeder problemlos ein KI/ML-Modell auf die Plattform hochladen kann, auch solche, die auf dem Pickle-Format basieren. Beizen ist ein weit verbreitetes Modul zum Speichern von Python-Objekten in einer Datei. Auch wenn selbst die Python-Software-Stiftung Pickle als unsicher einstuft, ist es aufgrund seiner Benutzerfreundlichkeit und der Vertrautheit der Benutzer nach wie vor beliebt.

„Es ist relativ einfach, ein PyTorch-Modell (Pickle) zu erstellen, das beim Laden beliebigen Code ausführt“, so Wiz.

Wiz-Forscher nutzten die Möglichkeit, ein privates Pickle-basiertes Modell auf Hugging Face hochzuladen, das beim Laden eine Reverse-Shell ausführte. Anschließend interagierten sie mithilfe der Inferenz-API damit, um eine Shell-ähnliche Funktionalität zu erreichen, mit der die Forscher ihre Umgebung auf der Infrastruktur von Hugging Face erkundeten.

Diese Übung zeigte den Forschern schnell, dass ihr Modell in einem Pod in einem Cluster auf dem Amazon Elastic Kubernetes Service (EKS) lief. Von dort aus konnten die Forscher häufige Fehlkonfigurationen nutzen, um Informationen zu extrahieren, die es ihnen ermöglichten, die erforderlichen Privilegien zu erlangen, um Geheimnisse anzuzeigen, die ihnen den Zugriff auf andere Mieter in der gemeinsamen Infrastruktur hätten ermöglichen können.

Mit Hugging Face Spaces stellte Wiz fest, dass ein Angreifer während der Anwendungserstellung beliebigen Code ausführen konnte, der es ihm ermöglichte, Netzwerkverbindungen von seinem Computer aus zu untersuchen. Ihre Überprüfung ergab eine Verbindung zu einer gemeinsamen Container-Registrierung, die Bilder anderer Kunden enthielt, die sie manipuliert haben könnten.

„In den falschen Händen könnte die Möglichkeit, in das interne Containerregister zu schreiben, erhebliche Auswirkungen auf die Integrität der Plattform haben und zu Angriffen auf die Lieferkette auf Kundenbereiche führen“, sagte Wiz.

Hugging Face sagte Es hatte die Risiken, die Wiz entdeckt hatte, vollständig gemindert. Das Unternehmen identifizierte inzwischen, dass die Probleme zumindest teilweise mit seiner Entscheidung zusammenhingen, die Verwendung von Pickle-Dateien auf der Hugging Face-Plattform weiterhin zuzulassen, trotz der oben genannten, gut dokumentierten Sicherheitsrisiken, die mit solchen Dateien verbunden sind.  

„Pickle-Dateien standen im Mittelpunkt der meisten Recherchen von Wiz und anderen aktuellen Veröffentlichungen von Sicherheitsforschern zu Hugging Face“, stellte das Unternehmen fest. Die Verwendung von Pickle auf Hugging Face zu erlauben, ist „eine Belastung für unsere Technik- und Sicherheitsteams und wir haben erhebliche Anstrengungen unternommen, um die Risiken zu mindern und gleichzeitig der KI-Community die Nutzung von Tools ihrer Wahl zu ermöglichen.“

Neue Risiken mit AI-as-a-Service

Wiz beschrieb seine Entdeckung als Hinweis auf die Risiken, über die sich Unternehmen im Klaren sein müssen, wenn sie eine gemeinsame Infrastruktur zum Hosten, Ausführen und Entwickeln neuer KI-Modelle und -Anwendungen nutzen, was als „AI-as-a-Service“ bekannt wird. Das Unternehmen verglich die Risiken und die damit verbundenen Abhilfemaßnahmen mit denen, denen Unternehmen in öffentlichen Cloud-Umgebungen ausgesetzt sind, und empfahl, die gleichen Abhilfemaßnahmen auch in KI-Umgebungen anzuwenden.

„Organisationen sollten sicherstellen, dass sie Transparenz und Kontrolle über den gesamten verwendeten KI-Stack haben und alle Risiken sorgfältig analysieren“, sagte Wiz diese Woche in einem Blog. Dazu gehört die Analyse der „Nutzung von bösartige Modelle, Offenlegung von Trainingsdaten, sensible Daten im Training, Schwachstellen in KI-SDKs, Offenlegung von KI-Diensten und anderen toxischen Risikokombinationen, die von Angreifern ausgenutzt werden können“, sagte der Sicherheitsanbieter.

Eric Schwake, Direktor für Cybersicherheitsstrategie bei Salt Security, sagt, dass es im Zusammenhang mit der Nutzung von AI-as-a-Service zwei große Probleme gibt, über die sich Unternehmen im Klaren sein müssen. „Erstens können Bedrohungsakteure schädliche KI-Modelle hochladen oder Schwachstellen im Inferenzstapel ausnutzen, um Daten zu stehlen oder Ergebnisse zu manipulieren“, sagt er. „Zweitens können böswillige Akteure versuchen, Trainingsdaten zu kompromittieren, was zu verzerrten oder ungenauen KI-Ausgaben führt, was allgemein als Datenvergiftung bekannt ist.“

Die Identifizierung dieser Probleme kann eine Herausforderung sein, insbesondere angesichts der zunehmenden Komplexität von KI-Modellen, sagt er. Um einen Teil dieses Risikos zu bewältigen, ist es für Unternehmen wichtig zu verstehen, wie ihre KI-Anwendungen und -Modelle mit der API interagieren, und Wege zu finden, dies zu schützen. „Vielleicht möchten auch Organisationen dies erkunden Erklärbare KI (XAI) „Um KI-Modelle verständlicher zu machen“, sagt Schwake, „und es könnte dabei helfen, Voreingenommenheit oder Risiken innerhalb der KI-Modelle zu erkennen und zu mindern.“

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://www.darkreading.com/cloud-security/critical-bugs-hugging-face-ai-platform-pickle