Laut Wissenschaftlern können KI-Agenten, die große Sprachmodelle mit Automatisierungssoftware kombinieren, reale Sicherheitslücken erfolgreich ausnutzen, indem sie Sicherheitshinweise lesen.

In einem neu erschienenen KrepppapierVier Informatiker der University of Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta und Daniel Kang – berichten, dass das GPT-4 Large Language Model (LLM) von OpenAI Schwachstellen in realen Systemen autonom ausnutzen kann, sofern vorhanden ein CVE-Hinweis, der den Fehler beschreibt.

„Um dies zu zeigen, haben wir einen Datensatz von 15 eintägigen Schwachstellen gesammelt, darunter auch Schwachstellen, die in der CVE-Beschreibung als kritisch eingestuft wurden“, erklären die in den USA ansässigen Autoren in ihrem Artikel.

„Anhand der CVE-Beschreibung ist GPT-4 in der Lage, 87 Prozent dieser Schwachstellen auszunutzen, verglichen mit 0 Prozent bei jedem anderen von uns getesteten Modell (GPT-3.5, Open-Source-LLMs) und Open-Source-Schwachstellenscannern (ZAP und Metasploit). .“

Wenn man die Fähigkeiten künftiger Modelle hochrechnet, ist es wahrscheinlich, dass sie weitaus leistungsfähiger sein werden als das, wozu Drehbuch-Kids heute Zugriff haben

Der Begriff „eintägige Schwachstelle“ bezieht sich auf Schwachstellen, die offengelegt, aber nicht behoben wurden. Und mit der CVE-Beschreibung meint das Team eine mit CVE gekennzeichnete Empfehlung, die vom NIST geteilt wird – z. B. diese hier. für CVE-2024-28859.

Die getesteten erfolglosen Modelle – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B und OpenChat 3.5 – enthielten nicht zwei führende kommerzielle Konkurrenten von GPT-4, Anthropics Claude 3 und Googles Gemini 1.5 Pro. Die UIUC-Experten hatten keinen Zugriff auf diese Modelle, hoffen aber, sie irgendwann testen zu können.

Die Arbeit der Forscher baut darauf auf Vorbefunde dass LLMs verwendet werden können, um Angriffe auf Websites in einer Sandbox-Umgebung zu automatisieren.

GPT-4, sagte Daniel Kang, Assistenzprofessor an der UIUC, in einer E-Mail an Das Register, „kann tatsächlich autonom die Schritte ausführen, um bestimmte Exploits auszuführen, die Open-Source-Schwachstellenscanner (zum Zeitpunkt des Schreibens) nicht finden können.“

Kang sagte, er erwarte LLM-Agenten, die (in diesem Fall) durch die Verbindung eines Chatbot-Modells mit dem erstellt werden Reagieren Das in LangChain implementierte Automatisierungsframework wird die Nutzung für alle erheblich einfacher machen. Diese Agenten können, so wurde uns gesagt, den Links in den CVE-Beschreibungen folgen, um weitere Informationen zu erhalten.

„Außerdem, wenn man auf die Möglichkeiten von GPT-5 und zukünftigen Modellen hochrechnet, ist es wahrscheinlich, dass sie viel leistungsfähiger sein werden als das, worauf Skript-Kids heute Zugriff haben“, sagte er.

Durch die Verweigerung des Zugriffs des LLM-Agenten (GPT-4) auf die relevante CVE-Beschreibung verringerte sich die Erfolgsquote von 87 Prozent auf nur sieben Prozent. Kang sagte jedoch, er glaube nicht, dass die Einschränkung der öffentlichen Verfügbarkeit von Sicherheitsinformationen eine praktikable Möglichkeit sei, sich gegen LLM-Agenten zu verteidigen.

„Ich persönlich glaube nicht, dass Sicherheit durch Unklarheit haltbar ist, was die vorherrschende Meinung unter Sicherheitsforschern zu sein scheint“, erklärte er. „Ich hoffe, dass meine und andere Arbeiten proaktive Sicherheitsmaßnahmen fördern, wie zum Beispiel die regelmäßige Aktualisierung von Paketen, wenn Sicherheitspatches herauskommen.“

Nur zwei der 15 Samples konnte der LLM-Agent nicht ausnutzen: Iris XSS (CVE-2024-25640) und Hertzbeat RCE (CVE-2023-51653). Ersteres erwies sich dem Papier zufolge als problematisch, da die Iris-Web-App über eine Benutzeroberfläche verfügt, die für den Agenten äußerst schwierig zu navigieren ist. Und letzteres enthält eine detaillierte Beschreibung auf Chinesisch, was den LLM-Agenten, der unter einer englischsprachigen Eingabeaufforderung agierte, vermutlich verwirrte.

Elf der getesteten Schwachstellen traten nach der Trainingsunterbrechung von GPT-4 auf, was bedeutet, dass das Modell während des Trainings keine Daten über sie erfahren hatte. Die Erfolgsquote bei diesen CVEs war mit 82 Prozent oder 9 von 11 etwas niedriger.

Was die Art der Fehler angeht, sind sie alle im obigen Dokument aufgeführt, und uns wird gesagt: „Unsere Schwachstellen umfassen Website-Schwachstellen, Container-Schwachstellen und anfällige Python-Pakete.“ Über die Hälfte wird gemäß der CVE-Beschreibung als „hoch“ oder „kritisch“ eingestuft.“

Kang und seine Kollegen berechneten die Kosten für die Durchführung eines erfolgreichen LLM-Agent-Angriffs und kamen auf einen Betrag von 8.80 US-Dollar pro Exploit, was ihrer Meinung nach etwa 2.8-mal weniger ist, als es kosten würde, einen menschlichen Penetrationstester für 30 Minuten zu engagieren.

Der Agentencode besteht laut Kang aus lediglich 91 Codezeilen und 1,056 Tokens für die Eingabeaufforderung. Die Forscher wurden von OpenAI, dem Hersteller von GPT-4, gebeten, ihre Eingabeaufforderungen nicht der Öffentlichkeit zugänglich zu machen, obwohl sie sagten, dass sie sie auf Anfrage bereitstellen würden.

OpenAI reagierte nicht sofort auf eine Bitte um Stellungnahme. ®

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/