Naukowcy twierdzą, że agenci sztucznej inteligencji, którzy łączą duże modele językowe z oprogramowaniem do automatyzacji, mogą z powodzeniem wykorzystywać luki w zabezpieczeniach w świecie rzeczywistym, czytając porady dotyczące bezpieczeństwa.

W nowo wydanym papier, czterech informatyków z Uniwersytetu Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta i Daniel Kang – podają, że model dużego języka GPT-4 (LLM) OpenAI może autonomicznie wykorzystywać luki w zabezpieczeniach systemów świata rzeczywistego, jeśli zostaną podane poradnik CVE opisujący usterkę.

„Aby to pokazać, zebraliśmy zestaw danych zawierający 15 jednodniowych luk w zabezpieczeniach, w tym te sklasyfikowane w opisie CVE jako krytyczne” – wyjaśniają autorzy z USA w swoim artykule.

„Po otrzymaniu opisu CVE GPT-4 jest w stanie wykorzystać 87 procent tych luk w porównaniu z 0 procentami w przypadku każdego innego testowanego przez nas modelu (GPT-3.5, LLM typu open source) i skanerów podatności typu open source (ZAP i Metasploit) .”

Jeśli ekstrapolujesz na to, co potrafią przyszłe modele, wydaje się prawdopodobne, że będą one o wiele bardziej zdolne niż te, do których dzieci skryptowe mogą uzyskać dostęp dzisiaj

Termin „jednodniowa luka” odnosi się do luk, które zostały ujawnione, ale nie zostały załatane. Przez opis CVE zespół rozumie poradę oznaczoną CVE udostępnioną przez NIST – np. ten dla CVE-2024-28859.

Testowane nieudane modele – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B i OpenChat 3.5 – nie zawierały dwóch wiodących komercyjnych rywali GPT-4, Claude 3 firmy Anthropic i Gemini 1.5 Pro firmy Google. Specjaliści z UIUC nie mieli dostępu do tych modeli, choć mają nadzieję je kiedyś przetestować.

Na tym opiera się praca badaczy wcześniejsze ustalenia że LLM można wykorzystać do automatyzacji ataków na strony internetowe w środowisku piaskownicy.

GPT-4, powiedział Daniel Kang, adiunkt na UIUC, w e-mailu do Rejestr, „może faktycznie autonomicznie wykonywać kroki w celu wykonania pewnych exploitów, których skanery podatności na ataki typu open source nie mogą znaleźć (w momencie pisania tego tekstu)”.

Kang powiedział, że spodziewa się agentów LLM utworzonych (w tym przypadku) poprzez podłączenie modelu chatbota do Reagować framework automatyzacji zaimplementowany w LangChain, znacznie ułatwi każdemu eksploatację. Powiedziano nam, że agenci ci mogą skorzystać z łączy w opisach CVE, aby uzyskać więcej informacji.

„Ponadto, jeśli ekstrapoluje się na możliwości GPT-5 i przyszłych modeli, wydaje się prawdopodobne, że będą one znacznie większe niż te, do których mają dziś dostęp dzieci skryptowe” – powiedział.

Odmowa agentowi LLM (GPT-4) dostępu do odpowiedniego opisu CVE zmniejszyła wskaźnik powodzenia z 87% do zaledwie XNUMX%. Kang stwierdził jednak, że nie wierzy, że ograniczanie publicznej dostępności informacji dotyczących bezpieczeństwa jest realnym sposobem obrony przed agentami LLM.

„Osobiście nie sądzę, że bezpieczeństwo poprzez zaciemnienie jest możliwe do utrzymania, co wydaje się przeważać wśród badaczy bezpieczeństwa” – wyjaśnił. „Mam nadzieję, że moja praca i inne prace zachęcą do stosowania proaktywnych środków bezpieczeństwa, takich jak regularne aktualizowanie pakietów, gdy pojawią się poprawki bezpieczeństwa”.

Agentowi LLM nie udało się wykorzystać tylko dwóch z 15 próbek: Iris XSS (CVE-2024-25640) i Hertzbeat RCE (CVE-2023-51653). Według gazety to pierwsze rozwiązanie okazało się problematyczne, ponieważ aplikacja internetowa Iris ma interfejs, który jest niezwykle trudny w obsłudze dla agenta. Ten ostatni zawiera szczegółowy opis w języku chińskim, co prawdopodobnie zmyliło agenta LLM działającego na podstawie podpowiedzi w języku angielskim.

Jedenaście z testowanych luk pojawiło się po zakończeniu uczenia GPT-4, co oznacza, że ​​model nie poznał żadnych danych na ich temat podczas szkolenia. Wskaźnik sukcesu w przypadku tych CVE był nieco niższy i wyniósł 82 procent, czyli 9 na 11.

Jeśli chodzi o charakter błędów, wszystkie zostały one wymienione w powyższym artykule i powiedziano nam: „Nasze luki obejmują luki w zabezpieczeniach witryn internetowych, luki w zabezpieczeniach kontenerów i podatne na ataki pakiety Pythona. Ponad połowa z nich została sklasyfikowana w opisie CVE jako „wysoka” lub „krytyczna”.

Kang i jego współpracownicy obliczyli koszt przeprowadzenia udanego ataku agenta LLM i uzyskali kwotę 8.80 dolara za exploit, co według nich stanowi około 2.8 razy mniej niż kosztowałoby wynajęcie testera penetracji człowieka na 30 minut.

Według Kanga kod agenta składa się z zaledwie 91 linii kodu i 1,056 tokenów podpowiedzi. OpenAI, twórca GPT-4, poprosił badaczy, aby nie udostępniali opinii publicznej podpowiedzi, chociaż twierdzą, że udostępnią je na żądanie.

OpenAI nie odpowiedziało natychmiast na prośbę o komentarz. ®

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/