A nagy nyelvi modelleket automatizáló szoftverekkel kombináló mesterséges intelligencia-ügynökök a biztonsági tanácsok elolvasásával sikeresen kihasználhatják a valós világ biztonsági réseit – állították akadémikusok.

Egy újonnan megjelent papír, négy Illinois Egyetem Urbana-Champaign (UIUC) informatikusa – Richard Fang, Rohan Bindu, Akul Gupta és Daniel Kang – arról számolt be, hogy az OpenAI GPT-4 nagynyelvi modellje (LLM) autonóm módon képes kihasználni a valós rendszerek sebezhetőségeit, ha megadják. a hibát leíró CVE-tanácsadás.

„Ennek bemutatására összegyűjtöttünk egy 15 egynapos sebezhetőséget tartalmazó adathalmazt, amelyek a CVE leírásában kritikus súlyosságúnak minősített sérülékenységet tartalmaznak” – magyarázzák az egyesült államokbeli szerzők közleményükben.

„A CVE leírása alapján a GPT-4 képes kihasználni a sérülékenységek 87 százalékát, szemben az összes többi általunk tesztelt modell (GPT-0, nyílt forráskódú LLM-ek) és nyílt forráskódú sebezhetőség-szkennerek (ZAP és Metasploit) 3.5 százalékával. .”

Ha extrapolálunk arra, hogy a jövőbeli modellek mire képesek, valószínűnek tűnik, hogy sokkal jobban képesek lesznek, mint amihez a gyerekek ma hozzáférhetnek.

Az „egynapos sebezhetőség” kifejezés azokra a sebezhetőségekre utal, amelyeket nyilvánosságra hoztak, de nem javítottak ki. A CVE leírása alatt a csapat a NIST által megosztott CVE-címkével ellátott tanácsot érti – pl. ezt a CVE-2024-28859 esetében.

A tesztelt sikertelen modellek – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Az Instruct v0.2, a Nous Hermes-2 Yi 34B és az OpenChat 3.5 – nem tartalmazta a GPT-4 két vezető kereskedelmi riválisát, az Anthropic Claude 3-át és a Google Gemini 1.5 Pro-ját. Az UIUC boffinjai nem fértek hozzá ezekhez a modellekhez, bár remélik, hogy valamikor kipróbálhatják őket.

A kutatók munkája erre épül korábbi megállapítások hogy az LLM-ek segítségével automatizálhatók a webhelyek elleni támadások sandbox környezetben.

GPT-4 – mondta Daniel Kang, az UIUC adjunktusa egy e-mailben A regisztráció, „valójában autonóm módon hajthatja végre azokat a lépéseket bizonyos kihasználások végrehajtására, amelyeket a nyílt forráskódú sebezhetőség-ellenőrzők nem találnak (az írás idején).

Kang azt mondta, hogy LLM-ügynököket vár, amelyeket úgy hoztak létre, hogy (ebben az esetben) egy chatbot-modellt csatlakoztattak a Reagál A LangChainben megvalósított automatizálási keretrendszer mindenki számára sokkal könnyebbé teszi a kiaknázást. Úgy tudjuk, ezek az ügynökök a CVE leírásában található hivatkozásokat követhetik további információkért.

„Ha azt is extrapoláljuk, hogy mire képesek a GPT-5 és a jövőbeli modellek, akkor valószínűnek tűnik, hogy sokkal jobban képesek lesznek, mint amihez a gyerekek ma hozzáférhetnek” – mondta.

Az LLM-ügynök (GPT-4) hozzáférésének megtagadása a vonatkozó CVE-leíráshoz csökkentette a sikerességi arányt 87 százalékról mindössze hét százalékra. Kang azonban azt mondta, nem hiszi, hogy a biztonsági információk nyilvános elérhetőségének korlátozása járható út az LLM-ügynökök elleni védekezésre.

„Személy szerint nem tartom tarthatónak a biztonságot a homályon keresztül, ami a biztonságkutatók körében uralkodó bölcsességnek tűnik” – magyarázta. "Remélem, hogy munkám és egyéb munkám ösztönözni fogják a proaktív biztonsági intézkedéseket, például a csomagok rendszeres frissítését, amikor megjelennek a biztonsági javítások."

Az LLM-ügynök a 15 minta közül csak kettőt nem tudott kihasználni: az Iris XSS-t (CVE-2024-25640) és a Hertzbeat RCE-t (CVE-2023-51653). Előbbi a lap szerint azért bizonyult problémásnak, mert az Iris webalkalmazás olyan felülettel rendelkezik, amelyen az ügynök számára rendkívül nehéz eligazodni. Utóbbi pedig egy részletes kínai leírást tartalmaz, ami feltehetően megzavarta az angol nyelvű prompt alatt működő LLM-ügynököt.

A tesztelt sérülékenységek közül tizenegy a GPT-4 kiképzési határideje után fordult elő, vagyis a modell nem szerzett meg róluk adatokat a képzés során. E CVE-k sikerességi aránya valamivel alacsonyabb volt, 82 százalék, ami 9-ből 11.

Ami a hibák természetét illeti, ezek mindegyike megtalálható a fenti dokumentumban, és azt mondják nekünk: „Sebezhetőségeink kiterjednek a webhelyek sebezhetőségeire, a tárolók sebezhetőségeire és a sebezhető Python-csomagokra is. Több mint fele a CVE leírása szerint „magas” vagy „kritikus” súlyosságú kategóriába tartozik.

Kang és munkatársai kiszámolták egy sikeres LLM-ügynök támadás költségét, és 8.80 dollárt adtak ki kizsákmányolásonként, ami állításuk szerint körülbelül 2.8-szor kevesebb, mint egy emberi behatolásvizsgáló 30 percre történő bérlése.

Az ügynökkód Kang szerint mindössze 91 kódsorból és 1,056 tokenből áll a prompthoz. A kutatókat az OpenAI, a GPT-4 gyártója arra kérte, hogy ne adják ki a nyilvánosság elé jelzéseiket, bár azt mondják, kérésre megadják azokat.

Az OpenAI nem válaszolt azonnal a megjegyzéskérésre. ®

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/