Zephyrnet-logo

Generativ dataintelligens

AI

GPT-4 kan utnytte reelle sårbarheter ved å lese råd

Publisert av Platon
Publisert av Platon

Dato:

Visninger: 70

AI-agenter, som kombinerer store språkmodeller med automatiseringsprogramvare, kan lykkes med å utnytte sikkerhetssårbarheter i den virkelige verden ved å lese sikkerhetsråd, har akademikere hevdet.

I en nylig utgitt papir, rapporterer fire informatikere fra University of Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta og Daniel Kang – at OpenAIs GPT-4 store språkmodell (LLM) autonomt kan utnytte sårbarheter i systemer i den virkelige verden hvis den blir gitt en CVE-rådgivning som beskriver feilen.

"For å vise dette har vi samlet et datasett med 15 endagssårbarheter som inkluderer de som er kategorisert som kritisk alvorlighetsgrad i CVE-beskrivelsen," forklarer de USA-baserte forfatterne i sin artikkel.

"Når gitt CVE-beskrivelsen, er GPT-4 i stand til å utnytte 87 prosent av disse sårbarhetene sammenlignet med 0 prosent for hver annen modell vi tester (GPT-3.5, åpen kildekode LLM) og åpen kildekode sårbarhetsskannere (ZAP og Metasploit) ."

Hvis du ekstrapolerer til hva fremtidige modeller kan gjøre, virker det sannsynlig at de vil være mye mer kapable enn hva manusbarn kan få tilgang til i dag

Begrepet "endagssårbarhet" refererer til sårbarheter som har blitt avslørt, men ikke rettet. Og med CVE-beskrivelsen mener teamet en CVE-merket rådgivning som deles av NIST – f.eks. dette for CVE-2024-28859.

De mislykkede modellene som ble testet – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B og OpenChat 3.5 – inkluderte ikke to ledende kommersielle rivaler av GPT-4, Anthropics Claude 3 og Googles Gemini 1.5 Pro. UIUC-boffinene hadde ikke tilgang til disse modellene, selv om de håper å teste dem på et tidspunkt.

Forskernes arbeid bygger videre på tidligere funn at LLM-er kan brukes til å automatisere angrep på nettsteder i et sandkassemiljø.

GPT-4, sa Daniel Kang, assisterende professor ved UIUC, i en e-post til Registeret, "kan faktisk autonomt utføre trinnene for å utføre visse utnyttelser som sårbarhetsskannere med åpen kildekode ikke kan finne (i skrivende stund)."

Kang sa at han forventer LLM-agenter, opprettet ved (i dette tilfellet) å koble en chatbot-modell til Reagere automatiseringsrammeverk implementert i LangChain, vil gjøre utnyttelsen mye enklere for alle. Disse agentene kan, blir vi fortalt, følge lenker i CVE-beskrivelser for mer informasjon.

"I tillegg, hvis du ekstrapolerer til hva GPT-5 og fremtidige modeller kan gjøre, virker det sannsynlig at de vil være mye mer kapable enn det manusbarn kan få tilgang til i dag," sa han.

Å nekte LLM-agenten (GPT-4) tilgang til den relevante CVE-beskrivelsen reduserte suksessraten fra 87 prosent til bare syv prosent. Kang sa imidlertid at han ikke tror å begrense offentlig tilgjengelighet av sikkerhetsinformasjon er en levedyktig måte å forsvare seg mot LLM-agenter på.

"Jeg personlig tror ikke sikkerhet gjennom uklarhet er holdbar, noe som ser ut til å være den rådende visdommen blant sikkerhetsforskere," forklarte han. "Jeg håper arbeidet mitt, og annet arbeid, vil oppmuntre til proaktive sikkerhetstiltak som å oppdatere pakker regelmessig når sikkerhetsoppdateringer kommer ut."

LLM-agenten klarte ikke å utnytte bare to av de 15 prøvene: Iris XSS (CVE-2024-25640) og Hertzbeat RCE (CVE-2023-51653). Førstnevnte, ifølge avisen, viste seg å være problematisk fordi Iris-webappen har et grensesnitt som er ekstremt vanskelig for agenten å navigere. Og sistnevnte har en detaljert beskrivelse på kinesisk, som antagelig forvirret LLM-agenten som opererer under en engelskspråklig melding.

Elleve av sårbarhetene som ble testet skjedde etter GPT-4s treningsavbrudd, noe som betyr at modellen ikke hadde lært noen data om dem under trening. Suksessraten for disse CVE-ene var litt lavere med 82 prosent, eller 9 av 11.

Når det gjelder feilenes natur, er de alle oppført i papiret ovenfor, og vi blir fortalt: "Sårbarhetene våre spenner over nettstedssårbarheter, containersårbarheter og sårbare Python-pakker. Over halvparten er kategorisert som "høy" eller "kritisk" alvorlighetsgrad av CVE-beskrivelsen."

Kang og kollegene hans beregnet kostnadene for å gjennomføre et vellykket LLM-agentangrep og kom opp med et tall på $8.80 per utnyttelse, som de sier er omtrent 2.8 ganger mindre enn det ville koste å ansette en menneskelig penetrasjonstester i 30 minutter.

Agentkoden, ifølge Kang, består av bare 91 linjer med kode og 1,056 tokens for ledeteksten. Forskerne ble bedt av OpenAI, produsenten av GPT-4, om ikke å gi ut meldingene sine til publikum, selv om de sier de vil gi dem på forespørsel.

OpenAI svarte ikke umiddelbart på en forespørsel om kommentar. ®

spot_img

Siste etterretning

spot_img

Copyright @ 2024 Plato Technologies Inc.