Logo Zephyrnet

GPT-4 le lo nilokulo awọn ailagbara gidi nipasẹ awọn imọran kika

ọjọ:

Awọn aṣoju AI, eyiti o ṣajọpọ awọn awoṣe ede nla pẹlu sọfitiwia adaṣe, le ṣaṣeyọri lo nilokulo awọn ailagbara aabo agbaye gidi nipasẹ kika awọn imọran aabo, awọn ọmọ ile-iwe ti sọ.

Ni a titun tu iwe, mẹrin University of Illinois Urbana-Champaign (UIUC) awọn onimọ-jinlẹ kọnputa - Richard Fang, Rohan Bindu, Akul Gupta, ati Daniel Kang - jabo pe OpenAI's GPT-4 awoṣe ede nla (LLM) le lo nilokulo awọn ailagbara ni awọn eto gidi-aye ti o ba fun ni. imọran CVE kan ti n ṣapejuwe abawọn naa.

"Lati ṣe afihan eyi, a kojọpọ data ti awọn ailagbara ọjọ-ọjọ 15 ti o pẹlu awọn ti a ṣe tito lẹtọ bi iwọn to ṣe pataki ninu apejuwe CVE," Awọn onkọwe orisun AMẸRIKA ṣe alaye ninu iwe wọn.

“Nigbati a ba fun ni apejuwe CVE, GPT-4 ni agbara lati lo 87 ida ọgọrun ti awọn ailagbara wọnyi ni akawe si 0 fun gbogbo awoṣe miiran ti a ṣe idanwo (GPT-3.5, LLMs-ìmọ-orisun) ati awọn aṣayẹwo ailagbara orisun-ìmọ (ZAP ati Metasploit) .”

Ti o ba ṣe afikun si kini awọn awoṣe iwaju le ṣe, o dabi pe wọn yoo ni agbara diẹ sii ju kini awọn ọmọ iwe afọwọkọ le ni iraye si loni.

Ọrọ naa “ailagbara-ọjọ kan” n tọka si awọn ailagbara ti o ti ṣafihan ṣugbọn kii ṣe pamọ. Ati nipasẹ apejuwe CVE, ẹgbẹ naa tumọ si imọran CVE ti o ni aami ti o pin nipasẹ NIST - fun apẹẹrẹ, Eyi fun CVE-2024-28859.

Awọn awoṣe ti ko ni aṣeyọri ni idanwo - GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLAMA-2 Chat (13B), LLAMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Ilana v0.2, Nous Hermes-2 Yi 34B, ati OpenChat 3.5 - ko pẹlu awọn abanidije iṣowo meji ti GPT-4, Anthropic's Claude 3 ati Google's Gemini 1.5 Pro. Awọn boffins UIUC ko ni iwọle si awọn awoṣe yẹn, botilẹjẹpe wọn nireti lati ṣe idanwo wọn ni aaye kan.

Iṣẹ awọn oniwadi duro lori saju awari pe awọn LLM le ṣee lo lati ṣe adaṣe awọn ikọlu lori awọn oju opo wẹẹbu ni agbegbe iyanrin.

GPT-4, wi Daniel Kang, Iranlọwọ professor ni UIUC, ninu imeeli si Awọn Forukọsilẹ“le nitootọ ni adaṣe ṣe awọn igbesẹ lati ṣe awọn iṣiṣẹ kan ti awọn aṣayẹwo ailagbara orisun-ìmọ ko le rii (ni akoko kikọ).”

Kang sọ pe o nireti awọn aṣoju LLM, ti a ṣẹda nipasẹ (ni apẹẹrẹ yii) fifẹ awoṣe chatbot kan si awọn Fesi ilana adaṣe adaṣe ti a ṣe ni LangChain, yoo jẹ ki ilokulo rọrun pupọ fun gbogbo eniyan. Awọn aṣoju wọnyi le, a sọ fun wa, tẹle awọn ọna asopọ ni awọn apejuwe CVE fun alaye diẹ sii.

"Pẹlupẹlu, ti o ba ṣe afikun si ohun ti GPT-5 ati awọn awoṣe ojo iwaju le ṣe, o dabi pe wọn yoo ni agbara diẹ sii ju ohun ti awọn ọmọde iwe afọwọkọ le wọle si loni," o sọ.

Kiko oluranlowo LLM (GPT-4) wiwọle si apejuwe CVE ti o yẹ dinku oṣuwọn aṣeyọri rẹ lati 87 ogorun si o kan meje ninu ogorun. Sibẹsibẹ, Kang sọ pe oun ko gbagbọ diwọn wiwa gbangba ti alaye aabo jẹ ọna ti o le yanju lati daabobo lodi si awọn aṣoju LLM.

"Emi tikalararẹ ko ro pe aabo nipasẹ okunkun jẹ agbara, eyiti o dabi pe o jẹ ọgbọn ti o bori laarin awọn oniwadi aabo,” o salaye. "Mo nireti pe iṣẹ mi, ati iṣẹ miiran, yoo ṣe iwuri fun awọn ọna aabo imuduro gẹgẹbi imudojuiwọn awọn idii nigbagbogbo nigbati awọn abulẹ aabo ba jade."

Aṣoju LLM kuna lati lo o kan meji ninu awọn ayẹwo 15: Iris XSS (CVE-2024-25640) ati Hertzbeat RCE (CVE-2023-51653). Ti iṣaaju, ni ibamu si iwe naa, ṣe afihan iṣoro nitori ohun elo wẹẹbu Iris ni wiwo ti o nira pupọ fun aṣoju lati lilö kiri. Ati igbehin n ṣe apejuwe alaye ni Kannada, eyiti o ṣee ṣe idamu aṣoju LLM ti n ṣiṣẹ labẹ itọsi ede Gẹẹsi kan.

Mọkanla ti awọn ailagbara ti idanwo waye lẹhin gige ikẹkọ GPT-4, afipamo pe awoṣe ko kọ eyikeyi data nipa wọn lakoko ikẹkọ. Iwọn aṣeyọri rẹ fun awọn CVE wọnyi jẹ kekere diẹ ni 82 ogorun, tabi 9 ninu 11.

Nipa iru awọn idun naa, gbogbo wọn ni a ṣe akojọ si ninu iwe ti o wa loke, ati pe a sọ fun wa pe: “Awọn ailagbara wa ni gigun awọn ailagbara oju opo wẹẹbu, awọn ailagbara eiyan, ati awọn idii Python alailewu. Ju idaji ti wa ni tito lẹšẹšẹ bi 'giga' tabi 'pataki' idibajẹ nipasẹ apejuwe CVE."

Kang ati awọn ẹlẹgbẹ rẹ ṣe iṣiro idiyele lati ṣe ikọlu aṣoju LLM aṣeyọri ati pe o wa pẹlu eeya kan ti $ 8.80 fun ilokulo, eyiti wọn sọ pe o jẹ nipa 2.8x kere ju ti yoo jẹ idiyele lati bẹwẹ oluyẹwo ilaluja eniyan fun awọn iṣẹju 30.

Koodu aṣoju, ni ibamu si Kang, ni awọn laini koodu 91 nikan ati awọn ami-ami 1,056 fun iyara naa. Awọn oniwadi naa beere lọwọ OpenAI, ẹlẹda ti GPT-4, lati ma tu awọn itọsi wọn silẹ si gbogbo eniyan, botilẹjẹpe wọn sọ pe wọn yoo pese wọn nigbati wọn ba beere.

OpenAI ko dahun lẹsẹkẹsẹ si ibeere kan fun asọye. ®

iranran_img

Titun oye

iranran_img