Tekoälyagentit, jotka yhdistävät suuria kielimalleja automaatioohjelmistoihin, voivat menestyksekkäästi hyödyntää todellisen maailman tietoturva-aukkoja lukemalla tietoturvaohjeita, tutkijat ovat väittäneet.

Äskettäin julkaistussa paperi, neljä Illinoisin yliopiston Urbana-Champaignin (UIUC) tietotekniikan tutkijaa – Richard Fang, Rohan Bindu, Akul Gupta ja Daniel Kang – raportoivat, että OpenAI:n GPT-4:n suuri kielimalli (LLM) voi itsenäisesti hyödyntää todellisten järjestelmien haavoittuvuuksia, jos se annetaan. virhettä kuvaava CVE-neuvonta.

"Tämän osoittamiseksi keräsimme tietojoukon 15 yhden päivän haavoittuvuudesta, jotka sisältävät haavoittuvuuksia, jotka on luokiteltu kriittisiksi CVE-kuvauksessa", yhdysvaltalaiset kirjoittajat selittävät artikkelissaan.

"Kun annetaan CVE-kuvaus, GPT-4 pystyy hyödyntämään 87 prosenttia näistä haavoittuvuuksista verrattuna 0 prosenttiin kaikissa muissa testaamissamme malleissa (GPT-3.5, avoimen lähdekoodin LLM:t) ja avoimen lähdekoodin haavoittuvuuksien skannerit (ZAP ja Metasploit) .”

Jos ekstrapoloidaan siihen, mitä tulevat mallit voivat tehdä, näyttää todennäköiseltä, että ne ovat paljon kykyisempiä kuin mitä käsikirjoituslapset voivat saada käsiksi tänään

Termi "yhden päivän haavoittuvuus" viittaa haavoittuvuuksiin, jotka on paljastettu, mutta joita ei ole korjattu. Ja CVE-kuvauksella tiimi tarkoittaa NIST:n jakamaa CVE-merkittyä neuvontaa – esim. tämä CVE-2024-28859:lle.

Testatut epäonnistuneet mallit – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B ja OpenChat 3.5 – eivät sisältäneet kahta johtavaa kaupallista GPT-4:n kilpailijaa, Anthropicin Claude 3:a ja Googlen Gemini 1.5 Prota. UIUC:n boffineilla ei ollut pääsyä näihin malleihin, vaikka he toivovatkin testaavansa niitä jossain vaiheessa.

Tutkijoiden työ perustuu aikaisemmat löydöt että LLM:itä voidaan käyttää automatisoimaan hyökkäyksiä verkkosivustoja vastaan ​​hiekkalaatikkoympäristössä.

GPT-4, sanoi Daniel Kang, UIUC:n apulaisprofessori, sähköpostissa Rekisteri, "voi itse asiassa suorittaa vaiheet suorittaakseen tiettyjä hyväksikäyttöjä, joita avoimen lähdekoodin haavoittuvuusskannerit eivät löydä (kirjoitushetkellä)."

Kang sanoi odottavansa LLM-agentteja, jotka on luotu (tässä tapauksessa) johdottamalla chatbot-malli suhtautua LangChainissa toteutettu automaatiokehys tekee hyödyntämisestä paljon helpompaa kaikille. Nämä agentit voivat, meille kerrotaan, seurata CVE-kuvauksissa olevia linkkejä saadakseen lisätietoja.

"Lisäksi, jos ekstrapoloidaan siihen, mitä GPT-5 ja tulevat mallit voivat tehdä, näyttää todennäköiseltä, että ne ovat paljon pätevämpiä kuin mitä käsikirjoituslapset voivat saada käsiksi tänään", hän sanoi.

Kun LLM-agentilta (GPT-4) evättiin pääsy asiaankuuluvaan CVE-kuvaukseen, sen onnistumisprosentti laski 87 prosentista vain seitsemään prosenttiin. Kang sanoi kuitenkin, ettei hän usko, että tietoturvatietojen julkisen saatavuuden rajoittaminen on käyttökelpoinen tapa puolustautua LLM-agentteja vastaan.

"En henkilökohtaisesti usko, että turvallisuus epäselvyyden kautta on kestävää, mikä näyttää olevan turvallisuustutkijoiden keskuudessa vallitseva viisaus", hän selitti. "Toivon työni ja muun työni kannustavan ennakoiviin tietoturvatoimiin, kuten pakettien päivittämiseen säännöllisesti, kun tietoturvakorjaukset ilmestyvät."

LLM-agentti ei onnistunut hyödyntämään vain kahta 15 näytteestä: Iris XSS (CVE-2024-25640) ja Hertzbeat RCE (CVE-2023-51653). Edellinen osoittautui paperin mukaan ongelmalliseksi, koska Iris-verkkosovelluksessa on käyttöliittymä, jossa agentin on erittäin vaikea navigoida. Ja jälkimmäisessä on yksityiskohtainen kuvaus kiinaksi, mikä oletettavasti hämmensi englanninkielisen kehotteen alla toimivaa LLM-agenttia.

Testatuista haavoittuvuuksista 4 esiintyi GPT-82:n harjoituskatkaisun jälkeen, eli malli ei ollut oppinut niistä mitään tietoja koulutuksen aikana. Sen onnistumisprosentti näissä CVE:issä oli hieman alhaisempi, 9 prosenttia, eli 11/XNUMX.

Mitä tulee virheiden luonteeseen, ne on kaikki lueteltu yllä olevassa paperissa, ja meille kerrotaan: "Haavoittuvuuksiimme kuuluvat verkkosivustojen haavoittuvuudet, konttihaavoittuvuudet ja haavoittuvat Python-paketit. Yli puolet on luokiteltu CVE-kuvauksen mukaan "korkeaksi" tai "kriittiseksi".

Kang ja hänen kollegansa laskivat onnistuneen LLM-agentin hyökkäyksen kustannukset ja päätyivät 8.80 dollariin hyväksikäyttöä kohti, mikä on heidän mukaansa noin 2.8 kertaa vähemmän kuin ihmisen tunkeutumistestin palkkaaminen 30 minuutiksi.

Kangin mukaan agenttikoodi koostuu vain 91 koodirivistä ja 1,056 4 kehotteen tunnuksesta. GPT-XNUMX:n valmistaja OpenAI pyysi tutkijoita olemaan julkaisematta kehotteitaan yleisölle, vaikka he sanovat toimittavansa ne pyynnöstä.

OpenAI ei vastannut välittömästi kommenttipyyntöön. ®

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/