Äskettäin julkaistun tutkimuksen mukaan ohjelmistokehittäjien suurten kielimallien (LLM) käyttö tarjoaa hyökkääjille aiemmin luultua suuremman mahdollisuuden jakaa haittapaketteja kehitysympäristöihin.

LLM-tietoturvatoimittajan Lasso Securityn tutkimus on jatkoa viime vuonna julkaistulle raportille mahdollisuuksista hyökkääjät käyttävät väärin LLM:ien taipumusta hallusinaatioihin, tai luoda näennäisesti uskottavia, mutta ei tosiasiallisesti perusteltuja tuloksia vastauksena käyttäjän syötteeseen.

Tekoälypaketin hallusinaatiot

- edellisen tutkimuksen keskittyi ChatGPT:n taipumukseen valmistaa koodikirjastojen nimiä - muun muassa - kun ohjelmistokehittäjät pyysivät tekoälyllä varustetun chatbotin apua kehitysympäristössä. Toisin sanoen chatbot sylki joskus linkkejä julkisissa koodivarastoissa oleviin paketteihin, kun kehittäjä saattoi pyytää sitä ehdottamaan paketteja käytettäväksi projektissa.

Tietoturvatutkija Bar Lanyado, tutkimuksen kirjoittaja ja nykyään Lasso Securityn palveluksessa, havaitsi, että hyökkääjät voivat helposti pudottaa todellisen haitallisen paketin paikkaan, johon ChatGPT osoittaa, ja antaa sille saman nimen kuin hallusinoidulle paketille. Jokainen kehittäjä, joka lataa paketin ChatGPT:n suosituksen perusteella, voi päätyä tuomaan haittaohjelmia kehitysympäristöönsä.

Lanyadon seurantatutkimus tutki paketin hallusinaatio-ongelman leviämistä neljässä eri suuressa kielimallissa: GPT-3.5-Turbo, GPT-4, Gemini Pro (entinen Bard) ja Coral (Cohere). Hän testasi myös kunkin mallin taipumusta luoda hallusinoituja paketteja eri ohjelmointikielillä ja kuinka usein ne tuottivat saman hallusinoituneen paketin.

Testejä varten Lanyado koonnut luettelon tuhansista "miten" kysymyksistä, joita kehittäjät eri ohjelmointiympäristöissä – python, node.js, go, .net, ruby ​​– useimmiten hakevat apua kehitysympäristöjen LLM:iltä. Lanyado esitti sitten jokaiselle mallille koodaukseen liittyvän kysymyksen sekä suosituksen kysymykseen liittyvästä paketista. Hän pyysi myös jokaista mallia suosittelemaan 10 muuta pakettia saman ongelman ratkaisemiseksi.

Toistuvat tulokset

Tulokset olivat huolestuttavia. Hätkähdyttävät 64.5 % Lanyadon "keskusteluista" Kaksosten kanssa synnytti hallusinoituja paketteja. Coralilla tämä luku oli 29.1 %; muut LLM:t, kuten GPT-4 (24.2 %) ja GPT3.5 (22.5 %), eivät menestyneet paljon paremmin.

Kun Lanyado kysyi jokaiselta mallilta samat kysymyssarjat 100 kertaa nähdäkseen kuinka usein mallit hallusinoivat samoja paketteja, hän havaitsi myös toistotiheyden nostavan kulmakarvoja. Esimerkiksi Cohere sylki ulos samoja hallusinoituja paketteja yli 24 % ajasta; Chat GPT-3.5 ja Kaksoset noin 14 % ja GPT-4 20 %. Useissa tapauksissa eri mallit hallusinoivat samoja tai samankaltaisia ​​paketteja. Suurin määrä tällaisia ​​ristiin hallusinoituja malleja esiintyi GPT-3.5:n ja Kaksosten välillä.

Lanyado sanoo, että vaikka eri kehittäjät kysyisivät LLM:ltä kysymyksen samasta aiheesta, mutta muotoilisivat kysymykset eri tavalla, on todennäköistä, että LLM suosittelee samaa hallusinaatiopakettia kussakin tapauksessa. Toisin sanoen jokainen kehittäjä, joka käyttää koodausapua LLM:ää, kohtaa todennäköisesti monia samoja hallusinoituja paketteja.

"Kysymys voisi olla täysin erilainen, mutta samasta aiheesta, ja hallusinaatioita tapahtuisi silti, mikä tekee tästä tekniikasta erittäin tehokkaan", Lanyado sanoo. "Nykyisessä tutkimuksessa saimme "toistuvia paketteja" monille erilaisille kysymyksille ja aiheille ja jopa eri malleille, mikä lisää näiden hallusinoitujen pakettien käytön todennäköisyyttä."

Helppo hyödyntää

Hyökkääjä, joka on aseistautunut muutamien hallusinoitujen pakettien nimillä, voisi esimerkiksi ladata samoilla nimillä olevia paketteja asianmukaisiin tietovarastoihin tietäen, että on hyvin todennäköistä, että LLM osoitti kehittäjät siihen. Osoittaakseen, että uhka ei ole teoreettista, Lanyado otti yhden hallusinoidun paketin nimeltä "huggingface-cli", jonka hän kohtasi testien aikana, ja latasi tyhjän samannimisen paketin Hugging Face -varastoon koneoppimismalleja varten. Kehittäjät latasivat paketin yli 32,000 XNUMX kertaa, hän sanoo.

Uhkatoimijan näkökulmasta paketin hallusinaatiot tarjoavat suhteellisen suoraviivaisen vektorin haittaohjelmien levittämiseen. "Kuten [näimme] tutkimustuloksista, se ei ole niin vaikeaa", hän sanoo. Keskimäärin kaikki mallit hallusinoivat yhdessä 35 % lähes 48,000 3.5 kysymyksessä, Lanyado lisää. GPT-18:llä oli pienin hallusinaatioiden prosenttiosuus; Hän huomauttaa, että Gemini sai korkeimman pistemäärän, keskimääräisellä XNUMX prosentin toistokerralla kaikissa neljässä mallissa.

Lanyado ehdottaa, että kehittäjät ovat varovaisia ​​toimiessaan LLM:n pakettisuositusten mukaisesti, kun he eivät ole täysin varmoja sen tarkkuudesta. Hän sanoo myös, että kun kehittäjät kohtaavat tuntemattoman avoimen lähdekoodin paketin, heidän täytyy käydä pakettivarastossa ja tutkia sen yhteisön kokoa, sen ylläpitotietoja, sen tunnettuja haavoittuvuuksia ja sen yleistä sitoutumisastetta. Kehittäjien tulee myös skannata paketti huolellisesti ennen sen tuomista kehitysympäristöön.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface