Lilo awọn olupilẹṣẹ sọfitiwia ti awọn awoṣe ede nla (LLMs) ṣafihan aye ti o tobi ju ti a ti ro tẹlẹ fun awọn ikọlu lati kaakiri awọn idii irira si awọn agbegbe idagbasoke, ni ibamu si iwadii ti a tu silẹ laipẹ.

Iwadi naa lati ọdọ olutaja aabo LLM Lasso Aabo jẹ atẹle si ijabọ kan ni ọdun to kọja lori agbara fun ikọlu lati ilokulo LLMs' ifarahan lati hallucinate, tabi lati ṣe ipilẹṣẹ ti o dabi ẹni pe o ṣee ṣe ṣugbọn kii ṣe ipilẹ ni otitọ, awọn abajade esi si titẹ olumulo.

AI Package Hallucination

awọn ti tẹlẹ iwadi lojutu lori ifarahan ti ChatGPT lati ṣe awọn orukọ ti awọn ile-ikawe koodu — laarin awọn iṣelọpọ miiran - nigbati awọn olupilẹṣẹ sọfitiwia beere iranlọwọ AI-ṣiṣẹ chatbot ni agbegbe idagbasoke. Ni awọn ọrọ miiran, chatbot nigbakan tu awọn ọna asopọ si awọn idii ti ko si lori awọn ibi ipamọ koodu gbogbogbo nigbati olupilẹṣẹ le beere lọwọ rẹ lati daba awọn idii lati lo ninu iṣẹ akanṣe kan.

Oluwadi aabo Bar Lanyado, onkọwe ti iwadi ati ni bayi ni Lasso Aabo, rii pe awọn ikọlu le ni irọrun ju package irira gangan silẹ ni ipo eyiti awọn aaye ChatGPT ki o fun ni orukọ kanna gẹgẹbi package idalẹnu. Eyikeyi Olùgbéejáde ti o ṣe igbasilẹ package ti o da lori iṣeduro ChatGPT le lẹhinna pari ni iṣafihan malware sinu agbegbe idagbasoke wọn.

Lanyado's iwadi atẹle ṣe àyẹ̀wò ìgbòkègbodò ti ìṣòro ìdánilẹ́kọ̀ọ́ ìsokọ́ra ní oríṣiríṣi àwọn àwòkọ́ èdè ńlá mẹ́rin ọ̀tọ̀ọ̀tọ̀: GPT-3.5-Turbo, GPT-4, Gemini Pro (ìyẹn Bard tẹ́lẹ̀), àti Coral (Cohere). O tun ṣe idanwo proclivity awoṣe kọọkan lati ṣe agbekalẹ awọn idii hallucinated kọja awọn oriṣiriṣi awọn ede siseto ati igbohunsafẹfẹ pẹlu eyiti wọn ṣe ipilẹṣẹ package igbẹrin kanna.

Fun awọn idanwo naa, Lanyado ṣe akojọpọ awọn ẹgbẹẹgbẹrun awọn ibeere “bi o ṣe le” ti awọn olupilẹṣẹ ni awọn agbegbe siseto oriṣiriṣi - Python, node.js, go, .net, ruby ​​- nigbagbogbo n wa iranlọwọ lati awọn LLM ni awọn agbegbe idagbasoke. Lanyado lẹhinna beere lọwọ awoṣe kọọkan ibeere ti o jọmọ ifaminsi bi daradara bi iṣeduro fun package ti o ni ibatan si ibeere naa. O tun beere awoṣe kọọkan lati ṣeduro awọn idii 10 diẹ sii lati yanju iṣoro kanna.

Awọn esi atunwi

Abajade jẹ wahala. Iyalẹnu 64.5% ti “awọn ibaraẹnisọrọ” Lanyado ni pẹlu Gemini ti ipilẹṣẹ hallucinated awọn idii. Pẹlu Coral, nọmba naa jẹ 29.1%; Awọn LLM miiran bi GPT-4 (24.2%) ati GPT3.5 (22.5%) ko dara julọ.

Nigbati Lanyado beere lọwọ awoṣe kọọkan awọn ibeere kanna ni igba 100 lati rii bii igbagbogbo awọn awoṣe yoo ṣe ṣoki awọn idii kanna, o rii awọn oṣuwọn atunwi lati jẹ igbega oju-oju pẹlu. Cohere, fun apẹẹrẹ, tu awọn idii igbẹrin kanna jade ju 24% ti akoko naa; Wiregbe GPT-3.5 ati Gemini ni ayika 14%, ati GPT-4 ni 20%. Ni awọn igba pupọ, awọn awoṣe oriṣiriṣi ṣe afihan kanna tabi awọn idii ti o jọra. Nọmba ti o ga julọ ti iru awọn awoṣe hallucinated agbelebu waye laarin GPT-3.5 ati Gemini.

Lanyado sọ pe paapaa ti awọn olupilẹṣẹ oriṣiriṣi ba beere ibeere LLM kan lori koko kanna ṣugbọn ṣe awọn ibeere ni oriṣiriṣi, o ṣeeṣe pe LLM yoo ṣeduro package igbẹsan kanna ni ọran kọọkan. Ni awọn ọrọ miiran, idagbasoke eyikeyi ti o nlo LLM kan fun iranlọwọ ifaminsi yoo ṣeese ba pade ọpọlọpọ awọn idii alakan kanna.

Lanyado sọ pe “Ibeere naa le yatọ patapata ṣugbọn lori koko-ọrọ kan ti o jọra, ati hallucination yoo tun ṣẹlẹ, ṣiṣe ilana yii munadoko,” Lanyado sọ. “Ninu iwadii lọwọlọwọ, a gba 'awọn idii atunwi' fun ọpọlọpọ awọn ibeere ati awọn koko-ọrọ ati paapaa kọja awọn awoṣe oriṣiriṣi, eyiti o pọ si iṣeeṣe ti awọn idii alakan wọnyi lati ṣee lo.”

Rọrun lati lo nilokulo

Olukọni ti o ni ihamọra pẹlu awọn orukọ ti awọn idii hallucinated diẹ, fun apẹẹrẹ, le gbe awọn idii pẹlu awọn orukọ kanna si awọn ibi ipamọ ti o yẹ ni mimọ pe o ṣeeṣe to dara LLM yoo tọka si awọn olupilẹṣẹ. Lati ṣe afihan irokeke naa kii ṣe imọ-jinlẹ, Lanyado mu package kan ti o jẹ hallucinated ti a pe ni “huggingface-cli” ti o ba pade lakoko awọn idanwo rẹ ati gbejade package ṣofo pẹlu orukọ kanna si ibi ipamọ oju Hugging fun awọn awoṣe ikẹkọ ẹrọ. Awọn olupilẹṣẹ ṣe igbasilẹ idii yẹn diẹ sii ju awọn akoko 32,000 lọ, o sọ.

Lati oju-iwoye oṣere ti o ni irokeke, awọn ihalẹ akojọpọ n funni ni fekito titọ taara fun pinpin malware. “Gẹgẹbi a [ti rii] lati awọn abajade iwadii, kii ṣe lile yẹn,” o sọ. Ni apapọ, gbogbo awọn awoṣe jẹ hallucinated papọ 35% fun o fẹrẹ to awọn ibeere 48,000, Lanyado ṣafikun. GPT-3.5 ni ipin ti o kere julọ ti hallucinations; Gemini gba wọle ti o ga julọ, pẹlu iwọn atunwi ti 18% kọja gbogbo awọn awoṣe mẹrin, o ṣe akiyesi.

Lanyado daba pe awọn olupilẹṣẹ ṣe iṣọra nigbati wọn ba n ṣiṣẹ lori awọn iṣeduro package lati LLM kan nigbati wọn ko ni idaniloju pipe ti deede. O tun sọ pe nigbati awọn olupilẹṣẹ ba pade package orisun ṣiṣi ti a ko mọ wọn nilo lati ṣabẹwo si ibi ipamọ package ati ṣayẹwo iwọn agbegbe rẹ, awọn igbasilẹ itọju rẹ, awọn ailagbara ti a mọ, ati oṣuwọn adehun igbeyawo lapapọ. Awọn olupilẹṣẹ yẹ ki o tun ṣayẹwo package naa daradara ṣaaju ṣafihan rẹ sinu agbegbe idagbasoke.

• SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
• PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
• PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
• PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
• PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
• Orisun: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface