การใช้โมเดลภาษาขนาดใหญ่ (LLM) ของนักพัฒนาซอฟต์แวร์นำเสนอโอกาสที่ยิ่งใหญ่กว่าที่เคยคิดไว้สำหรับผู้โจมตีในการกระจายแพ็คเกจที่เป็นอันตรายไปยังสภาพแวดล้อมการพัฒนาตามการวิจัยที่เพิ่งเปิดตัว

การศึกษาจากผู้จำหน่ายระบบรักษาความปลอดภัย LLM Lasso Security เป็นการติดตามผลรายงานเมื่อปีที่แล้วเกี่ยวกับศักยภาพของ ผู้โจมตีละเมิดแนวโน้มของ LLM ที่จะเห็นภาพหลอนหรือเพื่อสร้างสิ่งที่ดูเหมือนเป็นไปได้แต่ไม่ได้อิงตามข้อเท็จจริง ผลลัพธ์ที่ได้จะตอบสนองต่อความคิดเห็นของผู้ใช้

ภาพหลอนแพ็คเกจ AI

พื้นที่ การศึกษาก่อนหน้า มุ่งเน้นไปที่แนวโน้มของ ChatGPT ในการสร้างชื่อของไลบรารีโค้ด ท่ามกลางการประดิษฐ์อื่นๆ เมื่อนักพัฒนาซอฟต์แวร์ขอความช่วยเหลือจากแชทบอทที่ใช้ AI ในสภาพแวดล้อมการพัฒนา กล่าวอีกนัยหนึ่ง บางครั้งแชทบอทอาจพ่นลิงก์ไปยังแพ็คเกจที่ไม่มีอยู่ในที่เก็บโค้ดสาธารณะ เมื่อนักพัฒนาอาจขอให้แนะนำแพ็คเกจเพื่อใช้ในโครงการ

นักวิจัยด้านความปลอดภัย Bar Lanyado ผู้เขียนผลการศึกษาและปัจจุบันที่ Lasso Security พบว่าผู้โจมตีสามารถทิ้งแพ็คเกจที่เป็นอันตรายจริง ๆ ลงในตำแหน่งที่ ChatGPT ชี้ไปได้อย่างง่ายดาย และตั้งชื่อเดียวกับแพ็คเกจหลอนประสาท นักพัฒนาซอฟต์แวร์รายใดก็ตามที่ดาวน์โหลดแพ็คเกจตามคำแนะนำของ ChatGPT อาจจบลงด้วยการนำมัลแวร์เข้าสู่สภาพแวดล้อมการพัฒนาของพวกเขา

ลานยาโด้ การวิจัยติดตามผล ตรวจสอบความแพร่หลายของปัญหาภาพหลอนของแพ็คเกจในโมเดลภาษาขนาดใหญ่สี่แบบ: GPT-3.5-Turbo, GPT-4, Gemini Pro (เดิมชื่อ Bard) และ Coral (Cohere) นอกจากนี้เขายังทดสอบความโน้มเอียงของแต่ละโมเดลเพื่อสร้างแพ็คเกจภาพหลอนในภาษาโปรแกรมที่แตกต่างกันและความถี่ที่พวกเขาสร้างแพ็คเกจภาพหลอนเดียวกัน

สำหรับการทดสอบ Lanyado ได้รวบรวมรายการคำถาม “วิธีการ” หลายพันรายการที่นักพัฒนาในสภาพแวดล้อมการเขียนโปรแกรมที่แตกต่างกัน เช่น python, node.js, go, .net, ruby ​​ซึ่งส่วนใหญ่มักจะขอความช่วยเหลือจาก LLM ในสภาพแวดล้อมการพัฒนา จากนั้น Lanyado จึงถามคำถามเกี่ยวกับการเขียนโค้ดกับแต่ละโมเดล รวมถึงคำแนะนำสำหรับแพ็คเกจที่เกี่ยวข้องกับคำถามนั้น นอกจากนี้เขายังขอให้แต่ละรุ่นแนะนำแพ็คเกจเพิ่มอีก 10 แพ็คเกจเพื่อแก้ไขปัญหาเดียวกัน

ผลลัพธ์ที่ซ้ำกัน

ผลลัพธ์ที่ได้น่าหนักใจ “บทสนทนา” ที่น่าตกใจ 64.5% ของ Lanyado กับราศีเมถุนทำให้เกิดอาการประสาทหลอน สำหรับคอรัล จำนวนนั้นคือ 29.1%; LLM อื่นๆ เช่น GPT-4 (24.2%) และ GPT3.5 (22.5%) ไม่ได้ดีไปกว่านี้มากนัก

เมื่อลันยาโดถามคำถามชุดเดียวกันแก่นางแบบแต่ละรุ่น 100 ครั้งเพื่อดูว่านางแบบเหล่านั้นเห็นภาพหลอนในพัสดุเดียวกันบ่อยแค่ไหน เขาพบว่าอัตราการเกิดซ้ำก็ทำให้เลิกคิ้วเช่นกัน ตัวอย่างเช่น Cohere พ่นพัสดุหลอนประสาทแบบเดียวกันออกมามากกว่า 24% ของเวลา; แชท GPT-3.5 และราศีเมถุนประมาณ 14% และ GPT-4 ที่ 20% ในหลายกรณี โมเดลที่แตกต่างกันทำให้เกิดภาพหลอนในแพ็คเกจเดียวกันหรือคล้ายกัน จำนวนแบบจำลองภาพหลอนข้ามดังกล่าวสูงสุดเกิดขึ้นระหว่าง GPT-3.5 และราศีเมถุน

Lanyado กล่าวว่าแม้ว่านักพัฒนาที่แตกต่างกันจะถามคำถาม LLM ในหัวข้อเดียวกัน แต่สร้างคำถามที่แตกต่างกัน มีความเป็นไปได้ที่ LLM จะแนะนำแพ็คเกจหลอนประสาทเดียวกันในแต่ละกรณี กล่าวอีกนัยหนึ่ง นักพัฒนาที่ใช้ LLM เพื่อช่วยเหลือในการเขียนโค้ดมักจะพบกับแพ็คเกจหลอนประสาทแบบเดียวกันหลายแพ็คเกจ

“คำถามอาจแตกต่างกันโดยสิ้นเชิง แต่เป็นหัวข้อที่คล้ายกัน และภาพหลอนจะยังคงเกิดขึ้น ทำให้เทคนิคนี้มีประสิทธิภาพมาก” Lanyado กล่าว “ในการวิจัยปัจจุบัน เราได้รับ 'แพ็คเกจซ้ำ' สำหรับคำถามและหัวข้อต่างๆ มากมาย และแม้แต่ในโมเดลที่แตกต่างกัน ซึ่งเพิ่มความน่าจะเป็นที่แพ็คเกจภาพหลอนเหล่านี้จะถูกนำมาใช้”

ง่ายต่อการใช้ประโยชน์

ผู้โจมตีที่มีชื่อของแพ็คเกจหลอนประสาทบางตัวสามารถอัปโหลดแพ็คเกจที่มีชื่อเดียวกันไปยังที่เก็บข้อมูลที่เหมาะสมโดยรู้ว่ามีความเป็นไปได้ที่ดีที่ LLM จะชี้แนะให้ผู้พัฒนาทราบ เพื่อแสดงให้เห็นว่าภัยคุกคามนั้นไม่ได้เป็นไปตามทฤษฎี Lanyado จึงนำแพ็คเกจประสาทหลอนหนึ่งชุดที่เรียกว่า "huggingface-cli" ที่เขาพบระหว่างการทดสอบและอัปโหลดแพ็คเกจเปล่าที่มีชื่อเดียวกันไปยังพื้นที่เก็บข้อมูล Hugging Face สำหรับโมเดลการเรียนรู้ของเครื่อง นักพัฒนาซอฟต์แวร์ดาวน์โหลดแพ็คเกจดังกล่าวมากกว่า 32,000 ครั้ง เขากล่าว

จากมุมมองของผู้แสดงภัยคุกคาม ภาพหลอนแบบแพ็คเกจนำเสนอเวกเตอร์ที่ค่อนข้างตรงไปตรงมาสำหรับการกระจายมัลแวร์ “อย่างที่เรา [เห็น] จากผลการวิจัย มันก็ไม่ได้ยากขนาดนั้น” เขากล่าว โดยเฉลี่ยแล้ว โมเดลทั้งหมดมีอาการประสาทหลอนรวมกัน 35% สำหรับคำถามเกือบ 48,000 ข้อ Lanyado กล่าวเสริม GPT-3.5 มีเปอร์เซ็นต์ภาพหลอนต่ำที่สุด Gemini ได้คะแนนสูงสุด โดยมีความซ้ำซ้อนเฉลี่ย 18% ในทั้ง XNUMX รุ่น เขากล่าว

Lanyado แนะนำว่านักพัฒนาควรใช้ความระมัดระวังเมื่อปฏิบัติตามคำแนะนำแพ็คเกจจาก LLM เมื่อพวกเขาไม่แน่ใจถึงความถูกต้องอย่างสมบูรณ์ นอกจากนี้เขายังกล่าวด้วยว่าเมื่อนักพัฒนาพบกับแพ็คเกจโอเพ่นซอร์สที่ไม่คุ้นเคย พวกเขาจำเป็นต้องเยี่ยมชมพื้นที่เก็บข้อมูลแพ็คเกจและตรวจสอบขนาดของชุมชน บันทึกการบำรุงรักษา ช่องโหว่ที่ทราบ และอัตราการมีส่วนร่วมโดยรวม นักพัฒนาควรสแกนแพ็คเกจอย่างละเอียดก่อนนำเข้าสู่สภาพแวดล้อมการพัฒนา

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface