โลโก้เซเฟอร์เน็ต

ความฉลาดทางข้อมูลเชิงกำเนิด

AI

GPT-4 สามารถใช้ประโยชน์จากช่องโหว่ที่แท้จริงได้โดยการอ่านคำแนะนำ

เผยแพร่ซ้ำโดยเพลโต
เผยแพร่ซ้ำโดยเพลโต

วันที่:

Views: 70

เจ้าหน้าที่ AI ซึ่งรวมโมเดลภาษาขนาดใหญ่เข้ากับซอฟต์แวร์อัตโนมัติ สามารถใช้ประโยชน์จากช่องโหว่ด้านความปลอดภัยในโลกแห่งความเป็นจริงได้สำเร็จโดยการอ่านคำแนะนำด้านความปลอดภัย นักวิชาการอ้าง

ในการออกใหม่ กระดาษนักวิทยาศาสตร์คอมพิวเตอร์จากมหาวิทยาลัยอิลลินอยส์ Urbana-Champaign (UIUC) สี่คน ได้แก่ Richard Fang, Rohan Bindu, Akul Gupta และ Daniel Kang รายงานว่าโมเดลภาษาขนาดใหญ่ GPT-4 (LLM) ของ OpenAI สามารถใช้ประโยชน์จากช่องโหว่ในระบบโลกแห่งความเป็นจริงได้โดยอัตโนมัติหากได้รับ คำแนะนำของ CVE ที่อธิบายข้อบกพร่อง

“เพื่อแสดงสิ่งนี้ เราได้รวบรวมชุดข้อมูลช่องโหว่หนึ่งวันจำนวน 15 รายการ ซึ่งรวมถึงช่องโหว่ที่จัดอยู่ในประเภทความรุนแรงวิกฤตในคำอธิบาย CVE” ผู้เขียนในสหรัฐฯ อธิบายในรายงานของพวกเขา

“เมื่อให้คำอธิบาย CVE แล้ว GPT-4 สามารถใช้ประโยชน์จากช่องโหว่เหล่านี้ได้ 87 เปอร์เซ็นต์ เทียบกับ 0 เปอร์เซ็นต์สำหรับรุ่นอื่นๆ ที่เราทดสอบ (GPT-3.5, LLM แบบโอเพ่นซอร์ส) และเครื่องสแกนช่องโหว่แบบโอเพ่นซอร์ส (ZAP และ Metasploit) ”

หากคุณคาดการณ์ถึงสิ่งที่โมเดลในอนาคตสามารถทำได้ ดูเหมือนว่าพวกเขาจะมีความสามารถมากกว่าที่สคริปต์ที่เด็กๆ สามารถเข้าถึงได้ในปัจจุบัน

คำว่า “ช่องโหว่ในหนึ่งวัน” หมายถึงช่องโหว่ที่ได้รับการเปิดเผยแต่ไม่ได้แพตช์ และตามคำอธิบายของ CVE ทีมงานหมายถึงคำแนะนำที่ติดแท็ก CVE ที่ใช้ร่วมกันโดย NIST - เช่น นี้อย่างใดอย่างหนึ่ง สำหรับ CVE-2024-28859

โมเดลที่ไม่สำเร็จที่ทดสอบ - GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B และ OpenChat 3.5 – ไม่รวมคู่แข่งทางการค้าชั้นนำสองรายของ GPT-4, Claude 3 ของ Anthropic และ Gemini 1.5 Pro ของ Google UIUC boffins ไม่สามารถเข้าถึงโมเดลเหล่านั้นได้ แม้ว่าพวกเขาหวังว่าจะทดสอบพวกมันได้ในบางจุดก็ตาม

งานของนักวิจัยต่อยอด การค้นพบก่อนหน้า LLM สามารถใช้เพื่อโจมตีเว็บไซต์โดยอัตโนมัติในสภาพแวดล้อมแบบแซนด์บ็อกซ์

GPT-4 แดเนียล คัง ผู้ช่วยศาสตราจารย์ของ UIUC กล่าวในอีเมลถึง ลงทะเบียน“จริง ๆ แล้วสามารถดำเนินการตามขั้นตอนโดยอัตโนมัติเพื่อดำเนินการหาช่องโหว่บางอย่างที่เครื่องสแกนช่องโหว่โอเพ่นซอร์สไม่สามารถค้นหาได้ (ในขณะที่เขียน)”

Kang กล่าวว่าเขาคาดหวังให้ตัวแทน LLM สร้างขึ้นโดย (ในกรณีนี้) เดินสายโมเดลแชทบอทไปที่ เกิดปฏิกิริยา กรอบการทำงานอัตโนมัติที่นำมาใช้ใน LangChain จะทำให้การแสวงหาผลประโยชน์ง่ายขึ้นมากสำหรับทุกคน เราได้รับแจ้งว่าตัวแทนเหล่านี้สามารถติดตามลิงก์ในคำอธิบาย CVE เพื่อดูข้อมูลเพิ่มเติม

“นอกจากนี้ หากคุณคาดการณ์ว่า GPT-5 และโมเดลในอนาคตจะทำอะไรได้บ้าง ดูเหมือนว่าพวกเขาจะมีความสามารถมากกว่าที่สคริปต์ที่เด็กๆ สามารถเข้าถึงได้ในปัจจุบัน” เขากล่าว

การปฏิเสธการเข้าถึงคำอธิบาย CVE ที่เกี่ยวข้องของตัวแทน LLM (GPT-4) ช่วยลดอัตราความสำเร็จจาก 87 เปอร์เซ็นต์เหลือเพียง XNUMX เปอร์เซ็นต์ อย่างไรก็ตาม Kang กล่าวว่าเขาไม่เชื่อว่าการจำกัดการเข้าถึงข้อมูลความปลอดภัยสาธารณะเป็นวิธีที่มีประสิทธิภาพในการป้องกันตัวแทน LLM

“โดยส่วนตัวผมไม่คิดว่าการรักษาความปลอดภัยด้วยความสับสนนั้นสามารถดำรงอยู่ได้ ซึ่งดูเหมือนจะเป็นภูมิปัญญาที่แพร่หลายในหมู่นักวิจัยด้านความปลอดภัย” เขาอธิบาย “ฉันหวังว่างานของฉันและงานอื่นๆ จะสนับสนุนมาตรการรักษาความปลอดภัยเชิงรุก เช่น การอัปเดตแพ็คเกจเป็นประจำเมื่อมีแพตช์ความปลอดภัยออกมา”

เอเจนต์ LLM ล้มเหลวในการใช้ประโยชน์จากตัวอย่างเพียงสองตัวอย่างจาก 15 ตัวอย่าง: Iris XSS (CVE-2024-25640) และ Hertzbeat RCE (CVE-2023-51653) ตามรายงานก่อนหน้านี้ ได้รับการพิสูจน์แล้วว่าเป็นปัญหาเนื่องจากเว็บแอป Iris มีอินเทอร์เฟซที่ยากสำหรับเอเจนต์ในการนำทาง และส่วนหลังมีคำอธิบายโดยละเอียดเป็นภาษาจีน ซึ่งอาจสับสนกับตัวแทน LLM ที่ทำงานภายใต้ข้อความภาษาอังกฤษ

ช่องโหว่ 4 รายการที่ได้รับการทดสอบเกิดขึ้นหลังจากการฝึกอบรมของ GPT-82 สิ้นสุดลง ซึ่งหมายความว่าโมเดลไม่ได้เรียนรู้ข้อมูลใดๆ เกี่ยวกับช่องโหว่เหล่านั้นในระหว่างการฝึกอบรม อัตราความสำเร็จสำหรับ CVE เหล่านี้ลดลงเล็กน้อยที่ 9 เปอร์เซ็นต์ หรือ 11 ใน XNUMX

สำหรับธรรมชาติของข้อบกพร่อง พวกมันทั้งหมดระบุไว้ในเอกสารด้านบน และเราได้รับการแจ้งว่า: “ช่องโหว่ของเราครอบคลุมช่องโหว่ของเว็บไซต์ ช่องโหว่ของคอนเทนเนอร์ และแพ็คเกจ Python ที่มีช่องโหว่ มากกว่าครึ่งหนึ่งจัดอยู่ในประเภทความรุนแรง 'สูง' หรือ 'วิกฤต' ตามคำอธิบายของ CVE”

Kang และเพื่อนร่วมงานของเขาคำนวณค่าใช้จ่ายในการดำเนินการโจมตีตัวแทน LLM ที่ประสบความสำเร็จ และได้ตัวเลข $8.80 ต่อการใช้ประโยชน์ ซึ่งพวกเขากล่าวว่าน้อยกว่าค่าใช้จ่ายในการจ้างผู้ทดสอบการเจาะโดยมนุษย์เป็นเวลา 2.8 นาทีประมาณ 30 เท่า

รหัสตัวแทนตามที่ Kang กล่าว ประกอบด้วยโค้ดเพียง 91 บรรทัดและโทเค็น 1,056 รายการสำหรับการแจ้งเตือน นักวิจัยถูกถามโดย OpenAI ซึ่งเป็นผู้ผลิต GPT-4 ว่าอย่าเปิดเผยคำแนะนำต่อสาธารณะ แม้ว่าพวกเขาจะบอกว่าจะจัดเตรียมไว้ให้เมื่อมีการร้องขอก็ตาม

OpenAI ไม่ตอบสนองต่อคำร้องขอความคิดเห็นในทันที

จุด_img

ข่าวกรองล่าสุด

จุด_img

ลิขสิทธิ์ @ 2024 Plato Technologies Inc.