Akademisyenler, büyük dil modellerini otomasyon yazılımıyla birleştiren yapay zeka aracılarının, güvenlik tavsiyelerini okuyarak gerçek dünyadaki güvenlik açıklarından başarıyla yararlanabileceğini iddia etti.

Yeni çıkan bir kâğıt, dört Illinois Üniversitesi Urbana-Champaign (UIUC) bilgisayar bilimcisi – Richard Fang, Rohan Bindu, Akul Gupta ve Daniel Kang – OpenAI'nin GPT-4 büyük dil modelinin (LLM), eğer verilirse, gerçek dünya sistemlerindeki güvenlik açıklarından bağımsız olarak yararlanabileceğini bildiriyor kusuru açıklayan bir CVE tavsiyesi.

ABD merkezli yazarlar makalelerinde şöyle açıklıyor: "Bunu göstermek için, CVE tanımında kritik önem derecesine sahip olarak sınıflandırılanları da içeren 15 günlük güvenlik açığından oluşan bir veri kümesi topladık."

"CVE açıklaması verildiğinde, GPT-4 bu güvenlik açıklarından yüzde 87'sinden yararlanma kapasitesine sahipken, test ettiğimiz tüm diğer modellerde (GPT-0, açık kaynaklı LLM'ler) ve açık kaynaklı güvenlik açığı tarayıcılarında (ZAP ve Metasploit) bu oran yüzde 3.5'dı. .”

Gelecekteki modellerin neler yapabileceğini tahmin ederseniz, senaryo çocuklarının bugün erişebileceğinden çok daha yetenekli olacaklarını görürsünüz.

“Bir günlük güvenlik açığı” terimi, açıklanan ancak yama uygulanmayan güvenlik açıklarını ifade eder. Ve CVE tanımıyla ekip, NIST tarafından paylaşılan CVE etiketli bir danışma belgesini kastediyor; örneğin, bunu CVE-2024-28859 için.

Test edilen başarısız modeller – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B ve OpenChat 3.5 - GPT-4'ün önde gelen iki ticari rakibi olan Anthropic'in Claude 3'ü ve Google'ın Gemini 1.5 Pro'sunu içermiyordu. UIUC çalışanlarının bu modellere erişimi yoktu, ancak bir noktada onları test etmeyi umuyorlar.

Araştırmacıların çalışmaları buna dayanıyor önceki bulgular Yüksek Lisans'ların korumalı alan ortamındaki web sitelerine yönelik saldırıları otomatikleştirmek için kullanılabileceğini.

UIUC'da yardımcı doçent olan Daniel Kang, GPT-4'e gönderdiği bir e-postada şunları söyledi: Kayıt, "açık kaynak güvenlik açığı tarayıcılarının (bu yazının yazıldığı sırada) bulamadığı belirli istismarları gerçekleştirme adımlarını aslında özerk bir şekilde gerçekleştirebilir."

Kang, (bu örnekte) bir chatbot modelinin sisteme bağlanmasıyla oluşturulan LLM temsilcilerini beklediğini söyledi. Tepki LangChain'de uygulanan otomasyon çerçevesi, kullanımı herkes için çok daha kolay hale getirecek. Bu temsilcilerin daha fazla bilgi için CVE açıklamalarındaki bağlantıları takip edebilecekleri söylendi.

"Ayrıca, GPT-5'in ve gelecekteki modellerin neler yapabileceğini tahmin ederseniz, senaryo çocuklarının bugün erişebileceklerinden çok daha yetenekli olacakları muhtemel görünüyor" dedi.

LLM temsilcisinin (GPT-4) ilgili CVE açıklamasına erişiminin reddedilmesi, başarı oranını yüzde 87'den yalnızca yüzde yediye düşürdü. Ancak Kang, güvenlik bilgilerinin kamuya açık olmasını sınırlamanın LLM temsilcilerine karşı savunmanın geçerli bir yolu olduğuna inanmadığını söyledi.

"Ben kişisel olarak belirsizlik yoluyla güvenliğin savunulabilir olduğunu düşünmüyorum, bu da güvenlik araştırmacıları arasında yaygın olan görüş gibi görünüyor" diye açıkladı. "Çalışmalarımın ve diğer çalışmalarımın, güvenlik yamaları çıktığında paketleri düzenli olarak güncellemek gibi proaktif güvenlik önlemlerini teşvik edeceğini umuyorum."

LLM aracısı 15 örnekten yalnızca ikisinden yararlanamadı: Iris XSS (CVE-2024-25640) ve Hertzbeat RCE (CVE-2023-51653). Makaleye göre ilki sorunlu çıktı çünkü Iris web uygulaması, aracının gezinmesi son derece zor bir arayüze sahip. Ve ikincisi, Çince'de ayrıntılı bir açıklamaya sahiptir; bu, muhtemelen İngilizce dil istemi altında çalışan LLM temsilcisinin kafasını karıştırır.

Test edilen güvenlik açıklarından 4'i GPT-82'ün eğitim kesintisinden sonra meydana geldi; bu, modelin eğitim sırasında bunlarla ilgili herhangi bir veri öğrenmediği anlamına geliyor. Bu CVE'ler için başarı oranı yüzde 9 veya 11 üzerinden XNUMX ile biraz daha düşüktü.

Hataların doğasına gelince, hepsi yukarıdaki belgede listeleniyor ve bize şöyle söylendi: “Güvenlik açıklarımız web sitesi güvenlik açıklarını, konteyner güvenlik açıklarını ve savunmasız Python paketlerini kapsıyor. Yarıdan fazlası CVE tanımına göre 'yüksek' veya 'kritik' şiddette olarak sınıflandırılıyor."

Kang ve meslektaşları, başarılı bir LLM aracı saldırısı gerçekleştirmenin maliyetini hesapladılar ve istismar başına 8.80 dolarlık bir rakama ulaştılar; bunun, 2.8 dakika boyunca bir insan penetrasyon test cihazı tutmanın maliyetinden yaklaşık 30 kat daha az olduğunu söylüyorlar.

Kang'a göre temsilci kodu yalnızca 91 satırlık koddan ve istem için 1,056 jetondan oluşuyor. GPT-4'ün yapımcısı OpenAI, araştırmacılardan istemlerini halka açıklamamalarını istedi, ancak talep üzerine bunları sağlayacaklarını söylediler.

OpenAI, yorum talebine hemen yanıt vermedi. ®

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/