Zararlı ve taraflı çıktılarla ilgili devam eden güvenlik endişelerinin konusu olan yapay zeka modelleri, içerik emisyonunun ötesinde bir risk oluşturmaktadır. Diğer sistemlerle otomatik etkileşimi mümkün kılan araçlarla birleştiğinde, kendi başlarına kötü niyetli ajanlar olarak hareket edebilirler.

Illinois Urbana-Champaign Üniversitesi'ne (UIUC) bağlı bilgisayar bilimcileri, savunmasız web sitelerini insan rehberliği olmadan tehlikeye atmak için çeşitli büyük dil modellerini (LLM'ler) silah haline getirerek bunu gösterdiler. Önceki araştırmalar, güvenlik kontrollerine rağmen Yüksek Lisans'ların kullanılabileceğini öne sürüyor. yardım [PDF] kötü amaçlı yazılımın oluşturulmasıyla.

Araştırmacılar Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan ve Daniel Kang bir adım daha ileri giderek LLM destekli aracıların (API'lere erişim, otomatik web taraması ve geri bildirime dayalı planlama için araçlarla donatılmış LLM'ler) web'de dolaşabildiğini gösterdiler kendi başlarına ve hatalı web uygulamalarına gözetimsiz olarak girebilirler.

Bulgularını şöyle açıklıyorlar: Kağıt "LLM Temsilcileri Web Sitelerini Otonom Bir Şekilde Hackleyebilir" başlıklı.

UIUC akademisyenleri makalelerinde şöyle açıklıyor: "Bu çalışmada, Yüksek Lisans temsilcilerinin web sitelerini özerk bir şekilde hackleyebildiğini ve güvenlik açığı hakkında önceden bilgi sahibi olmadan karmaşık görevleri yerine getirebildiğini gösterdik."

"Örneğin, bu aracılar, bir veritabanı şemasının çıkarılması, bu şemaya dayalı olarak veritabanından bilgilerin çıkarılması ve son saldırının gerçekleştirilmesi gibi çok adımlı bir süreci (38 eylem) içeren karmaşık SQL birleştirme saldırıları gerçekleştirebilir."

Ile yaptığı bir röportajda KayıtUIUC'da yardımcı doçent olan Daniel Kang, kendisinin ve ortak yazarlarının kötü niyetli LLM ajanlarının dünyaya salıverilmesine izin vermediklerini vurguladı. Kendisi, testlerin hiçbir zararın verilmemesini ve hiçbir kişisel bilginin tehlikeye atılmamasını sağlamak için sanal alan ortamındaki gerçek web sitelerinde yapıldığını söyledi.

Bulduğumuz şey, GPT-4'ün bu görevleri yerine getirme konusunda oldukça yetenekli olduğudur. Her açık kaynak modeli başarısız oldu ve GPT-3.5, açık kaynak modellerinden yalnızca çok az daha iyi

Kang, "Üç ana araç kullandık" dedi. “Biz şunu kullandık OpenAI Asistanları API'si, Dil Zinciri, Ve Oyun yazarı tarayıcı test çerçevesi.

"OpenAI Assistants API temel olarak bağlama sahip olmak, işlev çağırmak ve belge alma gibi yüksek performans için gerçekten önemli olan diğer birçok şeyi yapmak için kullanılıyor. LandChain temelde her şeyi tamamlamak için kullanıldı. Ve Playwright web tarayıcısı test çerçevesi, web siteleriyle gerçekten etkileşim kurmak için kullanıldı."

Araştırmacılar 10 farklı LLM kullanarak aracılar oluşturdular: GPT-4, GPT-3.5, OpenHermes-2.5-Mistral-7B, LLaMA-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral -8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi (34B) ve OpenChat 3.5.

İlk ikisi, GPT-4 ve GPT-3.5, OpenAI tarafından işletilen tescilli modellerdir, geri kalan sekizi ise açık kaynaktır. Google'ın Gemini modelinin en az GPT-4 kadar yetenekli olduğu söyleniyor en son yinelemesi, o zamanlar mevcut değildi.

Araştırmacılar, LLM temsilcilerine, diğerlerinin yanı sıra SQL enjeksiyonu, siteler arası komut dosyası oluşturma ve siteler arası istek sahteciliği dahil olmak üzere 15 güvenlik açığı için web sitelerini test etti. Test edilen açık kaynak modellerin tümü başarısız oldu.

Ancak OpenAI'nin GPT-4'ünün genel başarı oranı beş geçişte yüzde 73.3, tek geçişte ise yüzde 42.7 oldu. İkinci sıradaki yarışmacı OpenAI'nin GPT-3.5'i, beş geçişte yalnızca yüzde 6.7 ve tek geçişte yüzde 2.7'lik bir başarı oranı elde etti.

Kang, "Bu çok şaşırtıcı bulduğumuz şeylerden biri" dedi. "Yani kiminle konuştuğunuza bağlı olarak buna ölçeklendirme yasası veya yeni ortaya çıkan bir yetenek denilebilir. Bulduğumuz şey, GPT-4'ün bu görevleri yerine getirme konusunda oldukça yetenekli olduğudur. Her açık kaynak modeli başarısız oldu ve GPT-3.5, açık kaynak modellerinden yalnızca çok az daha iyi."

Makalede belirtilen bir açıklama, GPT-4'ün hedef web sitesinden aldığı yanıta göre eylemlerini açık kaynak modellere göre daha iyi değiştirebildiğidir.

Kang, durumun neden böyle olduğundan emin olmanın zor olduğunu söyledi. "Niteliksel olarak konuşursak, açık kaynak modellerinin işlev çağırma konusunda OpenAI modelleri kadar iyi olmadığını gördük."

Ayrıca geniş bağlamları (istemleri) işlemenin gerekliliğine de değindi. "GPT-4'ün bu saldırılardan bazılarını gerçekleştirmek için geri izlemeyi de dahil ederseniz 50'ye kadar eylem gerçekleştirmesi gerekiyor ve bunun gerçekten gerçekleştirilmesi için çok fazla bağlam gerekiyor" diye açıkladı. "Açık kaynak modellerinin uzun bağlamlarda GPT-4 kadar iyi olmadığını gördük."

Geri İzleme Bir modelin bir hatayla karşılaştığında başka bir yaklaşımı denemek için önceki durumuna dönmesini ifade eder.

Araştırmacılar, LLM temsilcileriyle web sitelerine saldırmanın maliyet analizini gerçekleştirdiler ve yazılım aracısının bir penetrasyon test cihazı kiralamaktan çok daha uygun fiyatlı olduğunu buldular.

Makalede, "GPT-4'ün maliyetini tahmin etmek için, en yetenekli aracıyı kullanarak (belge okuma ve ayrıntılı bilgi istemi) beş çalıştırma gerçekleştirdik ve girdi ve çıktı tokenlarının toplam maliyetini ölçtük" diyor. "Bu 5 çalıştırmada ortalama maliyet 4.189 dolardı. Yüzde 42.7'lik genel başarı oranıyla bu, web sitesi başına toplam 9.81 ABD doları olacaktır."

Bir insan güvenliği analistinin yılda 100,000 dolar veya saatte 50 dolar ödediğini varsayarak, bir web sitesini manuel olarak kontrol etmenin yaklaşık 20 dakika süreceğini varsayarsak, araştırmacılar, canlı bir kalem test cihazının bir LLM temsilcisinin maliyetinin yaklaşık 80 dolar veya sekiz katı kadara mal olacağını söylüyor. Kang, bu rakamların son derece spekülatif olmasına rağmen, Yüksek Lisans'ların önümüzdeki yıllarda penetrasyon testi rejimlerine dahil edilmesini beklediğini söyledi.

Otomatik saldırılar için LLM aracılarının yaygın kullanımını önlemek için maliyetin bir engelleyici faktör olup olamayacağı sorulduğunda Kang, bunun bugün için bir ölçüde doğru olabileceğini ancak maliyetlerin düşeceğini beklediğini söyledi.

Kang, önyargılı ve zararlı eğitim verileri ve model çıktılarıyla ilgili geleneksel güvenlik kaygılarının çok önemli olduğunu ancak Yüksek Lisans'ların temsilcilere dönüştürülmesiyle riskin arttığını söyledi.

Gelecekteki güvenlik endişeleri açısından beni gerçekten korkutan şey ajanlar

"Gelecekteki güvenlik endişeleri açısından beni gerçekten korkutan şey ajanlar" dedi. "Test ettiğimiz bazı güvenlik açıklarını bugün otomatik tarayıcıları kullanarak bulabilirsiniz. Bunların var olduğunu görebilirsiniz, ancak en azından benim bildiğim kadarıyla otomatik tarayıcıyı kullanarak onlardan bağımsız olarak yararlanamazsınız. Bu bilgiyi aslında özerk bir şekilde kullanamazsınız.

"Geleceğin yüksek kapasiteli modelleri hakkında beni gerçekten endişelendiren şey, otonom hackler yapma ve geniş ölçekte birden fazla farklı stratejiyi denemek için öz değerlendirme yapabilme yeteneğidir."

Geliştiricilere, endüstriye ve politika yapıcılara herhangi bir tavsiyesi olup olmadığı soruldu. Kang, "İlk adım, bu modellerin potansiyel olarak ne için kullanılabileceğini çok dikkatli düşünmektir" dedi. Ayrıca, sorumlu açıklama anlaşmalarının yanı sıra, güvenlik araştırmacılarının bu tür araştırmalara devam etmelerine izin verecek güvenli liman garantilerini de savundu.

Midjourney'in, modellerinin telif hakkıyla korunan materyal kullandığını belirten bazı araştırmacıları ve gazetecileri yasakladığını söyledi. OpenAI'nin hesabını yasaklamayarak cömert davrandığını söyledi.

Kayıt OpenAI'den araştırmacıların bulguları hakkında yorum yapmasını istedi. Bir sözcü bize, "Ürünlerimizin güvenliğini ciddiye alıyoruz ve insanların ürünlerimizi nasıl kullandığına bağlı olarak güvenlik önlemlerimizi sürekli olarak geliştiriyoruz" dedi.

“Araçlarımızın kötü amaçlarla kullanılmasını istemiyoruz ve her zaman sistemlerimizi bu tür kötüye kullanımlara karşı nasıl daha dayanıklı hale getirebileceğimiz üzerinde çalışıyoruz. Çalışmalarını bizimle paylaşan araştırmacılara teşekkür ederiz.”

OpenAI daha önce küçümsedi GPT-4'ün siber saldırılara yardımcı olma yetenekleri, modelin "kamuya açık, yapay zeka destekli olmayan araçlarla zaten elde edilebilecek olanın ötesinde, kötü amaçlı siber güvenlik görevleri için yalnızca sınırlı, artan yetenekler sunduğunu" söylüyor. ®

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/02/17/ai_models_weaponized/