YORUM
Yapay zeka (AI) kodlama araçlarının ortaya çıkışı şüphesiz modern yazılım geliştirmede yeni bir bölümün habercisidir. Kuruluşların% 63'u Şu anda geliştirme iş akışlarına AI kodlama yardımcılarını pilot olarak uygulayan veya yerleştiren şirketler, cin şişeden çıktı ve sektörün artık onu mümkün olduğunca güvenli ve verimli bir şekilde entegre etmek için dikkatli adımlar atması gerekiyor.
OWASP Vakfı, uzun zamandır güvenli kodlama en iyi uygulamalarının şampiyonudur ve geliştiricilerin kod tabanlarını istismar edilebilir güvenlik açıklarından en iyi şekilde nasıl koruyabilecekleri konusunda kapsamlı bir kapsam sunmaktadır. Büyük Dil Modeli (LLM) Uygulamaları için OWASP İlk 10 Yapay zeka tarafından üretilen kod ve üretici yapay zeka (GenAI) uygulamaları tarafından sürdürülen en yeni ve en güçlü tehditleri ortaya koyuyor ve bu, çirkin başlarını kaldırması muhtemel tehditleri anlamak ve azaltmak için önemli bir başlangıç noktasıdır.
Gelecekte daha güvenli, daha kaliteli yazılımlar görmek istiyorsak, geliştirici risk yönetimi etrafında sağlam, temel kontrolleri entegre etmeye odaklanmalıyız; ayrıca, uygulamaların yayınlanmasını talep eden küresel yönergelerin yoğunluğunda bir azalma sağlamalıyız. tasarımla güvenli.
Yapay Zeka Tarafından Oluşturulan Kod ile Yazılım Tedarik Zinciri Güvenliği Arasındaki Tehlikeli Geçiş
Prompt Injection'ın en son OWASP Top 1'da 10 numaralı girdi olarak sıralanması, yazılıma ne yapması gerektiğini (iyi veya kötü) söyleyen doğrudan bir doğal dil komutu işlevi göz önüne alındığında şaşırtıcı değildi. Ancak, kurumsal düzeyde çok daha önemli bir etkiye sahip olan Tedarik Zinciri Güvenlik Açıkları 3. sırada yer aldı.
OWASP'nin tavsiyesi, bu güvenlik açığı kategorisini oluşturan çeşitli saldırı vektörlerinden, arka kapılar, kötü amaçlı yazılımlar ve zehirli verilerle önceden tehlikeye atılmış önceden eğitilmiş modellerin uygulanması gibi unsurlardan bahsediyor veya savunmasız LoRA adaptörleri ironik olarak, verimliliği artırmak için kullanılırlar, ancak, sırayla, temel LLM'yi tehlikeye atabilirler. Bunlar, kullanıldıkları tüm tedarik zincirine nüfuz edebilen potansiyel olarak ciddi, yaygın olarak istismar edilebilir sorunlar sunarlar.
Ne yazık ki, birçok geliştirici bu sorunları güvenli bir şekilde aşmak için yeterli beceri ve süreç yeteneğine sahip değil ve bu durum, AI tarafından oluşturulan kodun iş mantığı kusurları açısından değerlendirilmesinde daha da belirginleşiyor. Özellikle bir kategori olarak listelenmemiş olsa da, OWASP'ın En İyi 10 Web'i Uygulama Güvenlik Riskleri, bu kısmen No. 6, Aşırı Temsilcilik'te ele alınmıştır. Genellikle, bir geliştirici LLM'yi daha sorunsuz çalışması için, özellikle test ortamlarında, büyük ölçüde aşırı ayrıcalıklı hale getirir veya gerçek kullanıcıların yazılımla nasıl etkileşime gireceğini yanlış yorumlayarak, onu istismar edilebilir mantık hatalarına karşı savunmasız bırakır. Bunlar da tedarik zinciri uygulamalarını etkiler ve genel olarak, bir geliştiricinin bunların üstesinden gelmek için eleştirel düşünme ve tehdit modelleme ilkelerini uygulamasını gerektirir. Kontrol edilmeyen AI aracı kullanımı veya mevcut kod tabanlarına AI destekli katmanlar eklemek, genel karmaşıklığa katkıda bulunur ve geliştirici kaynaklı önemli bir risk alanıdır.
Veri Açığa Çıkarılması Ciddi Farkındalık Gerektiren Ciddi Bir Endişedir
Hassas Bilgi Açıklaması yeni listede ikinci sırada yer alıyor, ancak kurumsal güvenlik liderleri ve geliştirme yöneticileri için başlıca endişe kaynağı olmalı. OWASP'nin belirttiği gibi, bu vektör hem LLM'nin kendisini hem de uygulama bağlamını etkileyebilir ve bu da kişisel olarak tanımlanabilir bilgilerin (PII) ifşasıve tescilli algoritmaların ve iş verilerinin ifşa edilmesi.
Teknolojinin çalışma şeklinin doğası, bu verileri ifşa etmenin, kod düzeyindeki bir güvenlik açığını aktif olarak "hacklemek" yerine kurnazca komutlar kullanmak kadar basit olabileceği anlamına gelebilir ve "büyükanne istismarı”, yürütülebilir istemler üzerindeki gevşek güvenlik kontrolleri nedeniyle hassas verilerin ifşa edilmesinin başlıca bir örneğidir. Burada, ChatGPT, bir büyükannenin yatmadan önce bir hikaye okuması rolünü üstlenmesi istendiğinde napalm tarifini ifşa etmeye kandırıldı. Benzer bir teknik ayrıca çıkarmak için de kullanıldı Windows 11 tuşları.
Bunun mümkün olmasının bir nedeni de, daha sonra güvenlik kontrollerini aşmak için ters çevirme saldırılarında kullanılabilecek, tescilli eğitim verilerini açığa çıkarabilen kötü yapılandırılmış model çıktılarıdır. Bu, kendi LLM'lerine eğitim verileri besleyenler için yüksek riskli bir alandır ve teknolojinin kullanımı şirket çapında, rol tabanlı güvenlik farkındalığının artırılmasını gerektirir. Platformu oluşturan geliştiriciler, girdi doğrulama ve veri temizleme konusunda çok bilgili olmalıdır (yani, bu beceriler kod yazmadan önce doğrulanır ve değerlendirilir) ve her Son kullanıcı, daha sonra ortaya çıkabilecek hassas verilerin paylaşılmasından kaçınacak şekilde eğitilmelidir.
Bu durum küçük ölçekte önemsiz görünebilirken, hükümet veya işletme düzeyinde, on binlerce çalışanın istemeden hassas verilerin ifşa edilmesine katkıda bulunma potansiyeli göz önüne alındığında, zaten kullanımı zor olan bir saldırı yüzeyinin önemli ölçüde genişletilmesi gerektiği açıktır.
Geri Çağırma-Artırılmış Üretim (RAG)'e Dikkat Ediyor Musunuz?
Belki de 2025 listesindeki en dikkat çekici yeni giriş 8 numarada yer alan Vektör ve Gömme Zayıflıkları'dır. Kurumsal LLM uygulamalarının yazılım mimarisinin bir parçası olarak sıklıkla RAG teknolojisini kullanmasıyla, bu, sektörün yakından dikkat etmesi gereken bir güvenlik açığı kategorisidir.
RAG, model performansının iyileştirilmesi için önemlidir ve genellikle önceden eğitilmiş modeller ile harici bilgi kaynakları arasında bağlamsal ipuçları sağlayan "tutkal" görevi görür. Bu, vektörlerin ve yerleştirmelerin uygulanmasıyla mümkün olur, ancak güvenli bir şekilde uygulanmazlarsa, Felaket niteliğinde veri ifşasıveya ciddi veri zehirlenmesi ve yerleştirme ters çevirme saldırılarının önünü açabilir.
Hem temel iş mantığının hem de en az ayrıcalıklı erişim denetiminin kapsamlı bir şekilde anlaşılması, dahili modeller üzerinde çalışan geliştiriciler için bir güvenlik becerileri temeli olarak düşünülmelidir. Ancak gerçekçi olarak, en iyi durum senaryosu, kapsamlı tehdit modellemesi yapmak ve yeterli günlük kaydı ve izlemeyi sağlamak için en yüksek performans gösteren, güvenlik becerilerine sahip geliştiricileri ve AppSec muadillerini kullanmayı içerir.
Tüm LLM teknolojilerinde olduğu gibi, bu büyüleyici bir yeni alan olsa da, yüksek düzeyde güvenlik bilgisi ve özeniyle tasarlanmalı ve kullanılmalıdır. Bu liste, mevcut tehdit ortamı için güçlü ve güncel bir temeldir, ancak ortam kaçınılmaz olarak hızla büyüyecek ve değişecektir. Geliştiricilerin uygulamaları oluşturma biçimlerinin önümüzdeki birkaç yıl içinde artacağı kesindir, ancak nihayetinde, hem yapay zeka hem de insan hatası riskini azaltmak için gereken kritik düşünceyle çalışan sezgisel, güvenliğe odaklı bir geliştiricinin yerini tutacak hiçbir şey yoktur.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://www.darkreading.com/vulnerabilities-threats/owasps-llm-top-10-shows-emerging-ai-threats
