Özellikler(Hazırlık aşamasında) Yapay zeka ürünlerini anlamak, oluşturmak ve göndermek için acele ederken, geliştiriciler ve veri bilimcileri güvenliğe dikkat etmeleri ve tedarik zinciri saldırılarının kurbanı olmamaları konusunda uyarılıyor.

Oynanacak sayısız model, kitaplık, algoritma, önceden oluşturulmuş araç ve paket var ve ilerleme durmaksızın devam ediyor. Bu sistemlerin çıktısı belki başka bir hikaye, ancak en azından her zaman oynanacak yeni bir şeyin olduğu inkar edilemez.

Tüm heyecanı, heyecanı, merakı ve fırsatları kaçırma korkusunu bir kenara bırakın, güvenlik unutulamaz. Eğer bu senin için bir şok değilse, harika. Ancak burada bir hatırlatma yapmakta fayda var, özellikle de makine öğrenimi teknolojisi, en azından geliştirme aşamasında mühendisler yerine bilim adamları tarafından bir araya getirilme eğiliminde olduğundan ve bu insanlar sinir ağı mimarileri, nicemleme ve sonraki konularda yollarını biliyorken. gen eğitim teknikleri, bilgi güvenliği anlaşılır bir şekilde onların en güçlü noktası olmayabilir.

Bir yapay zeka projesini bir araya getirmek, başka herhangi bir yazılım parçasını oluşturmaktan çok da farklı değil. Çıkarım görevlerini gerçekleştirmek için genellikle kitaplıkları, paketleri, eğitim verilerini, modelleri ve özel kaynak kodunu birbirine yapıştırırsınız. Genel depolarda bulunan kod bileşenleri, gizli arka kapılar veya veri sızdırıcılar içerebilir ve önceden oluşturulmuş modeller ve veri kümeleri, uygulamaların beklenmedik şekilde uygunsuz davranmasına neden olacak şekilde zehirlenebilir.

Aslında bazı modeller kötü amaçlı yazılım içerebilir. infaz içerikleri güvenli bir şekilde seri durumdan çıkarılmazsa. ChatGPT eklentilerinin güvenliği de altına girmek yakından inceleme.

Başka bir deyişle, yazılım geliştirme dünyasında gördüğümüz tedarik zinciri saldırıları yapay zeka alanında da gerçekleşebiliyor. Kötü paketler, geliştiricilerin iş istasyonlarının tehlikeye atılmasına, kurumsal ağlara zarar verici izinsiz girişlere yol açabilir ve modellerin ve eğitim veri kümelerinin kurcalanmasına, uygulamaların nesneleri yanlış sınıflandırmasına, kullanıcıları rahatsız etmesine vb. neden olabilir. Arka kapılı veya kötü amaçlı yazılım bulaşmış kitaplıklar ve modeller, gönderilen yazılıma dahil edilirse bu uygulamaların kullanıcılarını da saldırılara açık bırakabilir.

İlginç bir matematik problemini çözecekler ve sonra onu uygulamaya koyacaklar, hepsi bu. Kalem testi yapılmadı, AI kırmızı takım çalışması yok

Buna yanıt olarak, özellikle bu tehdidin üstesinden gelmek için siber güvenlik ve yapay zeka girişimleri ortaya çıkıyor; Şüphesiz köklü oyuncuların da bu konuda gözü var, ya da biz öyle umuyoruz. Makine öğrenimi projeleri denetlenmeli ve incelenmeli, güvenlik açısından test edilmeli ve güvenlik açısından değerlendirilmelidir.

“[AI] akademiden büyüdü. Bunlar büyük ölçüde üniversitedeki araştırma projeleri ya da büyük ölçüde akademisyenler ya da büyük şirketler tarafından başlatılan küçük yazılım geliştirme projeleridir ve içlerinde güvenlik yoktur," Tom Bonner, HiddenLayer araştırma başkan yardımcısı, bir Böyle güvenlik odaklı bir girişimin söylediğine göre Kayıt.

“Yazılım kullanarak ilginç bir matematik problemini çözecekler ve sonra onu dağıtacaklar, hepsi bu. Kalem testi yapılmamıştır, yapay zeka kırmızı ekibi oluşturma, risk değerlendirmeleri veya güvenli bir geliştirme yaşam döngüsü yoktur. Aniden yapay zeka ve makine öğrenimi gerçekten yükselişe geçti ve herkes bu alana girmenin yollarını arıyor. Hepsi gidip akademide ortaya çıkan tüm yaygın yazılım paketlerini alıyorlar ve bir bakıyorsunuz bunlar güvenlik açıklarıyla, deliklerle dolu."

Yapay zeka tedarik zincirinde suçlular için çok sayıda giriş noktası bulunuyor ve bu kişiler aşağıdakileri kullanabilir: yazım hatası Geliştiricilerin normalde yasal olan kitaplıkların kötü amaçlı kopyalarını kullanmaları için kandırılarak dolandırıcıların hassas verileri ve kurumsal kimlik bilgilerini çalmasına, kodu çalıştıran sunucuları ele geçirmesine ve daha pek çok şeye olanak sağladığı ileri sürülüyor. Yazılım tedarik zinciri savunmaları makine öğrenimi sistemi geliştirmeye de uygulanmalıdır.

Koruma AI'nın baş yapay zeka güvenlik araştırmacısı Dan McInerney, "Şirketinizde veya kuruluşunuzda bir yapay zeka departmanı açtığınızda nasıl saldırıya uğrayacağınızı gösteren bir pasta grafiği düşünürseniz" dedi. Kayıt, "Bu pastanın çok küçük bir kısmı model girdi saldırıları olacak, herkesin bahsettiği şey de bu. Ve dev bir kısmı tedarik zincirine, yani modeli oluşturmak için kullandığınız araçlara saldıracak."

Giriş saldırıları ilginç yollar İnsanların AI yazılımını kullanarak kırabileceği.

Potansiyel tehlikeyi göstermek için geçen hafta HiddenLayer vurgulanan Hugging Face tarafından sağlanan ve güvenli olmayan Pickle biçimindeki modelleri daha güvenli biçime dönüştüren çevrimiçi hizmette bir güvenlik sorunu olduğuna kuvvetle inanılıyor. Safetensörler, ayrıca Hugging Face tarafından geliştirilmiştir.

Turşu modelleri, seri durumdan çıkarıldığında sessizce ve beklenmedik bir şekilde yürütülebilecek kötü amaçlı yazılım ve diğer rastgele kodlar içerebilir ki bu pek iyi değildir. Safetensors daha güvenli bir alternatif olarak oluşturuldu: Bu formatı kullanan modeller, seri durumdan çıkarıldığında gömülü kodu çalıştırmamalıdır. Bilmeyenler için Hugging Face, geliştiricilerin yalnızca birkaç tıklama veya komutla indirip kullanabileceği yüz binlerce sinir ağı modelini, veri kümesini ve kod parçalarını barındırıyor.

Safetensors dönüştürücüsü, Hugging Face altyapısı üzerinde çalışır ve Hugging Face tarafından barındırılan bir PyTorch Pickle modelini Safetensors formatındaki bir kopyaya dönüştürme talimatı verilebilir. Ancak HiddenLayer'a göre bu çevrimiçi dönüştürme işleminin kendisi keyfi kod yürütmeye karşı savunmasızdır.

HiddenLayer araştırmacıları, rastgele kod içeren kötü amaçlı bir Pickle modeli için bir dönüşüm isteği gönderebileceklerini ve dönüşüm süreci sırasında bu kodun Hugging Face'in sistemlerinde çalıştırılacağını ve birinin dönüştürücü bot ve kullanıcılarıyla uğraşmaya başlamasına izin vereceğini bulduklarını söyledi. Bir kullanıcı kötü amaçlı bir modeli dönüştürdüyse, Hugging Face belirteci gizli kod tarafından sızdırılabilir ve "aslında Hugging Face belirtecini çalabilir, depolarını tehlikeye atabilir ve o kullanıcının sahip olduğu tüm özel depoları, veri kümelerini ve modelleri görüntüleyebiliriz. Erişim," diye savundu HiddenLayer.

Buna ek olarak, dönüştürücü botun kimlik bilgilerine Pickle modelinde saklanan kod tarafından erişilebileceği ve sızdırılabileceği söylendi; bu da birisinin bot kılığına girmesine ve diğer depolarda değişiklik için çekme isteklerini açmasına olanak tanıyor. Bu değişiklikler kabul edilirse kötü amaçlı içerik ortaya çıkarabilir. Hugging Face'ten HiddenLayer'ın bulgularına yanıt vermesini istedik.

HiddenLayer'dan Bonner, "İronik bir şekilde, Safetensor'lara dönüştürme hizmetinin kendisi son derece güvensizdi" dedi. "Dönüşüm botunun veri havuzlarına erişim düzeyi göz önüne alındığında, değişiklikleri diğer depolar aracılığıyla göndermek için kullandıkları jetonu çalmak aslında mümkündü.

"Yani teorik olarak, bir saldırgan herhangi bir değişikliği herhangi bir depoya gönderebilir ve bunun Hugging Face'ten gelmiş gibi görünmesini sağlayabilir ve bir güvenlik güncellemesi onları bunu kabul etmeleri için kandırabilirdi. İnsanlar depolarında arka kapılı modeller veya güvensiz modeller olurdu ve bunu bilemezlerdi."

Bu teorik bir tehditten daha fazlası: Devops mağazası JFrog bulduğunu söyledi Hugging Face'te barındırılan 100 modelde kötü amaçlı kod gizleniyor.

Gerçekte, modellerde zararlı kod yüklerini gizlemenin çeşitli yolları vardır; bunlar, dosya formatına bağlı olarak, sinir ağları yüklendiğinde ve ayrıştırıldığında çalıştırılır ve kötü niyetli kişilerin insanların makinelerine erişmesine olanak tanır. JFrog, PyTorch ve Tensorflow Keras modellerinin "kötü amaçlı kod çalıştırma açısından en yüksek potansiyel riski oluşturduğunu, çünkü bunların yayınlanmış bilinen kod yürütme tekniklerine sahip popüler model türleri olduğunu" belirtti.

Güvenli olmayan öneriler

Bonner, uygulama geliştirmek için kod önerme yardımcılarını kullanan programcıların da dikkatli olması gerektiği konusunda uyardı, aksi takdirde güvenli olmayan kodlar dahil edebilirler. Örneğin GitHub Copilot, açık kaynak kodlu depolar konusunda eğitildi ve bunların en az 350,000'i potansiyel olarak bir saldırıya açık durumda. eski güvenlik sorunu Python ve tar arşivlerini içerir.

Python'un tar dosyası Adından da anlaşılacağı gibi modül, programların tar arşivlerini açmasına yardımcı olur. Arşivdeki bir dosya Python modülü tarafından çıkarıldığında, kullanıcının dosya sistemindeki rastgele bir dosyanın üzerine yazmaya çalışacak şekilde bir .tar oluşturmak mümkündür. Bu, ayarları çöpe atmak, komut dosyalarını değiştirmek ve başka yaramazlıklara neden olmak için kullanılabilir.

Kusur 2007'de fark edildi ve vurgulanan 2022'de yine bu durum insanları bu istismardan kaçınmak için projelere yama uygulamaya teşvik ediyor. Bonner, bu güvenlik güncellemelerinin büyük dil modellerini programlamak için eğitmek için kullanılan veri kümelerine ulaşmamış olabileceğini söyledi. "Dolayısıyla, eğer bir Yüksek Lisans'tan hemen gidip bir tar dosyasını açmasını isterseniz, muhtemelen size [eski] savunmasız kodu geri gönderecektir."

Bonner, yapay zeka topluluğunu, geliştiricilerin kamu kod depolarında değişiklik yaparken söyledikleri kişi olduklarını dijital olarak kanıtlamalarını zorunlu kılmak gibi tedarik zinciri güvenliği uygulamalarını uygulamaya başlamaya çağırdı; bu, insanlara, şeylerin yeni sürümlerinin yasal geliştiriciler tarafından üretildiğine dair güvence verecektir. ve kötü niyetli değişiklikler değildi. Bu, geliştiricilerin kimlik doğrulamak için kullandıkları her şeyi güvence altına almalarını gerektirir, böylece başka biri onlar gibi davranamaz.

Büyük ve küçük tüm geliştiriciler, güvenlik değerlendirmeleri yapmalı, kullandıkları araçları incelemeli ve yazılımlarını dağıtmadan önce kalem testine tabi tutmalıdır.

Yapay zeka tedarik zincirinde güvenliği artırmaya çalışmak çetrefilli bir iştir ve bu kadar çok araç ve modelin oluşturulup piyasaya sürülmesiyle buna ayak uydurmak zordur.

AI'yi koruyun McInerney şunu vurguladı: “Şu anda içinde bulunduğumuz durum bu. Her yerde bulunan çok sayıda alçakta asılı meyve var. Her şey çok hızlı ilerlediğinden hepsine bakacak yeterli insan gücü yok." ®

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/