Üretken yapay zekanın hızla ilerlemesi, aşağıdakiler gibi güçlü, herkese açık büyük dil modelleri (LLM'ler) ortaya çıkardı: DeepSeek-R1, yeniliğin ön saflarına. DeepSeek-R1 modelleri artık şu şekilde erişilebilir: Amazon Bedrock Pazar Yeri ve Amazon SageMaker Hızlı Başlangıçve damıtılmış çeşitleri şu şekilde mevcuttur: Amazon Bedrock Özel Model İçe Aktarma. Göre DeepSeek Yapay Zeka, bu modeller akıl yürütme, kodlama ve doğal dil anlama konusunda güçlü yetenekler sunar. Ancak, üretim ortamlarında dağıtımları -tüm modeller gibi- veri gizliliği gerekliliklerinin dikkatli bir şekilde değerlendirilmesini, çıktıdaki önyargının uygun şekilde yönetilmesini ve sağlam izleme ve kontrol mekanizmalarına ihtiyaç duyulmasını gerektirir.
DeepSeek-R1 gibi açık kaynaklı, açık ağırlık modellerini benimseyen kuruluşlar, birkaç önemli hususu ele alma konusunda önemli fırsatlara sahiptir:
- Potansiyel kötüye kullanımı önlemek için güvenlik önlemlerinin, aşağıdaki kaynaklar tarafından yönlendirilen şekilde artırılması: OWASP Yüksek Lisans İlk 10 ve MİTREL Atlas
- Hassas bilgilerin korunmasını sağlamak
- Sorumlu içerik oluşturma uygulamalarını teşvik etmek
- İlgili sektör düzenlemelerine uyum sağlamaya çalışmak
Bu endişeler, veri gizliliğinin ve içerik doğruluğunun çok önemli olduğu sağlık, finans ve kamu hizmetleri gibi sıkı düzenlemelere tabi sektörlerde özellikle kritik hale geliyor.
Bu blog yazısı, Amazon Bedrock Guardrails'ı kullanarak DeepSeek-R1 ve diğer açık ağırlık modelleri için sağlam güvenlik korumalarını uygulamaya yönelik kapsamlı bir kılavuz sağlar. Şunları keşfedeceğiz:
- Verilerinizi ve uygulamalarınızı korumak için Amazon Bedrock tarafından sunulan güvenlik özelliklerini nasıl kullanabilirsiniz?
- Ani saldırıları önlemek ve zararlı içerikleri filtrelemek için bariyerlerin pratik uygulaması
- Sağlam bir derinlemesine savunma stratejisinin uygulanması
Bu kılavuzu takip ederek, güçlü güvenlik kontrollerini korurken ve etik AI uygulamalarını teşvik ederken DeepSeek modellerinin gelişmiş yeteneklerini nasıl kullanacağınızı öğreneceksiniz. Müşteriye yönelik üretken AI uygulamaları veya dahili araçlar geliştiriyor olun, bu uygulama kalıpları güvenli ve sorumlu AI gereksinimlerinizi karşılamanıza yardımcı olacaktır. Bu adım adım yaklaşımı takip ederek, kuruluşlar DeepSeek-R1 gibi açık ağırlık LLM'lerini AI güvenliği ve emniyeti için en iyi uygulamalara uygun şekilde dağıtabilir.
DeepSeek modelleri ve Amazon Bedrock'ta dağıtım
Açık ağırlık temelli AI modelleri konusunda uzmanlaşmış bir şirket olan DeepSeek AI, yakın zamanda kendi DeepSeek-R1 modelleri, onların görüşüne göre kâğıt endüstri kıyaslamalarında olağanüstü muhakeme yetenekleri ve performans gösterdiler. Üçüncü taraf değerlendirmelerine göre, bu modeller kalite endeksi, bilimsel muhakeme ve bilgi, nicel muhakeme ve kodlama (HumanEval) dahil olmak üzere çeşitli ölçütlerde sürekli olarak ilk üç sırayı elde ediyor.
Şirket, Llama ve Qwen mimarileri üzerine inşa edilmiş DeepSeek-R1'den türetilen altı yoğun modeli yayınlayarak portföyünü daha da geliştirdi ve bunları açık ağırlık modelleri haline getirdi. Bu modeller artık AWS üretken AI çözümleri aracılığıyla erişilebilir: DeepSeek-R1, şu şekilde kullanılabilir: Amazon Bedrock Marketplace ve SageMaker Jumpstart, Llama tabanlı damıtılmış versiyonlar şu şekilde uygulanabilir: Amazon Bedrock Özel Model İçe Aktarma.
Amazon Bedrock kapsamlı bir hizmet sunuyor güvenlik özellikleri açık kaynak ve açık ağırlık modellerinin barındırılmasını ve işletilmesini güvenli hale getirmeye yardımcı olmak ve veri gizliliğini ve düzenleyici uyumluluğu korumak. Temel özellikler arasında hareketsiz ve geçiş halinde veri şifreleme, ayrıntılı erişim kontrolleri, güvenli bağlantı seçenekleri ve çeşitli uyma sertifikalar. Ayrıca, Amazon Bedrock sorumlu AI kullanımını desteklemek için içerik filtreleme ve hassas bilgi koruması için bariyerler sağlar. AWS bu yetenekleri kapsamlı platform genelinde güvenlik ve uyumluluk önlemleriyle geliştirir:
Kuruluşlar, üretim ortamlarına dağıtım yaparken bu güvenlik ayarlarını kendi özel uyumluluk ve güvenlik ihtiyaçlarına göre özelleştirmelidir. AWS, güvenlik sürecinin bir parçası olarak tüm model kapsayıcılarının güvenlik açığı taramasını gerçekleştirir ve yalnızca şu modelleri kabul eder: Safetensörler Güvenli olmayan kod yürütülmesini engellemeye yardımcı olacak bir biçim.
Amazon Bedrock Korkulukları
Amazon Bedrock Guardrails, büyük ölçekte üretken AI uygulamalarının güvenli bir şekilde oluşturulmasına yardımcı olmak için yapılandırılabilir güvenlik önlemleri sağlar. Amazon Bedrock Guardrails ayrıca aşağıdakiler de dahil olmak üzere diğer Amazon Bedrock araçlarıyla entegre edilebilir: Amazon Bedrock Temsilcileri ve Amazon Ana Kayası Bilgi Tabanları Sorumlu AI politikalarıyla uyumlu daha güvenli ve daha emniyetli üretken AI uygulamaları oluşturmak için. Daha fazla bilgi edinmek için bkz. AWS Sorumlu Yapay Zeka sayfamızı ziyaret edin.
Temel işlevsellik
Amazon Bedrock Guardrails iki şekilde kullanılabilir. İlk olarak, doğrudan InvokeModel ve Converse API çağrısıyla entegre edilebilir, burada çıkarım süreci sırasında hem girdi istemlerine hem de model çıktılarına korumalar uygulanır. Bu yöntem, Amazon Bedrock Marketplace ve Amazon Bedrock Custom Model Import aracılığıyla Amazon Bedrock'ta barındırılan modellerle uyumludur. Alternatif olarak, ApplyGuardrail API daha esnek bir yaklaşım sunarak içeriğin bağımsız değerlendirilmesi bir model çağırmadan. Bu ikinci yöntem, bir uygulamanın çeşitli aşamalarında girdileri veya çıktıları değerlendirmek, Amazon Bedrock dışındaki özel veya üçüncü taraf modellerle çalışmak için yararlıdır. Her iki yaklaşım da geliştiricilerin kullanım durumlarına göre özelleştirilmiş ve sorumlu AI politikalarıyla uyumlu güvenlik önlemlerini uygulamalarını sağlayarak, üretken AI uygulamalarında güvenli ve uyumlu etkileşimler sağlar.
Amazon Bedrock Guardrails'ın temel politikaları
Amazon Bedrock Guardrails, büyük ölçekte üretken yapay zeka uygulamalarının güvenli bir şekilde oluşturulmasına yardımcı olmak için aşağıdaki yapılandırılabilir koruma politikalarını sağlar:
- İçerik filtreleri
- Zararlı içerikler için ayarlanabilir filtreleme yoğunluğu
- Önceden tanımlanmış kategoriler: Nefret, Hakaret, Cinsel İçerik, Şiddet, Uygunsuz Davranış ve Ani Saldırılar
- Metin ve görseller de dahil olmak üzere çok modlu içerik (önizleme)
- Konu filtreleri
- Belirli konuları sınırlama yeteneği
- Hem sorgularda hem de yanıtlarda yetkisiz konuların önlenmesi
- Kelime filtreleri
- Belirli kelimeleri, ifadeleri ve küfürleri engeller
- Saldırgan dil veya rakip referansları için özel filtreler
- Hassas bilgi filtreleri
- Kişisel olarak tanımlanabilir bilgilerin (PII) engellenmesi veya maskelenmesi
- Özel regex desenleri için destek
- Standart formatlar (örneğin SSN, DOB ve adresler) için olasılıksal algılama
- Bağlamsal temellendirme kontrolleri
- Kaynak topraklaması yoluyla halüsinasyon tespiti
- Sorgu alaka doğrulaması
- Otomatik Akıl Yürütme halüsinasyon önlemeyi kontrol eder (kapılı önizleme)
Diğer yetenekler
Modelden bağımsız uygulama:
- Tüm Amazon Bedrock temel modelleriyle uyumludur
- İnce ayarlı modelleri destekler
- ApplyGuardrail API aracılığıyla harici özel ve üçüncü taraf modellere genişletilir
Bu kapsamlı çerçeve, müşterilerin sorumlu yapay zekayı uygulamasına, çeşitli üretken yapay zeka uygulamalarında içerik güvenliğini ve kullanıcı gizliliğini korumasına yardımcı olur.
Çözüme Genel Bakış
- Korkuluk yapılandırması
- Kullanım durumunuza göre uyarlanmış belirli politikalarla bir koruma bariyeri oluşturun ve politikaları yapılandırın.
- InvokeModel API ile Entegrasyon
- İsteğinizde guardrail tanımlayıcısını kullanarak Amazon Bedrock InvokeModel API'sini çağırın.
- API çağrısını yaptığınızda Amazon Bedrock belirtilen korumayı hem girdiye hem de çıktıya uygular.
- Korkuluk değerlendirme süreci
-
- Giriş değerlendirmesi: İstemi modele göndermeden önce, guardrail kullanıcı girdisini yapılandırılmış politikalara göre değerlendirir.
- Paralel politika denetimi: Gecikmeyi iyileştirmek için, giriş, yapılandırılan her politika için paralel olarak değerlendirilir.
- Giriş müdahalesi: Giriş herhangi bir koruma politikasını ihlal ederse, önceden yapılandırılmış bir engellenmiş mesaj döndürülür ve model çıkarımı atılır.
- model çıkarımı: Eğer girdi bariyer kontrollerini geçerse, çıkarım için belirtilen modele istem gönderilir.
- Çıktı değerlendirmesi: Model bir yanıt ürettikten sonra, guardrail çıktıyı yapılandırılmış politikalara göre değerlendirir.
- Çıktı müdahalesi:Model yanıtı herhangi bir güvenlik politikasını ihlal ederse, politikaya bağlı olarak önceden yapılandırılmış bir mesajla engellenecek veya hassas bilgiler maskelenecektir.
- Yanıt teslimi: Çıktı tüm bariyer kontrollerini geçerse, yanıt herhangi bir değişiklik yapılmadan uygulamaya döndürülür
Önkoşullar
Amazon Bedrock Özel Model İçe Aktarma özelliğini kullanarak içe aktarılan modeller için korkuluklar ayarlamadan önce, şu ön koşulları karşıladığınızdan emin olun:
- Amazon Bedrock'a erişimi olan bir AWS hesabı ve gerekli izinlere sahip gerekli IAM rolü. Merkezi erişim yönetimi için, şunları kullanmanızı öneririz: AWS IAM Kimlik Merkezi.
- Amazon Bedrock Özel Model İçe Aktarma hizmeti kullanılarak özel bir modelin zaten içe aktarıldığından emin olun. Örnek olarak, kullanılarak içe aktarılabilen DeepSeek-R1-Distill-Llama-8B'yi kullanacağız. Amazon Bedrock Özel Model İçe AktarmaBu modeli dağıtmak için iki seçeneğiniz var:
Bu kılavuzda açıklandığı gibi AWS Yönetim Konsolunu kullanarak korkuluğu oluşturabilirsiniz. blog yazısıAlternatif olarak, bunu takip edebilirsiniz defter Bu çözümde bariyerin nasıl oluşturulacağına dair programatik bir örnek için. Bu not defteri şunları yapar:
- Gerekli bağımlılıkları yükleyin
- Daha önce bahsedilen kullanım örneğini karşılamak için boto3 API'sini ve filtreleri kullanarak bir korkuluk oluşturun.
- İçe aktarılan model için belirteçleyiciyi yapılandırın.
- Çeşitli Amazon Bedrock korkuluk filtrelerinin nasıl çalıştığını gösteren istemleri kullanarak Amazon Bedrock Korkuluklarını test edin.
Bu yaklaşım, hem kullanıcı girdilerine hem de model çıktılarına koruma bariyerlerini entegre eder. Bu, etkileşimin her iki aşamasında da potansiyel olarak zararlı veya uygunsuz içeriklerin engellenmesini sağlar. Amazon Bedrock Custom Model Import, Amazon Bedrock Marketplace ve Amazon SageMaker JumpStart kullanılarak içe aktarılan açık ağırlık damıtılmış modeller için, uygulanması gereken kritik filtreler arasında hızlı saldırılar, içerik denetimi, konu kısıtlamaları ve hassas bilgi koruması için olanlar bulunur.
AWS hizmetleriyle derinlemesine savunma stratejisinin uygulanması
Amazon Bedrock Guardrails temel içerik ve anında güvenlik kontrolleri sağlarken, özellikle DeepSeek-R1 gibi açık ağırlık modelleri olmak üzere herhangi bir temel modeli dağıtırken kapsamlı bir derinlemesine savunma stratejisi uygulamak hayati önem taşır. LLM'ler için OWASP En İyi 10'a uygun derinlemesine savunma yaklaşımları hakkında ayrıntılı rehberlik için önceki makalemize bakın blog yazısı Güvenli üretken yapay zeka uygulamalarının mimarisi üzerine.
Önemli noktalar şunları içerir:
- Güvenliği göz önünde bulundurarak kurumsal dayanıklılığı geliştirmek
- AWS hizmetlerini kullanarak güvenli bir bulut temeli üzerine inşa etme
- Birden fazla güven sınırında katmanlı bir savunma stratejisi uygulamak
- LLM başvuruları için OWASP'ın En Önemli 10 Riskini Ele Alma
- AI/ML yaşam döngüsü boyunca en iyi güvenlik uygulamalarını uygulamak
- AWS güvenlik hizmetlerini AI ve makine öğrenimine (AI/ML) özgü özelliklerle birlikte kullanma
- Farklı bakış açılarını göz önünde bulundurmak ve güvenliği iş hedefleriyle uyumlu hale getirmek
- Hızlı enjeksiyon ve veri zehirlenmesi gibi risklere hazırlık ve bunları azaltma
Model düzeyindeki kontrollerin (koruma bariyerleri) derinlemesine savunma stratejisiyle birleştirilmesi, aşağıdakilere karşı koruma sağlayabilecek sağlam bir güvenlik duruşu yaratır:
- Veri sızdırma girişimleri
- İnce ayarlı modellere veya eğitim verilerine yetkisiz erişim
- Model uygulamasındaki potansiyel güvenlik açıkları
- Yapay zeka ajanlarının ve entegrasyonlarının kötü amaçlı kullanımı
Kapsamlı tehdit modelleme alıştırmaları yapmanızı öneririz. Üretken AI iş yükleri için AWS kılavuzu Herhangi bir yeni AI/ML çözümü dağıtmadan önce. Bu, güvenlik kontrollerinin belirli risk senaryoları ve iş gereksinimleriyle uyumlu hale getirilmesine yardımcı olur.
Sonuç
DeepSeek-R1 modelleri de dahil olmak üzere LLM'ler için güvenlik koruması uygulamak, güvenli ve etik bir AI ortamını sürdürmek için çok önemlidir. Amazon Bedrock Guardrails'ı Amazon Bedrock InvokeModel API ve ApplyGuardrails API ile kullanarak, gelişmiş dil modelleriyle ilişkili riskleri azaltmaya yardımcı olabilirken güçlü yeteneklerinden de yararlanabilirsiniz. Ancak, model düzeyindeki korumaların kapsamlı bir güvenlik stratejisinin yalnızca bir bileşeni olduğunu kabul etmek önemlidir.
Bu gönderide özetlenen stratejiler, Amazon Bedrock Custom Model Import, Amazon Bedrock Marketplace ve Amazon SageMaker JumpStart kullanılarak Amazon Bedrock'ta barındırılan çeşitli açık ağırlık modellerinde yaygın olan birkaç temel güvenlik endişesini ele almaktadır. Bunlar arasında enjeksiyon saldırılarını tetikleyecek potansiyel güvenlik açıkları, zararlı içerik üretimi ve son değerlendirmelerde belirlenen diğer riskler yer almaktadır. Bu korumaları derinlemesine savunma yaklaşımıyla birlikte uygulayarak, kuruluşlar kötüye kullanım riskini önemli ölçüde azaltabilir ve AI uygulamalarını etik standartlar ve düzenleyici gerekliliklerle daha iyi uyumlu hale getirebilir.
Yapay zeka teknolojisi gelişmeye devam ettikçe, güvenliğe ve üretken yapay zekanın sorumlu kullanımına öncelik vermek önemlidir. Amazon Bedrock Guardrails, bu güvenlik önlemlerini uygulamak için yapılandırılabilir ve sağlam bir çerçeve sunarak geliştiricilerin koruma önlemlerini kendi özel kullanım durumlarına ve kurumsal politikalarına göre özelleştirmelerine olanak tanır. Güvenlik risklerini değerlendirmek ve tüm teknoloji yığınınızda uygun kontrolleri uygulamak için AWS rehberliğini kullanarak yapay zeka iş yüklerinizin kapsamlı tehdit modellemesini gerçekleştirmenizi şiddetle öneririz.
Sadece koruma bariyerlerinizi değil, aynı zamanda yeni potansiyel güvenlik açıklarını ele almak ve hızla gelişen yapay zeka güvenliği ortamında ortaya çıkan tehditlere karşı korumayı sürdürmeye yardımcı olmak için tüm güvenlik kontrollerini düzenli olarak gözden geçirmeyi ve güncellemeyi unutmayın. Bugün DeepSeek-R1 modellerine odaklansak da, yapay zeka manzarası düzenli olarak yeni modellerin ortaya çıkmasıyla sürekli olarak gelişiyor. Amazon Bedrock Guardrails, AWS güvenlik hizmetleri ve en iyi uygulamalarla birleştiğinde, hem mevcut hem de gelecekteki çeşitli açık ağırlık modellerinde üretken yapay zeka uygulamalarınızı korumak için uyarlanabilen tutarlı bir güvenlik çerçevesi sağlar. Güvenliği sürekli bir değerlendirme, iyileştirme ve uyarlama süreci olarak ele alarak, kuruluşlar sağlam güvenlik kontrollerini korurken yenilikçi yapay zeka çözümlerini güvenle dağıtabilir.
Yazarlar Hakkında
Satveer Khurpa Amazon Web Services'ta Bedrock'ta Kıdemli WW Uzman Çözüm Mimarıdır. Bu rolde, bulut tabanlı mimarilerdeki uzmanlığını kullanarak çeşitli sektörlerdeki müşteriler için yenilikçi üretken AI çözümleri geliştirmektedir. Satveer'in üretken AI teknolojilerine ilişkin derin anlayışı, yeni iş fırsatlarının kilidini açan ve somut değer sağlayan ölçeklenebilir, güvenli ve sorumlu uygulamalar tasarlamasına olanak tanır.
Adewale Akinfaderin Amazon Bedrock'ta Kıdemli Veri Bilimcisi-Üretici AI'dır ve AWS'de temel modellerde ve üretken AI uygulamalarında son teknoloji yeniliklere katkıda bulunur. Uzmanlığı, yeniden üretilebilir ve uçtan uca AI/ML yöntemleri, pratik uygulamalar ve küresel müşterilerin disiplinler arası sorunlara ölçeklenebilir çözümler formüle etmelerine ve geliştirmelerine yardımcı olmaktır. Fizikte iki yüksek lisans derecesi ve mühendislikte bir doktora derecesi vardır.
Antonio Rodriguez Amazon Web Services'ta Baş Üretici Yapay Zeka Uzmanı Çözüm Mimarıdır. Her büyüklükteki şirketin zorluklarını çözmesine, yeniliği benimsemesine ve Amazon Bedrock ile yeni iş fırsatları yaratmasına yardımcı olur. İş dışında ailesiyle vakit geçirmeyi ve arkadaşlarıyla spor yapmayı sever.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/protect-your-deepseek-model-deployments-with-amazon-bedrock-guardrails/
