Bu yazı Balaji Chandrasekaran, Jennifer Cwagenberg ve Andrew Sansom ve Protopia AI'dan Eiman Ebrahimi ile birlikte yazılmıştır.

Yeni ve güçlü büyük dil modelleri (LLM'ler) işletmeleri hızla değiştiriyor, çeşitli kurumsal kullanım örnekleri için verimliliği ve etkinliği artırıyor. Hız çok önemlidir ve LLM teknolojilerinin benimsenmesi bir işletmenin rekabet avantajını sağlayabilir veya bozabilir. AWS, özellikle kritik karar alma süreçlerini mümkün kılmak amacıyla işletmelere LLM'leri geniş ölçekte dağıtmak için gerekli araçları sağlamaya çok uygundur.

İşletmeler, üretken yapay zeka teknolojisini uygularken, verilerin açığa çıkması ve LLM'lere gönderilebilecek gizli bilgilerin sahipliği konusunda gerçek endişelere sahiptir. Gizlilik ve veri korumayla ilgili bu endişeler, kuruluşlarda LLM'lerin kullanımını yavaşlatabilir veya sınırlayabilir. Kuruluşların, şirket içi DevOps'un genellikle engelleyici derecede yüksek genel giderlerini üstlenmeye gerek kalmadan, hassas bilgileri modellere göndermenin sorumlu ve daha güvenli bir yoluna ihtiyacı var.

Gönderide, verilerinizi korumak için Protopia AI'nin Vitray Dönüşümünü dağıtarak LLM'leri kullanırken veri sahipliğini koruma ve veri gizliliğini koruma zorluklarının üstesinden nasıl gelebileceğiniz açıklanıyor. Protopia Yapay Zekası Üretken yapay zekanın güvenli ve verimli bir şekilde kurumsal olarak benimsenmesi için kritik veri koruma ve sahiplik bileşenini sunmak üzere AWS ile ortaklık kurdu. Bu gönderide çözüm özetleniyor ve bunun AWS'de aşağıdakiler gibi popüler kurumsal kullanım örnekleri için nasıl kullanılabileceği gösteriliyor: Alma Artırılmış Nesil (RAG) ve en son teknolojiye sahip LLM'lerle Llama 2.

Vitray Dönüşümüne genel bakış

Kuruluşlar, hassas kurumsal verilerinin tam sahipliğini ve kontrolünü elinde tutmaya çalışır. Bu, sorumlu yapay zekanın bir direğidir ve LLM sağlayıcılarının temel güvenlik ve yasal garantilerinin ötesinde ortaya çıkan bir veri koruma ve gizlilik gereksinimidir.

Kurumsal iş birimleri, yüksek lisans eğitimlerini çeşitli görevler için kullanmak istese de, ticari sırların, fikri mülkiyetin ve diğer özel bilgilerin bu modellere gönderilen veriler yoluyla sızmasından da endişe duymaktadırlar. Aynı zamanda kurumsal güvenlik, uyumluluk, veri yönetimi ve bilgi ofisleri, düz metin müşteri bilgilerinin veya düzenlemeye tabi diğer verilerin kurum dışına ifşa edilmesinden veya sızdırılmasından endişe duymaktadır. AWS ve Protopia AI, kurumsal müşterilerin bu ortak ihtiyacını çözen kritik bileşeni sunmak için iş ortaklığı yapıyor.

Protopia AI'nin Vitray Dönüşümü (SGT), aşağıdaki şekilde gösterildiği gibi, korumasız kurumsal verileri RmoRed verileri olarak adlandırılan rastgele bir yeniden temsile dönüştürerek bu zorlukları çözmektedir. Bu temsil, orijinal verilerin stokastik bir şekilde yerleştirilmesidir ve hedef LLM'nin hassas istemleri veya sorguları, bağlamı veya ince ayar verilerini açığa çıkarmadan çalışması için ihtiyaç duyduğu bilgileri korur. Bu yeniden temsil, geri dönüşü olmayan tek yönlü bir dönüşüm olup kurumsal verilerin bütünsel gizliliğini sağlar ve düz metne duyarlı bilgilerin LLM'lere sızmasına karşı koruma sağlar. SGT'nin uygulanabilirliği dil modelleriyle sınırlı değildir. Görsel ve yapılandırılmış veriler için rastgele yeniden temsiller de oluşturulabilir. Vitray Dönüşümü adı, burada gösterildiği gibi, verileri vitray aracılığıyla görüntülemeye benzeyebilen görsel verilerin rastgele yeniden temsillerinin görsel görünümünden kaynaklanmaktadır. ABD Donanması kullanım örneği.

SGT, Llama 2 gibi son teknolojiye sahip LLM'lerle çalışır. Aşağıdaki şekil, talimat ve bağlama bir koruma katmanı eklerken talimat takibi için SGT'nin bir Llama 2 modeline uygulanmasının bir örneğini göstermektedir. Şeklin sol tarafı, modelden belgeyi özetlemesini isteyen talimatla birlikte bağlam olarak bir mali belge örneğini göstermektedir. Sol altta, ham komut isteminde çalışırken Llama 2 tarafından oluşturulan yanıt gösteriliyor. SGT kullanıldığında, bu istemle ilişkili yerleştirmeler, bu yazının ilerleyen kısımlarında daha ayrıntılı olarak açıklanacağı gibi, müşteri tarafında stokastik yerleştirmelere dönüştürülür. Sağ altta, korumasız yerleştirmeler yerine RmoRed verileri (dönüşüm sonrası yerleştirmeler) gönderilirse Llama 2'nin yine de doğru yanıt oluşturabildiğini gösterir. Sağ üstte, RmoRed verileri sızdırılırsa orijinal istemin yeniden yapılandırılmasının anlaşılmaz metinle sonuçlanacağını gösteriyor.

Llama 2 gibi belirli bir model için SGT oluşturmak amacıyla Protopia AI, PyTorch'un bir uzantısı olan Stained Glass SDK adı verilen hafif bir kitaplık sağlar. Aşağıdaki şekilde gösterildiği gibi, bir SGT oluşturulduktan sonra dağıtım ardışık düzenlerine birçok yolla entegre edilebilir. SDK'dan oluşturulan dönüşüm yerel olarak, hibrit bir kurulumda veya tamamen bulutta dağıtılabilir. Bu mümkündür çünkü SGT çok az bilgi işlem kaynağı gerektiren hafif bir süreç olarak tasarlanmıştır ve bu nedenle çıkarım kritik yolu üzerinde minimum etkiye sahiptir. Bir diğer önemli değerlendirme, yeniden temsil edilen veriler kullanılarak model doğruluğunun korunmasıdır. Farklı veri türleri ve model varyasyonları arasında, yeniden temsil edilen veriler kullanıldığında doğruluğun arzu edilen tolerans sınırları dahilinde tutulduğunu gözlemliyoruz.

Bu dağıtım ve doğruluğun korunması seçenekleri, SGT'nin bir kurumsal organizasyon içindeki tüm paydaşlar tarafından güvenle benimsenmesine olanak tanır. LLM'nin çıktısını daha da korumak için Protopia AI, sorgu çıktılarını, kod çözücüsü yalnızca kurumsal veri sahibinin kullanabileceği bir temsile kodlayabilir.

Çözüme genel bakış

Önceki bölümde Vitray Dönüşümünü çeşitli mimarilerde nasıl kullanabileceğinizi anlattık. Aşağıdaki şekil, LLM'ler için SGT'nin oluşturulması, dağıtılması ve kullanılmasıyla ilgili adımların ayrıntılarını vermektedir:

• SGT oluşturma – Temel LLM temel modelini eğiten ekip (tescilli LLM sağlayıcıları, bulut hizmet sağlayıcısı veya kendi LLM'lerini oluşturan kurumsal ML ekipleri), LLM'nin eğitimi ve dağıtımına yönelik mevcut uygulamalarını değiştirmeden Protopia AI'nin Stained Glass SDK yazılımını çalıştırır. Temel model eğitimi tamamlandıktan sonra SDK, SGT'yi hesaplamak için dil modeli üzerinden bir optimizasyon geçişi olarak çalışır. Bu optimizasyon geçişi PyTorch'un bir uzantısı aracılığıyla sunulur. SDK, temel modelini tamamlar ve bu LLM için benzersiz bir Vitray Dönüşümünü matematiksel olarak keşfeder. Temel matematikle ilgili daha fazla ayrıntıyı şurada bulabilirsiniz: beraberindeki teknik inceleme. LLM'yi eğiten ekip aynı zamanda Stained Glass SDK'yı da çalıştırdığından, bu adımın tamamlanması için gerekli olan model ağırlıklarının gösterilmesi veya gönderilmesinin olmadığını unutmayın.
• SGT sürümü ve dağıtımı – Önceki optimizasyon adımından çıkan SGT, eğitimli LLM'yi besleyen veri hattının bir parçası olarak dağıtılır. Önceki bölümde açıklandığı gibi SGT, kurumsal istemci tarafında bulunur.
• SGT kullanımı – SGT, kuruluş tarafından oluşturulan bilgi istemleri üzerinde çalışır ve konuşlandırılan LLM'ye gönderilen korumalı istemler oluşturur. Bu, kuruluşun hassas sorgularının ve bağlamının sahipliğini korumasına olanak tanır. Protopia AI Stained Glass kullanıldığında korunmasız hassas veriler işletmenin sitesinden veya güven bölgesinden ayrılmaz.

SGT oluşturmak için Stained Glass SDK'yı birden çok yolla kullanabilirsiniz. Örneğin, Stained Glass SDK'yı kendi kendini yöneten makine öğrenimi (ML) ortamlarında kullanabilirsiniz. Amazon Elastik Kubernetes Hizmeti (Amazon EKS) eğitim ve çıkarım yapmak için veya Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) doğrudan. Başka bir seçenek de içinde çalışabilmesidir Amazon Adaçayı Yapıcı Belirli bir eğitimli model için bir SGT oluşturmak. İstemciden çıkarım sırasında girişin dağıtım için dönüştürülmesi, seçilen dağıtım uygulamasından bağımsızdır.

Aşağıdaki şekil, Amazon EKS'de Vitray Dönüşümü eğitiminin gerçekleştirildiği, kendi kendine yönetilen bir makine öğrenimi ortamındaki olası bir uygulamayı göstermektedir.

Bu iş akışında Stained Glass SDK kullanılarak bir kapsayıcı oluşturulur ve şuraya dağıtılır: Amazon Elastik Konteyner Kayıt Defteri (Amazon ECR). Bu konteyner daha sonra şuraya kaydedilen bir SGT'yi eğitmek için Amazon EKS'ye dağıtılır: Amazon Basit Depolama Hizmeti (Amazon S3). Amazon EC2 kullanıyorsanız makine öğrenimi kurulumunuzun bir parçası olarak doğrudan bulut sunucunuz üzerinde bir dönüşümü eğitebilirsiniz. Stained Glass SDK, temel Yüksek Lisans gereksinimlerinize bağlı olarak Amazon P5, P4 veya G5 bulut sunucusu aileleri de dahil olmak üzere çeşitli bulut sunucusu türlerinde çalışabilir. LLM çıkarım için kullanılmak üzere konuşlandırıldıktan sonra, istemci uygulaması, LLM'ye göndermeden önce istemleri ve bağlamı dönüştürmek için hafif bir işlem olan oluşturulan SGT'yi kullanır. Bunu yaparak, yalnızca dönüştürülmüş veriler LLM'ye sunulur ve orijinal girdinin sahipliği müşteri tarafında tutulur.

Aşağıdaki şekilde SageMaker'da bir dönüşümü nasıl eğitebileceğiniz ve çıkarımı nasıl çalıştırabileceğiniz gösterilmektedir.

SGT'nin oluşturulması, Amazon S3'ten eğitim verilerinin alınması, bir SGT'nin bir konteyner üzerinde eğitilmesi ve Amazon S3'e kaydedilmesi yoluyla Amazon EKS kurulumuyla benzer bir yol izler. Stained Glass SDK'yı mevcut SageMaker kurulumunuzda kullanabilirsiniz. Amazon SageMaker Stüdyosu, SageMaker not defterleriVe SageMaker eğitim işi. LLM, istemci uygulaması tarafından erişilebilen bir SageMaker uç noktası olarak barındırılır. İstemci uygulamasına yönelik çıkarımlar, modele hizmet verenler dışında Amazon EKS kurulumuyla da aynıdır.

LLM istemlerini ve ince ayar verilerini korumak için rastgele yeniden temsiller

Bu bölüm, rastgele yeniden temsilin LLM istemlerini nasıl koruduğunu gösteren çeşitli kullanım örneklerini kapsar. Örnekler, kurumsal üretken yapay zeka çabaları için önemli sonuçları göstermektedir: yapay zeka kullanım senaryolarına yeni kapılar açmak, kurumsal verileri uygun şekilde korurken pazara çıkış hızını artırmak ve LLM istemlerinde kullanım için gereken hassas verilerin sahipliğini korumak.

RAG kullanım örneği

Yüksek Lisans'lar için popüler bir kurumsal kullanım örneği, Alma Artırılmış Üretimdir (RAG). Aşağıdaki şekil, istemlerin ve kaynakların Vitray kullanılarak korunduğu açıklayıcı bir örneği göstermektedir. Şeklin sol tarafı korumasız istemleri ve kaynak bilgilerini gösterir. RAG'ın kurumsal uygulamasında kaynaklar, kurumsal ticari sırlar, fikri mülkiyet veya mali bilgiler gibi hassas bilgileri içerebilir. Sağ taraf, SGT tarafından oluşturulan RmoRed istemlerinden insan tarafından okunabilen metinde mümkün olan en iyi yeniden yapılandırmayı gösterir.

Mümkün olan en iyi yeniden yapılandırmada bile bilginin tamamen gizlendiğini gözlemleyebiliriz. Bununla birlikte, dönüşüm içeren ve içermeyen modelden gelen yanıt, orijinal kaynak belgelere yönelik işaretçilerle aynıdır, böylece bu popüler kurumsal kullanım senaryosunu gerçekleştirirken hem soru hem de kaynak belgelerin doğruluğu korunur.

Yüksek Lisans ve dillerde geniş uygulanabilirlik

Stained Glass SDK'nın öne çıkan özelliklerinden biri, model ilerlemelerine karşı son derece dayanıklı olması ve aşağıdakiler gibi en son teknolojiye sahip modellere uyarlanabilmesidir: Llama 2. Aşağıdaki şekil, daha önce Japonca metinlerle çalışmak üzere ince ayarı yapılmış bir Llama 2 LLM'de oluşturulan bir SGT'yi göstermektedir. Bu örnek ayrıca SGT'lerin herhangi bir dil için oluşturulabileceğini ve uygulanabileceğini ve hatta ince ayarlı modellere yönelik girdilerin bile dönüştürülebileceğini göstermektedir. SGT'nin genel uygulanabilirliği, Vitray SDK'nın model ve veriden bağımsız sağlam temeline dayanmaktadır.

İnce ayar verilerinin yanı sıra istemleri de koruma

Vitray Dönüşümü yalnızca verilerin çıkarım anında korunmasıyla sınırlı değildir; aynı zamanda bir temel modeline ince ayar yapmak için kullanılan verileri de koruyabilir. Veri kümelerine ince ayar yapmak için dönüşüm oluşturma süreci, bu yazının başlarındaki çözüm mimarisi bölümünde açıklananla aynıdır. Dönüşüm, temel modelin ince ayar verilerine erişmeden ince ayar yapılması için oluşturulur. SGT oluşturulduktan ve temel model için eğitildikten sonra, ince ayar veri seti, daha sonra temel modele ince ayar yapmak için kullanılacak olan rastgele yeniden temsillere dönüştürülür. Bu süreç daha detaylı bir şekilde anlatılmıştır. beraberindeki teknik inceleme.

Aşağıdaki örnekte, kurumsal bir müşterinin ağ günlüğünde anormallik tespiti için mevcut bir modelde ince ayar yapması gerekiyordu. Hassas ince ayar veri kümesini, temel modellerine ince ayar yapmak için kullanılan rastgele yerleştirmelere dönüştürmek için Vitray'ı kullandılar. Dönüştürülen temsiller üzerinde ince ayar yapılan tespit modelinin, korumasız ince ayar veri kümesindeki temel modele ince ayar yapılmasına ilişkin varsayımsal senaryo ile karşılaştırıldığında neredeyse aynı doğrulukla gerçekleştirildiğini bulmuşlardır. Aşağıdaki tablo, ince ayar veri kümesinden düz metin veri kayıtlarının iki örneğini ve ince ayar veri kümesinden aynı veri kayıtlarının metne yeniden yapılandırılmasını gösterir.

LLM'ler için Vitray Dönüşümü başlığı altında

SGT, bilgisayarlı görmeye uygulandığında giriş pikseli özellikleri üzerinde çalışır ve LLM'ler için gömme düzeyinde çalışır. Vitray Dönüşümünün nasıl çalıştığını vurgulamak için, aşağıdaki şeklin solunda gösterildiği gibi istem yerleştirmelerini bir matris olarak hayal edin. Her girişte deterministik bir değer vardır. Bu değer, korumasız istemi açığa çıkararak orijinal verilerle eşleştirilebilir. Vitray Dönüşümü, bu deterministik değerler matrisini, öğeleri bir olasılıklar bulutu olan bir matrise dönüştürür.

Dönüştürülen istem, SGT tarafından tanımlanan olasılık dağılımlarından gürültünün örneklenmesi ve örneklenen gürültünün, orijinal istem değerlerini geri döndürülemez şekilde rastgele hale getiren deterministik yerleştirmelere eklenmesiyle oluşturulur. Model, rastgele yeniden temsil edilen istemi matematiksel düzeyde hala anlıyor ve görevini doğru bir şekilde yerine getirebiliyor.

Sonuç

Bu gönderide, Protopia AI'nin Vitray Dönüşümünün ham veri sahipliğini ve korumayı makine öğrenimi operasyon sürecinden nasıl ayırdığı, kuruluşların LLM istemlerindeki ve verilerde ince ayar yapan hassas bilgilerin sahipliğini korumasına ve gizliliğini korumasına nasıl olanak sağladığı tartışıldı. İşletmeler, LLM kullanımı için bu son teknoloji ürünü veri korumayı kullanarak, hassas bilgilerin açığa çıkması konusunda daha az endişe duyarak temel modellerin ve LLM'lerin benimsenmesini hızlandırabilir. Kuruluşlar, gerçek kurumsal verilerdeki değeri güvenli bir şekilde ortaya çıkararak, LLM'lerin vaat edilen verimliliklerini ve iş sonuçlarını daha verimli ve hızlı bir şekilde sağlayabilirler. Bu teknoloji hakkında daha fazla bilgi edinmek için şu adreste daha fazla bilgi bulabilirsiniz: beraberindeki teknik inceleme ve Protopia AI'ya bağlanın Erişim elde etmek ve bunu kurumsal verilerinizde denemek için.

Protopia AI Hakkında

Protopia AI, Austin, Texas merkezli veri koruma ve gizliliği koruyan AI/ML teknolojilerinde liderdir ve AI algoritmalarının ve yazılım platformlarının düz metin bilgilerine erişmeye gerek kalmadan çalışmasını sağlama konusunda uzmanlaşmıştır. Son 2 yılda Protopia AI, amiral gemisi Vitray Dönüşümü ürününü çeşitli makine öğrenimi kullanım durumları ve veri türlerinde ABD Donanması, önde gelen finansal hizmetler ve küresel teknoloji sağlayıcılarıyla başarıyla sergiledi.

Protopia AI, AI/ML çözümlerini kullanırken kurumsal verilerin mülkiyetinin ve gizliliğinin korunmasını sağlamak için işletmelerle, üretken AI ve LLM sağlayıcılarıyla ve Bulut Hizmet Sağlayıcılarıyla (CSP'ler) birlikte çalışır. Protopia AI, üretken yapay zekanın kurumsal olarak benimsenmesine yönelik kritik bir veri koruma ve sahiplik bileşeni sunmak üzere AWS ile ortaklık kurdu ve açılış için seçilen 21 startup'tan biri oldu. 2023'te AWS Üretken Yapay Zeka Hızlandırıcı.

yazarlar hakkında

Balaji Chandrasekaran Protopia AI'da Pazara Çıkış ve Müşteri Etkinleştirmeden Sorumlu Başkan Yardımcısıdır ve veri koruma ve gizliliğe öncelik verirken işlerinde yapay zekadan yararlanmak için müşterilerle yakın işbirliği içinde çalışır. Protopia AI'den önce Balaji, Infor'da Yapay Zeka Çözümleri Ürün Lideri olarak görev yaptı ve çeşitli sektörlerdeki kurumsal müşteriler için güvenilir bir ortak olarak hareket ederken değer odaklı ürünler geliştirdi. İş dışında müzikten, yürüyüş yapmaktan ve ailesiyle seyahat etmekten hoşlanıyor.

Jennifer Cwagenberg Protopia AI'daki mühendislik ekibine liderlik ediyor ve Vitray teknolojisinin müşterilerinin verilerini koruma ihtiyaçlarını karşılamasını sağlamak için çalışıyor. Jennifer'ın Toyota'da Ürün Siber Güvenlik Grubunda çalışarak güvenlik konusunda önceden deneyimi var, N-able'da Bulut iş yüklerini yönetiyor ve Match.com'da verilerden sorumlu.

Andrew Sansom Protopia AI'da Yapay Zeka Çözüm Mühendisi olup, işletmelerin verilerindeki özel ve hassas bilgileri korurken yapay zekayı kullanmalarına yardımcı olur. Protopia AI'dan önce, Finans, Üretim, Sağlık ve Eğitim de dahil olmak üzere pek çok sektördeki müşteriler için yapay zeka çözümleri sağlamaya odaklanan bir Teknik Danışman olarak çalıştı. Ayrıca Lise, Üniversite ve Profesyonel öğrencilere Bilgisayar Bilimi ve Matematik dersleri verdi.

Eiman Ebrahimi, PhD, Protopia AI'nın kurucu ortağı ve İcra Kurulu Başkanıdır. Dr. Ebrahimi, yapay zekanın farklı toplumsal ve endüstriyel sektörlerde insan deneyimini zenginleştirmesini sağlama konusunda tutkulu. Protopia AI, hassas bilgilerin korunmasına yönelik yeni yetenekler yaratırken yapay zekanın ihtiyaç duyduğu gerekli ve kaliteli verileri gözlemlediği merceği geliştirmeye yönelik bir vizyondur. Protopia AI'den önce 9 yıl boyunca NVIDIA'da Kıdemli Araştırma Bilimcisi olarak görev yaptı. NVIDIA araştırmasındaki çalışması, ML/AI'deki devasa veri kümelerine erişim sorunlarını çözmeyi amaçlıyordu. Ayrıca, büyük dil modellerinin eğitimini mümkün kılmak için binlerce GPU'nun gücünden nasıl yararlanılacağına dair hakemli yayınların ortak yazarıdır.

Rohit Talluri Amazon Web Services'te (AWS) Üretken Yapay Zeka GTM Uzmanıdır. AWS'de yeni nesil yapay zeka, makine öğrenimi ve hızlandırılmış bilgi işlemi mümkün kılmak için en iyi üretken AI model oluşturucuları, stratejik müşteriler, önemli AI/ML iş ortakları ve AWS Hizmet Ekipleri ile ortaklık yapıyor. Daha önce Kurumsal Çözümler Mimarı olarak görev yapmış ve AWS Birleşme ve Satın Alma Danışmanlığı alanında Küresel Çözüm Lideri olarak görev yapmıştır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/foundational-data-protection-for-enterprise-llm-acceleration-with-protopia-ai/