Amazon Ana Kayası Anthropic, AI21, Meta, Cohere ve Stability AI dahil olmak üzere Amazon'dan ve üçüncü taraf sağlayıcılardan geniş bir model yelpazesi sunar ve metin ve görüntü oluşturma, yerleştirme, sohbet, üst düzey aracılar dahil olmak üzere çok çeşitli kullanım örneklerini kapsar muhakeme ve orkestrasyonla ve daha fazlasıyla. Amazon Bedrock için Bilgi Tabanları Hem AWS hem de üçüncü taraf modellerini kullanarak AWS ve üçüncü taraf vektör depoları üzerinde performanslı ve özelleştirilmiş Alma Artırılmış Nesil (RAG) uygulamaları oluşturmanıza olanak tanır. Amazon Bedrock için Bilgi Tabanları, güncellendiğinde verileri dağıtma, belge yükleme ve parçalamanın yanı sıra anlamsal yerleştirme de dahil olmak üzere verilerinizin vektör deponuzla senkronizasyonunu otomatikleştirir. RAG istemlerinizi ve alma stratejilerinizi sorunsuz bir şekilde özelleştirmenize olanak tanır; kaynak ilişkilendirmesini biz sağlarız ve bellek yönetimini otomatik olarak gerçekleştiririz. Bilgi Tabanları tamamen sunucusuz olduğundan herhangi bir altyapıyı yönetmenize gerek yoktur ve Bilgi Tabanlarını kullanırken yalnızca kullandığınız modeller, vektör veritabanları ve depolama için ücretlendirilirsiniz.
RAG, özel verilerin kullanımını büyük dil modelleriyle (LLM'ler) birleştiren popüler bir tekniktir. RAG, kullanıcının sorgusuna dayalı olarak bir veri deposundan (çoğunlukla bir vektör dizini) ilgili belgeleri almaya yönelik bir ilk adımla başlar. Daha sonra hem alınan belgeleri hem de orijinal sorguyu dikkate alarak bir yanıt oluşturmak için bir dil modeli kullanır.
Bu yazıda, ilaç keşfi kullanım senaryosu için Amazon Bedrock için Bilgi Tabanlarını kullanarak bir RAG iş akışının nasıl oluşturulacağını gösteriyoruz.
Amazon Bedrock için Bilgi Tabanlarına Genel Bakış
Amazon Bedrock için Bilgi Tabanları; .txt, .docx, .pdf, .csv ve daha fazlasını içeren çok çeşitli ortak dosya türlerini destekler. Özel verilerden etkili bir şekilde erişim sağlamak için yaygın bir uygulama, öncelikle bu belgeleri yönetilebilir parçalara bölmektir. Bilgi Tabanları, daha hızlı başlamanıza olanak sağlamak için çoğu durumda işe yarayan varsayılan bir parçalama stratejisi uygulamıştır. Daha fazla kontrol istiyorsanız, Bilgi Tabanları önceden yapılandırılmış bir dizi seçenek aracılığıyla parçalama stratejisini kontrol etmenize olanak tanır. Yerleştirmeye tutarlı bir bağlam sağlamak için maksimum belirteç boyutunu ve parçalar arasında oluşturulacak örtüşme miktarını kontrol edebilirsiniz. Amazon Bedrock için Bilgi Tabanları, verileri cihazınızdan senkronize etme sürecini yönetir. Amazon Basit Depolama Hizmeti (Amazon S3) kovasını kullanır, onu daha küçük parçalara böler, vektör yerleştirmeleri oluşturur ve yerleştirmeleri bir vektör dizininde saklar. Bu süreç akıllı fark, verim ve arıza yönetimiyle birlikte gelir.
Çalışma zamanında kullanıcının sorgusunu bir vektöre dönüştürmek için bir yerleştirme modeli kullanılır. Daha sonra vektör dizini, belge vektörlerini kullanıcı sorgu vektörüyle karşılaştırarak kullanıcının sorgusuna benzer belgeleri bulmak için sorgulanır. Son adımda, vektör indeksinden alınan anlamsal olarak benzer belgeler, orijinal kullanıcı sorgusunun bağlamı olarak eklenir. Kullanıcı için bir yanıt oluşturulurken, anlamsal olarak benzer belgeler, izlenebilirlik için kaynak ilişkilendirmeyle birlikte metin modelinde istenir.
Amazon Bedrock için Bilgi Tabanları birden fazla vektör veritabanını destekler: Amazon OpenSearch Sunucusuz, Amazon Aurora'sı, Çam Kozalağı ve Redis Kurumsal Bulut. Retrieve ve RetrieveAndGenerate API'leri, uygulamalarınızın, her farklı vektör veritabanı için ayrı API'ler öğrenmek zorunda kalmadan, birleşik ve standart bir sözdizimi kullanarak dizini doğrudan sorgulamasına olanak tanır ve vektör deponuza karşı özel dizin sorguları yazma ihtiyacını azaltır. Retrieve API, gelen sorguyu alır, bunu bir yerleştirme vektörüne dönüştürür ve vektör veritabanı düzeyinde yapılandırılan algoritmaları kullanarak arka uç deposunu sorgular; RetrieveAndGenerate API, Amazon Bedrock tarafından sağlanan, kullanıcı tarafından yapılandırılan bir LLM'yi kullanır ve nihai yanıtı doğal dilde oluşturur. Yerel izlenebilirlik desteği, talepte bulunan uygulamaya bir soruyu yanıtlamak için kullanılan kaynaklar hakkında bilgi verir. Kurumsal uygulamalar için Bilgi Tabanları şunları destekler: AWS Anahtar Yönetim Hizmeti (AWS KMS) şifreleme, AWS CloudTrail entegrasyon ve daha fazlası.
Aşağıdaki bölümlerde, ilaç keşfi kullanım senaryosu için yapılandırılmamış bir klinik deneme veri kümesini analiz etmek amacıyla OpenSearch Serverless vektör motoru tarafından desteklenen Amazon Bedrock Bilgi Tabanlarını kullanarak bir RAG iş akışının nasıl oluşturulacağını gösteriyoruz. Bu veriler bilgi açısından zengindir ancak büyük ölçüde heterojen olabilir. Farklı formatlardaki özel terminoloji ve kavramların doğru şekilde kullanılması, içgörüleri tespit etmek ve analitik bütünlüğü sağlamak için çok önemlidir. Amazon Bedrock için Bilgi Tabanları ile basit, doğal sorgularla ayrıntılı bilgilere erişebilirsiniz.
Amazon Bedrock için bir bilgi tabanı oluşturun
Bu bölümde Amazon Bedrock için konsol aracılığıyla bilgi tabanı oluşturma sürecini gösteriyoruz. Aşağıdaki adımları tamamlayın:
- Amazon Bedrock konsolunda, orkestrasyon gezinme bölmesinde öğesini seçin. Bilgi tabanı.
- Klinik Bilgi tabanı oluştur.
- içinde Bilgi tabanı ayrıntıları bölümüne bir ad ve isteğe bağlı bir açıklama girin.
- içinde IAM izinleri bölümünde, seçin Yeni bir hizmet rolü oluşturma ve kullanma.
- İçin Hizmet adı rolü, rolünüz için şununla başlaması gereken bir ad girin:
AmazonBedrockExecutionRoleForKnowledgeBase_
. - Klinik Sonraki.
- içinde Veri kaynağı bölümüne veri kaynağınız için bir ad ve veri kümesinin bulunduğu S3 URI'yi girin. Bilgi Tabanları aşağıdaki dosya formatlarını destekler:
- Düz metin (.txt)
- İşaretleme (.md)
- Köprü Metni İşaretleme Dili (.html)
- Microsoft Word belgesi (.doc/.docx)
- Virgülle ayrılmış değerler (.csv)
- Microsoft Excel elektronik tablosu (.xls/.xlsx)
- Taşınabilir Belge Formatı (.pdf)
- Altında Ek ayarlar¸ tercih ettiğiniz parçalama stratejisini seçin (bu yazı için, Sabit boyutta parçalama) ve yığın boyutunu ve kaplamayı yüzde olarak belirtin. Alternatif olarak varsayılan ayarları kullanabilirsiniz.
- Klinik Sonraki.
- içinde Gömme modeli bölümünde Amazon Bedrock'tan Titan Gömmeler modelini seçin.
- içinde Vektör veritabanı bölümünde, seçin Hızlı bir şekilde yeni bir vektör mağazası oluşturunBir vektör mağazası kurma sürecini yöneten.
- Klinik Sonraki.
- Ayarları inceleyin ve seçin Bilgi tabanı oluştur.
- Bilgi tabanı oluşturma işleminin tamamlanmasını bekleyin ve durumunun şu şekilde olduğunu onaylayın: Hazır.
- içinde Veri kaynağı bölümünde veya sayfanın üst kısmındaki başlıkta veya test penceresindeki açılır pencerede Senkronizasyon S3 klasöründen veri yükleme sürecini tetiklemek, verileri belirttiğiniz boyuttaki parçalara bölmek, seçilen metin yerleştirme modelini kullanarak vektör yerleştirmeler oluşturmak ve bunları Amazon Bedrock için Bilgi Tabanları tarafından yönetilen vektör deposunda depolamak için.
Senkronizasyon işlevi, Amazon S3'teki belgelerde yapılan değişikliklere bağlı olarak belgelerin vektör dizininden alınmasını, güncellenmesini ve silinmesini destekler. Ayrıca şunları da kullanabilirsiniz: StartIngestionJob
AWS SDK aracılığıyla senkronizasyonu tetikleyen API.
Senkronizasyon tamamlandığında Senkronizasyon geçmişi durumu gösterir Tamamlandı.
Bilgi tabanını sorgulayın
Bu bölümde bilgi tabanındaki ayrıntılı bilgilere basit ve doğal sorgularla nasıl erişileceğini gösteriyoruz. İstatistiksel analiz yöntemleri ve katılımcı onam formları dahil olmak üzere önerilen yeni bir ilacın klinik deneme planını simüle eden, her birinin sayfa numarası 10-100 sayfa arasında değişen PDF dosyalarından oluşan yapılandırılmamış bir sentetik veri seti kullanıyoruz. Amazon Bedrock için Bilgi Tabanlarını kullanıyoruz retrieve_and_generate
ve retrieve
API'ler Amazon Bedrock LangChain entegrasyonu.
Amazon Bedrock API'sini kullanan komut dosyaları yazabilmeniz için önce ortamınıza AWS SDK'nın uygun sürümünü yüklemeniz gerekir. Python betikleri için bu, Python için AWS SDK (Boto3):
Ayrıca Amazon Titan Embeddings modeline ve Anthropic Claude v2 veya v1'e erişimi etkinleştirin. Daha fazla bilgi için bkz. Model erişimi.
Amazon Bedrock'u kullanarak sorular oluşturun
Klinik deney veri kümesinde sorulacak soruların bir listesini önermek için Amazon Bedrock için Anthropic Claude 2.1'i kullanabiliriz:
Amazon Bedrock RetrieveAndGenerate API'sini kullanın
Tam olarak yönetilen bir RAG deneyimi için Amazon Bedrock'a yönelik yerel Bilgi Tabanlarını kullanabilirsiniz. RetrieveAndGenerate
Yanıtları doğrudan almak için API:
Alıntı yapılan bilgi kaynağı aşağıdaki kod aracılığıyla elde edilebilir (çıktının bir kısmı kısa olması için çıkarılmıştır):
Oturum kimliğini ileterek RetrieveAndGenerate
API ile konuşma içeriğini koruyabilir ve takip soruları sorabilirsiniz. Örneğin, bağlam olmadan önceki yanıttan daha fazla ayrıntı isterseniz doğru yanıt veremeyebilir:
Ancak RAG kanalı, oturum kimliğini ileterek ilgili bağlamı tanımlayabilir ve ilgili yanıtları döndürebilir:
Aşağıdaki tabloda ilgili tüm soruların alınan yanıtları gösterilmektedir.
Soru | Cevap |
Çalışmanın amacı nedir? Araştırmanın hedeflerini ve çalışma prosedürlerinin neler gerektireceğini anladığınızdan emin olun. | Çalışmanın amacı, depresyon veya bipolar bozukluğu olan hastalarda lityumun tekrarlayan intihara yönelik kendine yönelik şiddeti önlemede etkili olup olmadığını test etmektir. |
Riskler ve potansiyel faydalar nelerdir? Form, katılım nedeniyle karşılaşabileceğiniz tüm öngörülebilir riskleri, yan etkileri veya rahatsızlıkları açıklamalıdır. | Olası riskler veya rahatsızlıklar şunları içerir: Rahatsızlığa neden olan görüşme soruları, mide bulantısı, gevşek dışkı, susuzluk, idrara çıkma değişiklikleri, titreme, baş ağrısı, terleme, yorgunluk, konsantrasyon azalması, deri döküntüsü, tiroid değişiklikleri, kötüleşen sivilce gibi lityum ilacının yan etkileri /sedef hastalığı, lityum toksisitesi ve ilacın aniden kesilmesi durumunda riskler. Potansiyel faydalar, testlerin katılımcıya yardımcı olacak yeni bilgilere yol açabilmesi ve lityumun, depresyon veya bipolar bozukluğu olan kişiler için tekrarlanan intihara yönelik kendi kendine yönelik şiddeti önlemeye yardımcı olabilmesidir. |
Katılım neleri içerecek? Hangi testleri, ilaçları, yaşam tarzı değişikliklerini veya prosedürleri uygulayacağınız, ne kadar süreceği ve çalışmanın ne kadar süreceği hakkında ayrıntılı bilgi edinin. | Katılım, düşünceyi, davranışları, ruh sağlığı tedavisini, ilaçları, alkol ve uyuşturucu kullanımını, ev ve sosyal destekleri ve araştırma çalışmasının anlaşılmasını kapsayan bir röportajın ve anketlerin tamamlanmasını içerecektir. Bu yaklaşık iki saat sürer ve birden fazla oturumda, şahsen veya telefonla yapılabilir. Çalışmanın tamamına katılmaya uygun olunması durumunda, bir yıl boyunca yaklaşık 20 çalışma ziyareti gerçekleştirilecektir. Bu, çalışma ilacının alınmasını, yaşamsal belirtilerin kontrol edilmesini, anketlerin doldurulmasını, yan etkilerin gözden geçirilmesini ve normal tıbbi ve zihinsel sağlık bakımının sürdürülmesini içerecektir. |
Herhangi bir masraf veya ödeme var mı? Çalışmayla ilgili herhangi bir masraftan sorumlu olup olmayacağınızı veya katılım için ödeme alıp almayacağınızı sorun. | Evet, arama sonuçlarında tartışılan maliyetler ve ödemeler var. Araştırmanın parçası olan herhangi bir tedavi veya prosedür için sizden herhangi bir ücret alınmayacaktır. Ancak yine de çalışmayla ilgili olmayan bakım ve ilaçlar için olağan VA katkı paylarını ödemeniz gerekecektir. Katılım için size herhangi bir ödeme yapılmayacaktır ancak çalışma, ulaşım, otopark vb. katılımla ilgili masrafları karşılayacaktır. Geri ödeme tutarları ve süreci belirtilmiştir. |
Gizliliğim nasıl korunacak? Formda kişisel sağlık bilgilerinizin araştırma öncesinde, sırasında ve sonrasında nasıl gizli tutulacağı açıklanmalıdır. | Gizliliğiniz, görüşmelerin özel olarak yapılması, yazılı notların kilitli dosya ve ofislerde tutulması, elektronik bilgilerin şifreli ve şifre korumalı dosyalarda saklanması ve sizi tanımlayan bilgilerin ifşa edilmesini önlemek için Sağlık ve İnsani Hizmetler Bakanlığından Gizlilik Sertifikası alınması yoluyla korunacaktır. . Sizi tanımlayan bilgiler, bakımınızdan sorumlu doktorlarla veya devlet kurumlarının denetim ve değerlendirmelerinden sorumlu doktorlarla paylaşılabilir, ancak çalışmayla ilgili konuşmalar ve belgeler kimliğinizi belirlemez. |
Amazon Bedrock Retrieve API'sini kullanarak sorgulama
RAG iş akışınızı özelleştirmek için Retrieve API'yi kullanarak sorgunuza göre ilgili parçaları getirebilir ve bunu Amazon Bedrock tarafından sağlanan herhangi bir LLM'ye iletebilirsiniz. Alma API'sini kullanmak için aşağıdaki gibi tanımlayın:
İlgili bağlamı alın (çıktının bir kısmı kısa olması için düzeltilmiş olarak):
Bilgi istemi şablonunun içeriğini çıkarın:
Python modüllerini içe aktarın ve bağlam içi soru yanıtlama istemi şablonunu ayarlayın, ardından son yanıtı oluşturun:
Amazon Bedrock LangChain entegrasyonunu kullanarak sorgulama
Uçtan uca özelleştirilmiş bir Soru-Cevap uygulaması oluşturmak için Knowledge Bases for Amazon Bedrock, LangChain ile entegrasyon sağlar. LangChain alıcısını kurmak için bilgi tabanı kimliğini sağlayın ve sorgudan döndürülecek sonuç sayısını belirtin:
Şimdi LangChain RetrievalQA'yı kurun ve bilgi tabanından yanıtlar oluşturun:
Bu, önceki tabloda listelenenlere benzer yanıtlar üretecektir.
Temizlemek
Ek masraflardan kaçınmak için aşağıdaki kaynakları sildiğinizden emin olun:
Sonuç
Amazon Bedrock, her ölçekteki RAG uygulamalarına güç sağlamak için kapsamlı bir şekilde entegre edilmiş hizmetler sunarak şirket verilerinizi analiz etmeye başlamanızı kolaylaştırır. Amazon Bedrock için Bilgi Tabanları, çok çeşitli dahili ve müşteriye dönük uygulamaları desteklemek üzere ölçeklenebilir belge yerleştirme işlem hatları ve belge alma hizmetleri oluşturmak için Amazon Bedrock temel modelleriyle entegre olur. Önümüzdeki gelecek için heyecan duyuyoruz ve geri bildirimleriniz bu ürünün ilerleyişine rehberlik etmede hayati bir rol oynayacak. Amazon Bedrock'un yetenekleri ve bilgi tabanları hakkında daha fazla bilgi edinmek için bkz. Amazon Bedrock için bilgi tabanı.
Yazarlar Hakkında
Mark Roy AWS için Baş Makine Öğrenimi Mimarıdır ve müşterilerin AI/ML çözümleri tasarlamasına ve oluşturmasına yardımcı olur. Mark'ın çalışmaları, birincil ilgi alanı bilgisayar görüşü, derin öğrenme ve kuruluş genelinde makine öğrenimini ölçeklendirme olan çok çeşitli makine öğrenimi kullanım durumlarını kapsar. Sigorta, finansal hizmetler, medya ve eğlence, sağlık hizmetleri, kamu hizmetleri ve imalat dahil olmak üzere birçok sektördeki şirketlere yardımcı olmuştur. Mark, Makine Öğrenimi Uzmanlık Sertifikasyonu da dahil olmak üzere altı AWS Sertifikasyonuna sahiptir. AWS'ye katılmadan önce Mark, 25 yılı finansal hizmetlerde olmak üzere 19 yılı aşkın süredir mimar, geliştirici ve teknoloji lideriydi.
Mani Khanuja Teknoloji Lideri - Üretken Yapay Zeka Uzmanı, AWS'de Uygulamalı Makine Öğrenimi ve Yüksek Performanslı Hesaplama kitabının yazarı ve Üretimde Kadınlar Eğitimi Vakfı Yönetim Kurulu Yönetim Kurulu üyesidir. Bilgisayarla görme, doğal dil işleme ve üretken yapay zeka gibi çeşitli alanlarda makine öğrenimi (ML) projelerine liderlik ediyor. Müşterilerin büyük makine öğrenimi modellerini geniş ölçekte oluşturmasına, eğitmesine ve dağıtmasına yardımcı oluyor. re:Invent, Women in Manufacturing West, YouTube web seminerleri ve GHC 23 gibi iç ve dış konferanslarda konuşuyor. Boş zamanlarında sahilde uzun koşulara çıkmayı seviyor.
Baichuan SunŞu anda AWS'de Kıdemli Yapay Zeka/Makine Öğrenimi Çözüm Mimarı olarak hizmet veren, üretken yapay zekaya odaklanıyor ve pratik, bulut tabanlı iş çözümleri sağlamak için veri bilimi ve makine öğrenimi alanındaki bilgilerini kullanıyor. Yönetim danışmanlığı ve yapay zeka çözüm mimarisi alanındaki deneyimiyle, diğerlerinin yanı sıra robotik bilgisayarlı görme, zaman serisi tahmini ve tahmine dayalı bakım da dahil olmak üzere bir dizi karmaşık zorluğu ele alıyor. Çalışmaları proje yönetimi, yazılım AR-GE'si ve akademik uğraşlardan oluşan sağlam bir altyapıya dayanmaktadır. Dr. Sun, iş dışında seyahat etme ve ailesi ve arkadaşlarıyla vakit geçirme dengesinin tadını çıkarıyor.
Derrick Choo AWS'de müşterilerin bulut yolculuğunu hızlandırmaya ve bulut tabanlı çözümleri benimseyerek işlerini dönüştürmeye odaklanan Kıdemli Çözüm Mimarıdır. Uzmanlığı tam yığın uygulaması ve makine öğrenimi geliştirmedir. Müşterilerin ön uç kullanıcı arayüzlerini, IoT uygulamalarını, API ve veri entegrasyonlarını ve makine öğrenimi modellerini kapsayan uçtan uca çözümler tasarlamasına ve oluşturmasına yardımcı olur. Boş zamanlarında ailesiyle vakit geçirmekten ve fotoğrafçılık ve videografi ile denemeler yapmaktan hoşlanıyor.
Frank Winkler Singapur merkezli AWS'de Makine Öğrenimi ve Üretken Yapay Zeka odaklı Kıdemli Çözüm Mimarı ve Üretken Yapay Zeka Uzmanıdır. AWS'de ölçeklenebilir, güvenli ve uygun maliyetli ürün ve hizmetler tasarlamak için küresel dijital yerel şirketlerle birlikte çalışıyor. Boş zamanlarında oğlu ve kızıyla vakit geçiriyor ve ASEAN'daki dalgaların tadını çıkarmak için seyahat ediyor.
Nihir Çaddervala Küresel Sağlık ve Yaşam Bilimleri ekibinde Kıdemli AI/ML Çözüm Mimarıdır. Uzmanlığı, özellikle biyomedikal, yaşam bilimleri ve sağlık hizmetleri alanlarında müşteri sorunlarına Büyük Veri ve yapay zeka destekli çözümler oluşturmaktır. Aynı zamanda kuantum bilgi bilimi ile yapay zekanın kesişmesinden de heyecan duyuyor ve bu alana öğrenmekten ve katkıda bulunmaktan keyif alıyor. Boş zamanlarında tenis oynamaktan, seyahat etmekten ve kozmoloji hakkında bilgi edinmekten hoşlanıyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/