Zephyrnet Logosu

Amazon Bedrock'ta temel modeller için maliyet ve kullanım izleme özelliğine sahip dahili bir SaaS hizmeti oluşturun | Amazon Web Hizmetleri

Tarih:

Kuruluşlar, farklı iş kollarına (LOB'ler) temel modellere (FM'ler) erişim sağlayarak üretken yapay zekanın potansiyelini hızla ortaya çıkarmaya çalışıyor. BT ekipleri, merkezi yönetişim ve gözlemlenebilirlik sağlarken LOB'un hız ve çeviklikle yenilik yapmasına yardımcı olmaktan sorumludur. Örneğin, ekipler arasında FM kullanımını, ters ibraz maliyetlerini takip etmeleri ve LOB'daki ilgili maliyet merkezine görünürlük sağlamaları gerekebilir. Ayrıca ekip başına farklı modellere erişimi düzenlemeleri gerekebilir. Örneğin, yalnızca belirli FM'lerin kullanım için onaylanması durumunda.

Amazon Ana Kayası AI21 Labs, Anthropic, Cohere, Meta, Stability AI ve Amazon gibi önde gelen AI şirketlerinin yüksek performanslı temel modellerini tek bir API aracılığıyla seçmenin yanı sıra üretken yapay zeka oluşturmaya yönelik geniş bir yetenek seti sunan, tam olarak yönetilen bir hizmettir güvenlik, gizlilik ve sorumlu yapay zekaya sahip uygulamalar. Amazon Bedrock sunucusuz olduğundan herhangi bir altyapıyı yönetmeniz gerekmez ve zaten aşina olduğunuz AWS hizmetlerini kullanarak üretken yapay zeka yeteneklerini uygulamalarınıza güvenli bir şekilde entegre edip dağıtabilirsiniz.

Temel modeller için bir hizmet olarak yazılım (SaaS) katmanı, erişim ve tüketimin merkezi yönetimini korurken son kullanıcılar için basit ve tutarlı bir arayüz sağlayabilir. API ağ geçitleri, model tüketicileri ile model uç nokta hizmeti arasında gevşek bağlantı ve değişen modele, mimarilere ve çağırma yöntemlerine uyum sağlama esnekliği sağlayabilir.

Bu yazıda, çok kiracılı (ekip) bir mimaride Amazon Bedrock ile temel modellere erişmek için dahili bir SaaS katmanını nasıl oluşturacağınızı gösteriyoruz. Özellikle kiracı başına kullanım ve maliyet takibine ve ayrıca kiracı başına kullanım azaltma gibi kontrollere odaklanıyoruz. Çözümün ve Amazon Bedrock tüketim planlarının genel SaaS yolculuk çerçevesiyle nasıl eşleştiğini açıklıyoruz. Çözümün kodu ve AWS Bulut Geliştirme Kiti (AWS CDK) şablonu şu adreste mevcuttur: GitHub deposu.

Zorluklar

Bir yapay zeka platformu yöneticisinin birden fazla geliştirme ekibine FM'lere standart ve kolay erişim sağlaması gerekir.

Temel modellere yönetimli erişim sağlamanın zorluklarından bazıları şunlardır:

  • Maliyet ve kullanım takibi – Bireysel kiracı maliyetlerini ve temel modellerin kullanımını takip edin ve denetleyin ve belirli maliyet merkezlerine geri ödeme maliyetleri sağlayın
  • Bütçe ve kullanım kontrolleri – Kiracı başına belirli bir sıklıkta temel modellerin izin verilen kullanımına ilişkin API kotasını, bütçesini ve kullanım sınırlarını yönetin
  • Erişim kontrolü ve model yönetimi – Kiracı başına izin verilen listedeki belirli modeller için erişim kontrollerini tanımlayın
  • Çok kiracılı standartlaştırılmış API – Temel modellere tutarlı erişim sağlayın Açık API standartlar
  • API'nin merkezi yönetimi – Modellere erişim için API anahtarlarını yönetmek üzere tek bir katman sağlayın
  • Model versiyonları ve güncellemeler – Yeni ve güncellenmiş model sürüm sunumlarını yönetin

Çözüme genel bakış

Bu çözümde, bir çok kiracılı yaklaşmak. A kiracı burada bireysel bir kullanıcı, belirli bir proje, ekip ve hatta tüm bir departman bulunabilir. Yaklaşımı tartışırken şu terimi kullanıyoruz: takımçünkü en yaygın olanıdır. Ekiplerin API erişimini kısıtlamak ve izlemek için API anahtarlarını kullanıyoruz. Her takıma FM'lere erişim için bir API anahtarı atanır. Bir kuruluşta farklı kullanıcı kimlik doğrulama ve yetkilendirme mekanizmaları konuşlandırılabilir. Basitlik açısından bunları bu çözüme dahil etmiyoruz. Ayrıca mevcut kimlik sağlayıcılarını da bu çözüme entegre edebilirsiniz.

Aşağıdaki diyagram çözüm mimarisini ve temel bileşenleri özetlemektedir. Ayrı maliyet merkezlerine atanan ekipler (kiracılar), Amazon Bedrock FM'leri bir API hizmeti aracılığıyla kullanır. Çözüm, ekip başına tüketimi ve maliyeti izlemek için çağrılan model, metin oluşturma modelleri için belirteç sayısı ve çok modlu modeller için görüntü boyutları da dahil olmak üzere her bir çağrıya ilişkin verileri günlüğe kaydeder. Ayrıca model başına çağrı sayısını ve her ekibin maliyetlerini bir araya getirir.

AWS CDK'yı kullanarak çözümü kendi hesabınıza dağıtabilirsiniz. AWS CDK, tanıdık programlama dillerini kullanarak bulut uygulama kaynaklarınızı modellemeye ve tedarik etmeye yönelik açık kaynaklı bir yazılım geliştirme çerçevesidir. AWS CDK kodunu şu adreste bulabilirsiniz: GitHub deposu.

Aşağıdaki bölümlerde çözümün temel bileşenlerini daha ayrıntılı olarak tartışacağız.

Ekip başına temel model kullanımını yakalama

Ekip başına FM kullanımını tespit etmeye yönelik iş akışı aşağıdaki adımlardan oluşur (önceki diyagramda numaralandırıldığı gibi):

  1. Bir ekibin uygulaması şu adrese bir POST isteği gönderir: Amazon API Ağ Geçidi çağrılacak model ile model_id sorgu parametresi ve istek gövdesindeki kullanıcı istemi.
  2. API Ağ Geçidi, isteği bir AWS Lambda işlevi (bedrock_invoke_model) ekip kullanım bilgilerinin günlüğe kaydedilmesinden sorumludur Amazon Bulut İzleme ve Amazon Bedrock modelini çağırmak.
  3. Amazon Bedrock, tarafından desteklenen bir VPC uç noktası sağlar AWS Özel Bağlantı. Bu çözümde Lambda işlevi, hesabınızdaki VPC ile Amazon Bedrock hizmet hesabı arasında özel bir bağlantı kurmak için PrivateLink'i kullanarak isteği Amazon Bedrock'a gönderir. PrivateLink hakkında daha fazla bilgi edinmek için bkz. Amazon Bedrock'a özel erişim ayarlamak için AWS PrivateLink'i kullanın.
  4. Amazon Bedrock çağrısından sonra, Amazon CloudTrail üretir CloudTrail etkinliği.
  5. Amazon Bedrock çağrısı başarılı olursa Lambda işlevi, çağrılan modelin türüne bağlı olarak aşağıdaki bilgileri günlüğe kaydeder ve oluşturulan yanıtı uygulamaya döndürür:
    • takım_kimliği – Talebi yayınlayan ekibin benzersiz tanımlayıcısı.
    • istek kimliği – İsteğin benzersiz tanımlayıcısı.
    • model_id – Çağrılacak modelin kimliği.
    • giriş belirteçleri – Bilgi isteminin bir parçası olarak modele gönderilen belirteçlerin sayısı (metin oluşturma ve yerleştirme modelleri için).
    • çıktıTokenları – Model tarafından oluşturulacak maksimum belirteç sayısı (metin oluşturma modelleri için).
    • yükseklik – İstenen görüntünün yüksekliği (çok modlu modeller ve çok modlu gömme modeller için).
    • genişlik – İstenen görüntünün genişliği (yalnızca çok modlu modeller için).
    • adımlar – İstenen adımlar (Stability AI modelleri için).

Ekip başına maliyetleri izleme

Farklı bir akış, kullanım bilgilerini toplar, ardından günlük olarak ekip başına isteğe bağlı maliyetleri hesaplar ve kaydeder. Ayrı bir akışa sahip olarak maliyet takibinin, model çağırma akışının gecikmesini ve verimini etkilememesini sağlıyoruz. İş akışı adımları aşağıdaki gibidir:

  1. An Amazon EventBridge kural bir Lambda işlevini tetikler (bedrock_cost_tracking) günlük.
  2. Lambda işlevi, CloudWatch'tan önceki güne ait kullanım bilgilerini alır, ilgili maliyetleri hesaplar ve o güne göre toplanan verileri saklar. team_id ve model_id in Amazon Basit Depolama Hizmeti (Amazon S3) CSV formatında.

Amazon S3'te depolanan verileri sorgulamak ve görselleştirmek için farklı seçenekleriniz vardır: S3 Seçimi, ve Amazon Athena ve Amazon QuickSight.

Ekip başına kullanımı kontrol etme

Kullanım planı, bir veya daha fazla dağıtılan API'ye kimin erişebileceğini belirtir ve isteğe bağlı olarak istekleri kısıtlamaya başlamak için hedef istek oranını ayarlar. Plan, her anahtar için ilişkili API'ye erişebilecek API istemcilerini tanımlamak için API anahtarlarını kullanır. API Ağ Geçidini kullanabilirsiniz kullanım planları önceden tanımlanmış eşikleri aşan istekleri kısıtlamak için. Ayrıca kullanabilirsin API anahtarları ve her ekibin belirli bir zaman aralığı içinde yayınlamasına izin verilen API anahtarı başına maksimum istek sayısını ayarlamanıza olanak tanıyan kota sınırları. Bu, ek olarak Amazon Bedrock hizmet kotaları yalnızca hesap düzeyinde atanır.

Önkoşullar

Çözümü dağıtmadan önce aşağıdakilere sahip olduğunuzdan emin olun:

AWS CDK yığınını dağıtın

Talimatlarını izleyin. README AWS CDK yığınını yapılandırmak ve dağıtmak için GitHub deposunun dosyası.

Yığın aşağıdaki kaynakları dağıtır:

  • Özel ağ ortamı (VPC, özel alt ağlar, güvenlik grubu)
  • Model erişimini kontrol etmek için IAM rolü
  • Gerekli Python modülleri için Lambda katmanları
  • Lambda işlevi invoke_model
  • Lambda işlevi list_foundation_models
  • Lambda işlevi cost_tracking
  • Dinlenme API'si (API Ağ Geçidi)
  • API Ağ Geçidi kullanım planı
  • Kullanım planıyla ilişkili API anahtarı

Yeni bir takıma katıldı

Yeni ekiplere erişim sağlamak için aynı API anahtarını farklı ekipler arasında paylaşabilir ve farklı bir anahtar sağlayarak model tüketimlerini takip edebilirsiniz. team_id API çağrısı için kullanın veya Amazon Bedrock kaynaklarına erişmek için kullanılan özel API anahtarlarını aşağıdaki bölümde sağlanan talimatları izleyerek oluşturun. README.

Yığın aşağıdaki kaynakları dağıtır:

  • Önceden oluşturulan REST API ile ilişkili API Ağ Geçidi kullanım planı
  • API için ayrılmış azaltma ve patlama yapılandırmalarıyla yeni ekibin kullanım planıyla ilişkili API anahtarı

API Ağ Geçidi azaltma ve patlama yapılandırmaları hakkında daha fazla bilgi için bkz. Daha iyi aktarım hızı için API isteklerini azaltın.

Yığını dağıttıktan sonra, yeni API anahtarının team-2 da yaratılıyor.

Model erişim kontrolünü yapılandırma

Platform yöneticisi, Lambda işleviyle ilişkili IAM politikasını düzenleyerek belirli temel modellere erişime izin verebilir invoke_model.

IAM izinleri dosyada tanımlanmıştır setup/stack_constructs/iam.py. Aşağıdaki koda bakın:

self.bedrock_policy = iam.Policy(
            scope=self,
            id=f"{self.id}_policy_bedrock",
            policy_name="BedrockPolicy",
            statements=[
                iam.PolicyStatement(
                    effect=iam.Effect.ALLOW,
                    actions=[
                        "sts:AssumeRole",
                    ],
                    resources=["*"],
                ),
                iam.PolicyStatement(
                    effect=iam.Effect.ALLOW,
                    actions=[
                        "bedrock:InvokeModel",
				“bedrock:ListFoundationModels",

                    ],
                    resources=[
  	"arn:aws:bedrock:*::foundation-model/anthropic.claude-v2.1",
	"arn:aws:bedrock:*::foundation-model/amazon.titan-text-express-v1",
	"arn:aws:bedrock:*::foundation-model/amazon.titan-embed-text-v1"
],
                )
            ],
        )

…

self.bedrock_policy.attach_to_role(self.lambda_role)

Hizmeti çağır

Çözümü dağıttıktan sonra hizmeti doğrudan kodunuzdan çağırabilirsiniz. Aşağıdaki

Python'da tüketmek için bir örnektir invoke_model POST isteği aracılığıyla metin oluşturmaya yönelik API:

api_key=”abcd1234”

model_id = "amazon.titan-text-express-v1" #the model id for the Amazon Titan Express model
 
model_kwargs = { # inference configuration
    "maxTokenCount": 4096,
    "temperature": 0.2
}

prompt = "What is Amazon Bedrock?"

response = requests.post(
    f"{api_url}/invoke_model?model_id={model_id}",
    json={"inputs": prompt, "parameters": model_kwargs},
    headers={
        "x-api-key": api_key, #key for querying the API
        "team_id": team_id #unique tenant identifier 
    }
)

text = response.json()[0]["generated_text"]

print(text)

Çıktı: Amazon Bedrock, Amazon'un birçok hizmet ve ürününü çalıştırmak ve işletmek için geliştirdiği dahili bir teknoloji platformudur. Bedrock hakkında bazı önemli şeyler…

Aşağıda Python'da tüketilen başka bir örnek verilmiştir. invoke_model Bir POST isteği aracılığıyla yerleştirme oluşturma API'si:

model_id = "amazon.titan-embed-text-v1" #the model id for the Amazon Titan Embeddings Text model

prompt = "What is Amazon Bedrock?"

response = requests.post(
    f"{api_url}/invoke_model?model_id={model_id}",
    json={"inputs": prompt, "parameters": model_kwargs},
    headers={
        "x-api-key": api_key, #key for querying the API
        "team_id": team_id #unique tenant identifier,
	"embeddings": "true" #boolean value for the embeddings model 
    }
)

text = response.json()[0]["embedding"]

Çıktı: 0.91796875, 0.45117188, 0.52734375, -0.18652344, 0.06982422, 0.65234375, -0.13085938, 0.056884766, 0.092285156, 0.06982422, 1.03125, 0.8515625, 0.16308594, 0.079589844, -0.033935547, 0.796875, -0.15429688, -0.29882812, -0.25585938, 0.45703125, 0.044921875 0.34570312, XNUMX…

Temel modellere erişim reddedildi

Aşağıda Python'da tüketilen bir örnek yer almaktadır. invoke_model Erişim reddedildi yanıtıyla POST isteği aracılığıyla metin oluşturmaya yönelik API:

model_id = " anthropic.claude-v1" #the model id for Anthropic Claude V1 model
 
model_kwargs = { # inference configuration
    "maxTokenCount": 4096,
    "temperature": 0.2
}

prompt = "What is Amazon Bedrock?"

response = requests.post(
    f"{api_url}/invoke_model?model_id={model_id}",
    json={"inputs": prompt, "parameters": model_kwargs},
    headers={
        "x-api-key": api_key, #key for querying the API
        "team_id": team_id #unique tenant identifier 
    }
)

print(response)
print(response.text)

“Traceback (en son çağrı son):n Dosya ”/var/task/index.py”, satır 213, lambda_handlern yanıtında = _invoke_text(bedrock_client, model_id, body, model_kwargs)n Dosya ”/var/task/index.py ”, satır 146, _invoke_textn Raise tr Dosyasında ”/var/task/index.py”, satır 131, _invoke_textn yanıtında = bedrock_client.invoke_model(n Dosya ”/opt/python/botocore/client.py”, satır 535, _api_calln'de return self._make_api_call(operation_name, kwargs)n Dosya ”/opt/python/botocore/client.py”, satır 980, _make_api_calln'da Raise error_class(parsed_response, transaction_name)nbotocore.errorfactory.AccessDeniedException: InvokeModel işlemi çağrılırken bir hata oluştu (AccessDeniedException): Hesabınızın bu API işlemini başlatma yetkisi yok.n"

Maliyet tahmini örneği

Amazon Bedrock modellerini isteğe bağlı fiyatlandırmayla çalıştırırken toplam maliyet, girdi ve çıktı maliyetlerinin toplamı olarak hesaplanır. Girdi maliyetleri, modele gönderilen girdi jetonlarının sayısına, çıktı maliyetleri ise oluşturulan jetonlara dayanmaktadır. Fiyatlar 1,000 giriş tokenı ve 1,000 çıkış tokenı başınadır. Daha fazla ayrıntı ve belirli model fiyatları için bkz. Amazon Bedrock Fiyatlandırması.

Bu gönderideki çözüm aracılığıyla Team1 ve Team2 olmak üzere iki ekibin Amazon Bedrock'a eriştiği bir örneğe bakalım. Amazon S3'e tek bir günde kaydedilen kullanım ve maliyet verileri aşağıdaki tabloda gösterilmektedir.

Kolonlar input_tokens ve output_tokens Belirli bir gün için sırasıyla model başına ve ekip başına toplam giriş ve çıkış belirteçlerini model çağrıları boyunca depolayın.

Kolonlar input_cost ve output_cost Model başına ve takım başına ilgili maliyetleri saklayın. Bunlar aşağıdaki formüller kullanılarak hesaplanır:

input_cost = input_token_count * model_pricing["input_cost"] / 1000
output_cost = output_token_count * model_pricing["output_cost"] / 1000

takım_kimliği model_id input_tokens çıktı_belirteçleri invokasyonlar girdi_maliyeti çıktı_maliyeti
Team1 amazon.titan-tg1-large 24000 2473 1000 0.0072 0.00099
Team1 antropik.claude-v2 2448 4800 24 0.02698 0.15686
Team2 amazon.titan-tg1-large 35000 52500 350 0.0105 0.021
Team2 ai21.j2-grande-talimat 4590 9000 45 0.05738 0.1125
Team2 antropik.claude-v2 1080 4400 20 0.0119 0.14379

İşlevsel, çok kiracılı, sunucusuz bir SaaS ortamının uçtan uca görünümü

Uçtan uca işlevsel, çok kiracılı, sunucusuz bir SaaS ortamının nasıl görünebileceğini anlayalım. Aşağıda bir referans mimari diyagramı bulunmaktadır.

Bu mimari diyagramı, gönderide daha önce açıklanan önceki mimari diyagramının yakınlaştırılmış bir versiyonudur; burada önceki mimari diyagramı, bahsedilen mikro hizmetlerden birinin (temel model hizmeti) ayrıntılarını açıklar. Bu şema, işlevsel ve ölçeklenebilir bir platform uygulamak için çok kiracılı SaaS platformunuzda temel model hizmetinin yanı sıra başka bileşenlere de sahip olmanız gerektiğini açıklamaktadır.

Gelin mimarinin detaylarına geçelim.

Kiracı başvuruları

Kiracı uygulamaları ortamla etkileşime giren ön uç uygulamalardır. Burada farklı yerel veya AWS ortamlarından erişen birden fazla kiracıyı gösteriyoruz. Ön uç uygulamalar, yeni kiracıların kendilerini kaydettirmeleri için bir kayıt sayfası ve SaaS hizmet katmanı yöneticileri için bir yönetici konsolu içerecek şekilde genişletilebilir. Kiracı uygulamaları, SaaS ortamıyla etkileşim gerektiren özel bir mantığın uygulanmasını gerektiriyorsa uygulama bağdaştırıcısı mikro hizmetinin özelliklerini uygulayabilirler. Örnek senaryolar arasında, SaaS ortamının yetkilendirme özelliklerine uyulurken özel yetkilendirme mantığının eklenmesi sayılabilir.

Paylaşılan hizmetler

Aşağıdakiler paylaşılan hizmetlerdir:

  • Kiracı ve kullanıcı yönetimi hizmetleri –Bu hizmetler kiracıların kayıt edilmesinden ve yönetilmesinden sorumludur. Uygulama hizmetlerinden ayrı ve tüm kiracılar arasında paylaşılan, kesişen işlevsellik sağlarlar.
  • Temel modeli hizmeti –Bu yazının başında açıklanan çözüm mimarisi şeması, API Gateway'den Lambda işlevlerine kadar olan etkileşimin bu mikro hizmet kapsamında gerçekleştiği bu mikro hizmeti temsil etmektedir. Tüm kiracılar bu mikro hizmeti Anthropic, AI21, Cohere, Stability, Meta ve Amazon'un temel modellerinin yanı sıra ince ayarlı modelleri çağırmak için kullanır. Ayrıca CloudWatch günlüklerinde kullanım takibi için gereken bilgileri de yakalar.
  • Maliyet takip hizmeti –Bu hizmet her kiracının maliyetini ve kullanımını takip eder. Bu mikro hizmet, CloudWatch günlüklerini sorgulamak ve toplu kullanım takibini ve tahmin edilen maliyeti veri depolama alanına çıkarmak için bir programa göre çalışır. Maliyet izleme hizmeti, daha fazla rapor ve görselleştirme oluşturulacak şekilde genişletilebilir.

Uygulama bağdaştırıcısı hizmeti

Bu hizmet, bir kiracının özel mantığını SaaS ortamına entegre etmek için uygulayabileceği bir dizi spesifikasyon ve API sunar. Ne kadar özel entegrasyonun gerekli olduğuna bağlı olarak bu bileşen kiracılar için isteğe bağlı olabilir.

Çok kiracılı veri deposu

Paylaşılan hizmetler, verilerini tek bir paylaşılan veri deposunda saklar. Amazon DinamoDB DynamoDB öğelerini bireysel kiracılarla ilişkilendiren bir kiracı bölümleme anahtarı içeren tablo. Maliyet takibi paylaşılan hizmeti, toplu kullanım ve maliyet takibi verilerini Amazon S3'e gönderir. Kullanım senaryosuna bağlı olarak uygulamaya özel bir veri deposu da olabilir.

Çok kiracılı bir SaaS ortamı çok daha fazla bileşene sahip olabilir. Daha fazla bilgi için bkz. AWS Sunucusuz Hizmetlerini Kullanarak Çok Kiracılı SaaS Çözümü Oluşturma.

Birden fazla dağıtım modeli desteği

SaaS çerçeveleri genellikle iki dağıtım modelini ana hatlarıyla belirtir: havuz ve silo. Havuz modeli için, tüm kiracılar FM'lere ortak depolama ve bilgi işlem altyapısına sahip paylaşılan bir ortamdan erişir. Silo modelinde her kiracının kendine özel kaynakları vardır. Yalıtım modelleri hakkında bilgiyi şuradan okuyabilirsiniz. SaaS Kiracı Yalıtım Stratejileri teknik incelemesi.

Önerilen çözüm her iki SaaS dağıtım modeli için de uyarlanabilir. Havuz yaklaşımında merkezi bir AWS ortamı API'yi, depolamayı ve bilgi işlem kaynaklarını barındırır. Silo modunda her ekip özel bir AWS ortamındaki API'lere, depolamaya ve bilgi işlem kaynaklarına erişir.

Çözüm aynı zamanda Amazon Bedrock tarafından sağlanan mevcut tüketim planlarına da uyuyor. AWS, çıkarım için iki tüketim planı seçeneği sunar:

  • On-Demand – Bu mod, herhangi bir zamana dayalı vade taahhüdü vermek zorunda kalmadan, temel modellerini kullandıkça öde temelinde kullanmanıza olanak tanır
  • Tedarik Edilen Performans – Bu mod, zamana dayalı bir dönem taahhüdü karşılığında uygulamanızın performans gereksinimlerini karşılamak için yeterli aktarım hızı sağlamanıza olanak tanır

Bu seçenekler hakkında daha fazla bilgi için bkz. Amazon Bedrock Fiyatlandırması.

Bu gönderide açıklanan sunucusuz SaaS referans çözümü, son kullanıcılara temel ve premium katmanlama seçenekleri sunmak için Amazon Bedrock tüketim planlarını uygulayabilir. Temel, Amazon Bedrock'un İsteğe Bağlı veya Tedarik Edilen Performans tüketimini içerebilir ve belirli kullanım ve bütçe sınırlarını içerebilir. Kiracı sınırları, isteklere, belirteç boyutlarına veya bütçe tahsisine göre isteklerin azaltılması yoluyla etkinleştirilebilir. Premium katman kiracıları, Amazon Bedrock'un tedarik edilen aktarım hızı tüketimiyle kendi özel kaynaklarına sahip olabilir. Bu kiracılar genellikle Amazon Bedrock FM'lere yüksek aktarım hızı ve düşük gecikme süreli erişim gerektiren üretim iş yükleriyle ilişkilendirilir.

Sonuç

Bu yazıda, çok kiracılı bir kurulumda Amazon Bedrock ile temel modellere erişmek için dahili bir SaaS platformunun nasıl oluşturulacağını, maliyetlerin ve kullanımın izlenmesine ve her kiracı için sınırların daraltılmasına odaklanarak nasıl oluşturulacağını tartıştık. Keşfedilecek ek konular arasında mevcut kimlik doğrulama ve yetkilendirme çözümlerinin kuruluşa entegre edilmesi, API katmanının çift yönlü istemci sunucu etkileşimleri için web yuvalarını içerecek şekilde geliştirilmesi, içerik filtreleme ve diğer yönetişim korkuluklarının eklenmesi, birden fazla dağıtım katmanının tasarlanması, diğer mikro hizmetlerin SaaS'a entegre edilmesi yer alır. mimari ve daha fazlası.

Bu çözüme ilişkin kodun tamamı şurada mevcuttur: GitHub deposu.

SaaS tabanlı çerçeveler hakkında daha fazla bilgi için bkz. SaaS Yolculuğu Çerçevesi: AWS'de Yeni Bir SaaS Çözümü Oluşturma.


Yazarlar Hakkında

Hasan Poonawala AWS'de Kıdemli AI/ML Uzman Çözüm Mimarıdır ve Sağlık ve Yaşam Bilimleri müşterileriyle birlikte çalışmaktadır. Hasan, AWS'de Üretken Yapay Zeka ve Makine öğrenimi uygulamalarının tasarlanmasına, dağıtılmasına ve ölçeklendirilmesine yardımcı oluyor. Bulutta makine öğrenimi, yazılım geliştirme ve veri bilimi alanlarında 15 yıldan fazla ortak iş deneyimine sahiptir. Hasan boş zamanlarında doğayı keşfetmeyi, arkadaşları ve ailesiyle vakit geçirmeyi seviyor.

anastasia Tzeveleka AWS'de Kıdemli AI/ML Uzman Çözüm Mimarıdır. İşinin bir parçası olarak, EMEA genelindeki müşterilerin AWS hizmetlerini kullanarak temel modeller oluşturmalarına ve ölçeklenebilir üretken yapay zeka ve makine öğrenimi çözümleri oluşturmalarına yardımcı oluyor.

BruPiston yok Milano merkezli AWS için Üretken Yapay Zeka ve Makine Öğrenimi Uzman Çözüm Mimarıdır. Büyük müşterilerle birlikte çalışarak onların teknik ihtiyaçlarını derinlemesine anlamalarına ve AWS Cloud ile Amazon Machine Learning yığınından en iyi şekilde yararlanan yapay zeka ve Makine Öğrenimi çözümleri tasarlamalarına yardımcı oluyor. Uzmanlığı şunları içermektedir: Uçtan uca Makine Öğrenimi, Makine Öğreniminin Sanayileşmesi ve Üretken Yapay Zeka. Arkadaşlarıyla vakit geçirmekten, yeni yerler keşfetmekten ve yeni yerlere seyahat etmekten hoşlanıyor.

vikeş pandey Finansal müşterilerin yüzlerce, hatta binlerce kullanıcıya kadar ölçeklenen Üretken Yapay Zeka/Makine Öğrenimi platformları ve çözümü oluşturmasına ve ölçeklendirmesine yardımcı olduğu finansal hizmetler konusunda uzmanlaşmış bir Üretken Yapay Zeka/ML Çözümleri mimarıdır. Vikesh boş zamanlarında çeşitli blog forumlarında yazmayı ve çocuğuyla birlikte legolar yapmayı seviyor.

spot_img

En Son İstihbarat

spot_img