Zephyrnet Logosu

AWS ve Wipro ile veri bilimi yaşam döngüsü yönetimini modernleştirme | Amazon Web Hizmetleri

Tarih:

Bu yazı, Wipro'nun AWS AI/ML Uygulamasından Bhajandeep Singh ve Ajay Vishwakarma ile birlikte yazılmıştır.

Birçok kuruluş, makine öğrenimi (ML) modellerini oluşturmak ve yönetmek için şirket içi ve açık kaynaklı veri bilimi çözümlerinin bir kombinasyonunu kullanıyor.

Veri bilimi ve DevOps ekipleri, bu yalıtılmış araç yığınlarını ve sistemlerini yönetmede zorluklarla karşılaşabilir. Kompakt bir çözüm oluşturmak için birden fazla araç yığınını entegre etmek, özel bağlayıcılar veya iş akışları oluşturmayı içerebilir. Her yığının mevcut sürümüne göre farklı bağımlılıkları yönetmek ve bu bağımlılıkları her yığının yeni güncellemelerinin yayınlanmasıyla sürdürmek, çözümü karmaşık hale getirir. Bu, altyapı bakım maliyetini artırır ve üretkenliği engeller.

Yapay zeka (AI) ve makine öğrenimi (ML) teklifleri Amazon Web Services (AWS)Entegre izleme ve bildirim hizmetlerinin yanı sıra kuruluşların gerekli otomasyon, ölçeklenebilirlik ve model kalitesine optimum maliyetle ulaşmalarına yardımcı olur. AWS ayrıca veri bilimi ve DevOps ekiplerinin işbirliği yapmasına ve genel model yaşam döngüsü sürecini kolaylaştırmasına da yardımcı olur.

AWS ML hizmetleri portföyü, makine öğrenimi uygulamalarının geliştirilmesini, eğitimini ve dağıtımını hızlandırmak için kullanabileceğiniz güçlü bir hizmet kümesi içerir. Hizmet paketi, ML modellerinin izlenmesi ve yeniden eğitilmesi de dahil olmak üzere model yaşam döngüsünün tamamını desteklemek için kullanılabilir.

Bu yazıda, Wipro'nun MLOps kullanan müşterilerinden biri için model geliştirmeyi ve MLOps çerçeve uygulamasını tartışıyoruz. Amazon Adaçayı Yapıcı ve diğer AWS hizmetleri.

Wipro bir AWS Premier Katman Hizmet Ortağı ve Yönetilen Hizmet Sağlayıcı (MSP). Onun Yapay zeka/ML çözümleri kurumsal müşterilerinin çoğu için gelişmiş operasyonel verimlilik, üretkenlik ve müşteri deneyimi sağlıyor.

Mevcut zorluklar

Öncelikle müşterinin veri bilimi ve DevOps ekiplerinin mevcut kurulumlarında karşılaştığı zorluklardan birkaçını anlayalım. Daha sonra entegre SageMaker AI/ML tekliflerinin bu zorlukların çözümüne nasıl yardımcı olduğunu inceleyebiliriz.

  • İşbirliği – Veri bilimcilerin her biri, makine öğrenimi modelleri oluşturmak ve eğitmek için kendi yerel Jupyter not defterleri üzerinde çalıştı. Diğer veri bilimcilerle paylaşım ve işbirliği yapmak için etkili bir yöntemden yoksunlardı.
  • Ölçeklenebilirlik – Tahsis edilen altyapı kapasitesi sabit kalırken modeller daha karmaşık hale geldikçe ML modellerinin eğitimi ve yeniden eğitimi giderek daha fazla zaman alıyordu.
  • MLOps – Model izleme ve devam eden yönetişim, ML modelleriyle sıkı bir şekilde entegre edilmedi ve otomatikleştirilmedi. Üçüncü taraf araçları MLOps işlem hattına entegre etmede bağımlılıklar ve karmaşıklıklar vardır.
  • Yeniden Kullanılabilirlik – Yeniden kullanılabilir MLOps çerçeveleri olmadan, her modelin ayrı ayrı geliştirilmesi ve yönetilmesi gerekir; bu da genel çabayı artırır ve modelin operasyonel hale getirilmesini geciktirir.

Bu şema, zorlukları ve Wipro'nun SageMaker'daki uygulamasının yerleşik SageMaker hizmetleri ve teklifleriyle bu sorunları nasıl çözdüğünü özetlemektedir.

Makine öğrenimi iş yükü geçişi için SageMaker teklifleri

Şekil 1 – Makine öğrenimi iş yükü geçişi için SageMaker teklifleri

Wipro, zorlukları maliyet açısından optimize edilmiş ve tamamen otomatikleştirilmiş bir şekilde ele alan bir mimari tanımladı.

Çözümü oluşturmak için kullanılan kullanım durumu ve model aşağıdadır:

  • Kullanım çantası: Kullanılmış araba veri setine dayalı fiyat tahmini
  • Sorun türü: Gerileme
  • Kullanılan modeller: XGBoost ve Linear Learner (SageMaker yerleşik algoritmaları)

Çözüm mimarisi

Wipro danışmanları, mevcut ortamın yanı sıra müşterilerin AWS'de modern bir çözüme yönelik gereksinimlerini ve beklentilerini anlamak için müşterinin veri bilimi, DevOps ve veri mühendisliği ekipleriyle derinlemesine bir keşif atölyesi gerçekleştirdi. Danışmanlık sözleşmesinin sonunda ekip, müşteri ekibinin temel gereksinimlerini etkili bir şekilde karşılayan aşağıdaki mimariyi uygulamaya koymuştur:

kod paylaşımı – SageMaker not defterleri, veri bilimcilerinin deneyler yapmasına ve kodu diğer ekip üyeleriyle paylaşmasına olanak tanır. Wipro, özellik mühendisliğini, model eğitimini, model dağıtımını ve işlem hattı oluşturmayı hızlandırmak için Wipro'nun kod hızlandırıcılarını ve parçacıklarını uygulayarak ML model yolculuğunu daha da hızlandırdı.

Sürekli entegrasyon ve sürekli teslimat (CI/CD) hattı – Müşterinin GitHub deposunun etkinleştirilmiş kod sürümü oluşturma ve otomatik komut dosyalarının kullanılması, kodun yeni sürümleri sunulduğunda ardışık düzen dağıtımını başlatmak için.

MLO'lar – Mimari, tanımlanan programın gerektirdiği şekilde verileri ve model sapmasını doğrulayarak sürekli model kalitesi yönetimi için bir SageMaker model izleme hattını uygular. Sapma tespit edildiğinde, ilgili ekipleri harekete geçmeleri veya modelin yeniden eğitimini başlatmaları konusunda bilgilendirmek için bir etkinlik başlatılır.

Olay odaklı mimari – Model eğitimi, model konuşlandırması ve model izlemeye yönelik işlem hatları kullanım açısından iyi bir şekilde entegre edilmiştir Amazon EventBridge, sunucusuz bir olay veri yolu. Tanımlanan olaylar meydana geldiğinde, EventBridge yanıt olarak çalışacak bir işlem hattını çağırabilir. Bu, ortama yanıt olarak gerektiği gibi çalışabilen, gevşek bağlanmış bir boru hattı seti sağlar.

SageMaker ile Olay Odaklı MLOps mimarisi

Şekil 2 – SageMaker ile Olay Odaklı MLOps mimarisi

Çözüm bileşenleri

Bu bölümde mimarinin çeşitli çözüm bileşenleri açıklanmaktadır.

Deney not defterleri

  • Amaç: Müşterinin veri bilimi ekibi, optimum özellikleri bulmak için çeşitli veri kümeleri ve birden çok modelle denemeler yapmak ve bunları otomatik ardışık düzene daha fazla girdi olarak kullanmak istiyordu.
  • Çözüm: Wipro, verileri okuma ve yazma, model özellik mühendisliği, model eğitimi ve hiperparametre ayarlama gibi yeniden kullanılabilir her adım için kod parçacıkları içeren SageMaker deney not defterleri oluşturdu. Özellik mühendisliği görevleri Data Wrangler'da da hazırlanabilir, ancak müşteri özellikle SageMaker işleme işlerini istedi ve AWS Basamak İşlevleri çünkü bu teknolojileri kullanırken daha rahatlardı. İşlem hatları için iyi tanımlanmış girişleri etkinleştirmek amacıyla doğrudan dizüstü bilgisayar örneğinden akış testi için bir adım işlevi oluşturmak amacıyla AWS adım işlevi veri bilimi SDK'sını kullandık. Bu, veri bilimci ekibinin işlem hatlarını çok daha hızlı bir şekilde oluşturmasına ve test etmesine yardımcı oldu.

Otomatik eğitim hattı

  • Amaç: Örnek türü, hiperparametreler gibi yapılandırılabilir parametrelerle otomatikleştirilmiş bir eğitim ve yeniden eğitim hattını etkinleştirmek ve Amazon Basit Depolama Hizmeti (Amazon S3) kova konumu. İşlem hattı ayrıca S3'e veri gönderme etkinliğiyle başlatılmalıdır.
  • Çözüm: Wipro, Step Functions SDK'yı, SageMaker işlemeyi, eğitim işlerini ve temel oluşturma için bir SageMaker model izleme konteynerini kullanarak yeniden kullanılabilir bir eğitim hattı uyguladı. AWS Lambdave EventBridge hizmetleri. AWS olay odaklı mimariyi kullanan işlem hattı, eşlenen S3 klasörüne gönderilen yeni bir veri olayına göre otomatik olarak başlatılacak şekilde yapılandırılır. Bildirimler tanımlanan e-posta adreslerine gönderilecek şekilde yapılandırılır. Yüksek düzeyde eğitim akışı aşağıdaki şemaya benzer:
Eğitim boru hattı adım makinesi

Şekil 3 - Eğitim boru hattı adım makinesi.

Otomatik eğitim hattı için akış açıklaması

Yukarıdaki diyagram Step Functions, Lambda ve SageMaker kullanılarak oluşturulmuş otomatik bir eğitim hattıdır. Otomatik model eğitimi ayarlamak, tahminler oluşturmak, model izleme ve veri izleme için bir temel oluşturmak ve önceki model eşik değerine göre bir uç nokta oluşturmak ve güncellemek için yeniden kullanılabilir bir işlem hattıdır.

  1. Ön işleme: Bu adım, verileri bir Amazon S3 konumundan girdi olarak alır ve bölmeyi eğitme, test etme ve doğrulama gibi gerekli özellik mühendisliği ve veri ön işleme görevlerini gerçekleştirmek için SageMaker SKLearn konteynerini kullanır.
  2. Model eğitimi: Bu adım, SageMaker SDK'yı kullanarak eğitim kodunu ilgili model görüntüsüyle çalıştırır ve eğitilen model yapıtlarını oluştururken ön işleme komut dosyalarından veri kümelerini eğitir.
  3. Modeli kaydet: Bu adım, eğitilen model yapılarından bir model oluşturur. Model adı, başka bir ardışık düzende başvurulmak üzere saklanır. AWS Systems Manager Parametre Deposu.
  4. Sorgu eğitimi sonuçları: Bu adım, önceki model eğitim adımından tamamlanan eğitim işinin ölçümlerini almak için Lambda işlevini çağırır.
  5. RMSE eşiği: Bu adım, uç nokta dağıtımına doğru ilerlemeye mi yoksa bu modeli reddetmeye mi karar vermek için eğitilmiş model metriğini (RMSE) tanımlanmış bir eşiğe göre doğrular.
  6. Model doğruluğu çok düşük: Bu adımda modelin doğruluğu önceki en iyi modele göre kontrol edilir. Model metrik doğrulamada başarısız olursa, bildirim Lambda işlevi tarafından kayıtlı hedef konuya gönderilir. Amazon Basit Bildirim Hizmeti (Amazon SNS). Bu kontrol başarısız olursa yeni eğitilen model tanımlanan eşiği karşılamadığından akıştan çıkılır.
  7. Temel iş verileri kayması: Eğitilen model doğrulama adımlarını geçerse, izlemeyi etkinleştirmek için bu eğitilmiş model sürümü için temel istatistikler oluşturulur ve model kalite kontrolü için temel oluşturmak amacıyla paralel dallanma adımları çalıştırılır.
  8. Model uç noktası yapılandırması oluşturun: Bu adım, önceki adımda değerlendirilen model için uç nokta yapılandırmasını oluşturur. veri yakalamayı etkinleştir konfigürasyonu.
  9. Uç noktayı kontrol edin: Bu adım, uç noktanın var olup olmadığını veya oluşturulması gerekip gerekmediğini kontrol eder. Çıktıya bağlı olarak bir sonraki adım uç noktayı oluşturmak veya güncellemektir.
  10. Yapılandırmayı dışa aktar: Bu adım, parametrenin model adını, uç nokta adını ve uç nokta yapılandırmasını AWS Sistem Yöneticisi Parametre Deposu.

Uyarılar ve bildirimler, durum makinesi durum değişikliğinin başarısızlığı veya başarısı durumunda yapılandırılmış SNS konu e-postasına gönderilecek şekilde yapılandırılmıştır. Aynı işlem hattı yapılandırması XGBoost modeli için yeniden kullanılır.

Otomatik toplu puanlama hattı

  • Amaç: İlgili Amazon S3 konumunda puanlama girişi toplu verileri mevcut olur olmaz toplu puanlamayı başlatın. Toplu puanlama, puanlamayı yapmak için en son kayıtlı modeli kullanmalıdır.
  • Çözüm: Wipro, Step Functions SDK'yı, SageMaker toplu dönüştürme işlerini, Lambda'yı ve EventBridge'i kullanarak yeniden kullanılabilir bir puanlama hattı uyguladı. İşlem hattı, ilgili S3 konumunda yeni puanlama toplu verilerinin kullanılabilirliğine göre otomatik olarak tetiklenir.
Doğrusal öğrenen ve XGBoost modeli için puanlama boru hattı adım makinesi

Şekil 4 – Doğrusal öğrenici ve XGBoost modeli için puanlama hattı adım makinesi

Otomatik toplu puanlama hattının akış açıklaması:

  1. Ön işleme: Bu adımın girişi, ilgili S3 konumundan bir veri dosyasıdır ve SageMaker toplu dönüştürme işini çağırmadan önce gerekli ön işlemeyi yapar.
  2. puanlama: Bu adım, çıkarımlar oluşturmak, kayıtlı modelin en son sürümünü çağırmak ve puanlama çıktısını bir S3 klasöründe depolamak için toplu dönüştürme işini çalıştırır. Wipro, SageMaker toplu dönüştürme API'sinin giriş filtresini ve birleştirme işlevini kullanmıştır. Daha iyi karar vermek için puanlama verilerinin zenginleştirilmesine yardımcı oldu.
Toplu dönüştürme için giriş filtresi ve birleştirme akışı

Şekil 5 – Toplu dönüşüm için giriş filtresi ve birleştirme akışı

  1. Bu adımda, durum makinesi ardışık düzeni S3 klasöründeki yeni bir veri dosyası tarafından başlatılır.

Bildirim, durum makinesi durum değişikliğinin başarısızlığı/başarısı durumunda yapılandırılmış SNS konu e-postasına gönderilecek şekilde yapılandırılmıştır.

Gerçek zamanlı çıkarım hattı

  • Amaç: Her iki modelin (Linear Learner ve XGBoost) uç noktalarından gerçek zamanlı çıkarımlar yapılmasını sağlamak ve maksimum tahmin edilen değerin (veya Lambda işlevi olarak yazılabilen herhangi bir özel mantığı kullanarak) uygulamaya döndürülmesini sağlamak.
  • Çözüm: Wipro ekibi, yeniden kullanılabilir mimariyi kullanarak Amazon API Ağ Geçidi, Lambda ve SageMaker uç noktası Şekil 6'da gösterildiği gibidir:
Gerçek zamanlı çıkarım hattı

Şekil 6 – Gerçek zamanlı çıkarım hattı

Şekil 6'da gösterilen gerçek zamanlı çıkarım hattının akış açıklaması:

  1. Yük, uygulamadan Amazon API Gateway'e gönderilir ve bu da onu ilgili Lambda işlevine yönlendirir.
  2. Bir Lambda işlevi (entegre SageMaker özel katmanıyla birlikte) gerekli ön işlemeyi, JSON veya CSV veri yükü biçimlendirmesini yapar ve ilgili uç noktaları çağırır.
  3. Yanıt Lambda'ya döndürülür ve API Gateway aracılığıyla uygulamaya geri gönderilir.

Müşteri bu hattı, çeşitli açık kaynak algoritmalarının kullanımını da içeren küçük ve orta ölçekli modeller için kullandı. SageMaker'ın en önemli faydalarından biri, çeşitli algoritma türlerinin SageMaker'a getirilebilmesi ve kendi konteynerini getir (BYOC) tekniği kullanılarak dağıtılabilmesidir. BYOC, algoritmanın kapsayıcı hale getirilmesini ve görüntünün kaydedilmesini içerir. Amazon Elastic Container Registry (Amazon ECR)ve ardından eğitim ve çıkarım yapmak üzere bir kapsayıcı oluşturmak için aynı görüntüyü kullanın.

Ölçeklendirme, makine öğrenimi döngüsündeki en büyük sorunlardan biridir. SageMaker, çıkarım sırasında bir modeli ölçeklendirmek için gerekli araçlarla birlikte gelir. Önceki mimaride kullanıcıların, sonuçta iş yükünü üstlenen SageMaker'ın otomatik ölçeklendirmesini etkinleştirmesi gerekir. Otomatik ölçeklendirmeyi etkinleştirmek için kullanıcıların örnek başına aktarım hızını ve maksimum ve minimum örnekleri soran bir otomatik ölçeklendirme politikası sağlaması gerekir. Uygulanan politika kapsamında SageMaker, gerçek zamanlı uç noktaların iş yükünü otomatik olarak yönetir ve gerektiğinde örnekler arasında geçiş yapar.

Özel model monitör hattı

  • Amaç: Müşteri ekibi, hem veri kaymasını hem de model kaymasını yakalamak için otomatik model izlemeye sahip olmak istiyordu. Wipro ekibi, gerçek zamanlı çıkarımlar ve toplu dönüşüm için yeniden kullanılabilir bir işlem hattı ile hem veri kaymasını hem de model kaymasını mümkün kılmak için SageMaker model izlemeyi kullandı. Bu çözümün geliştirilmesi sırasında, SageMaker model izlemenin veri veya model algılama için hazırlık sağlamadığını unutmayın. Toplu dönüşüm için model kayması. Toplu dönüşüm yükü için model izleme kapsayıcısını kullanmak üzere özelleştirmeler uyguladık.
  • Çözüm: Wipro ekibi, gerçek zamanlı ve toplu çıkarım yükleri için yeniden kullanılabilir bir model izleme hattını hayata geçirdi. AWS Tutkal artımlı yükü yakalamak ve model izleme işini tanımlanan zamanlamaya göre çağırmak için.
Model monitör adım makinesi

Şekil 7 - Model monitör adım makinesi

Özel model izleme hattının akış açıklaması:
İşlem hattı, EventBridge aracılığıyla yapılandırılan tanımlı programa göre çalışır.

  1. CSV birleştirme – Gerçek zamanlı veri yakalama ve yanıt ile toplu veri yanıtından oluşan tanımlanmış S3 kümesindeki artımlı yükün varlığını tespit etmek için AWS Glue yer imi özelliğini kullanır. Daha sonra bu verileri daha ileri işlemler için bir araya getirir.
  2. Yükü değerlendirin – Geçerli çalıştırma için artımlı veriler veya veri yükü mevcutsa izleme dalını çağırır. Aksi halde işlem yapmadan bypass yaparak işten çıkar.
  3. Rötuş – İzleme dalı, biri veri kayması, diğeri model kayması için olmak üzere iki paralel alt dala sahip olacak şekilde tasarlanmıştır.
  4. İzleme (veri kayması) – Veri sürüklenme dalı, bir veri yükü mevcut olduğunda çalışır. Veri özellikleri için eğitim hattı aracılığıyla oluşturulan en son eğitilmiş model temel kısıtlamalarını ve istatistik dosyalarını kullanır ve model izleme işini çalıştırır.
  5. İzleme (model sapması) – Model sürüklenme dalı yalnızca çıkarım yüküyle birlikte gerçek veriler sağlandığında çalışır. Model kalitesi özellikleri için eğitimli model temel kısıtlamalarını ve eğitim hattı aracılığıyla oluşturulan istatistik dosyalarını kullanır ve model izleme işini yürütür.
  6. Sapmayı değerlendirin – Hem veri hem de model kaymasının sonucu, ilgili Amazon SNS konularına sapmanın ayrıntılarını içeren bildirim gönderen sürüklenmeyi değerlendirme Lambda işlevi tarafından değerlendirilen bir kısıtlama ihlali dosyasıdır. Drift verileri, raporlama amaçlı özelliklerin eklenmesiyle daha da zenginleştirilmiştir. Sürüklenme bildirimi e-postaları Şekil 8'deki örneklere benzer görünecektir.
SageMaker modeli sürüklenme monitörü e-postası

Şekil 8 – Veri ve model kayması bildirim mesajı

SageMaker modeli sürüklenme monitörü e-postası

Şekil 9 – Veri ve model kayması bildirim mesajı

Amazon QuickSight görselleştirmesiyle ilgili öngörüler:

  • Amaç: Müşteri, veriler ve model sapması hakkında içgörü sahibi olmak, sapma verilerini ilgili model izleme işleriyle ilişkilendirmek ve girişim verisi eğilimlerinin doğasını anlamak için çıkarım verileri eğilimlerini bulmak istiyordu.
  • Çözüm: Wipro ekibi, giriş verilerini sürüklenme sonucuna bağlayarak sürüklenme verilerini zenginleştirdi; bu, sürüklenmeden izlemeye ve ilgili puanlama verilerine kadar önceliklendirmeyi mümkün kıldı. Görselleştirmeler ve kontrol panelleri kullanılarak oluşturuldu Amazon QuickSight ile Amazon Atina veri kaynağı olarak (Amazon S3 CSV puanlama ve sapma verilerini kullanarak).
Model izleme görselleştirme mimarisi

Şekil 10 – Model izleme görselleştirme mimarisi

Tasarım hususları:

  1. Daha iyi bellek içi performans için QuickSight baharat veri kümesini kullanın.
  2. Spice veri yenilemesini otomatikleştirmek için QuickSight yenileme veri kümesi API'lerini kullanın.
  3. Kontrol paneli ve analiz erişim kontrolü için grup tabanlı güvenlik uygulayın.
  4. Hesaplar genelinde, QuickSight tarafından sağlanan veri kümesini, veri kaynağını ve analiz API çağrılarını dışa ve içe aktararak dağıtımı otomatikleştirin.

Model izleme panosu:

Model izleme işlerinin etkili bir sonucunu ve anlamlı içgörülerini sağlamak amacıyla, model izleme verileri için özel kontrol panelleri oluşturuldu. Giriş veri noktaları, model izlemenin ortaya çıkardığı eğilimlerin görselleştirilmesini oluşturmak için çıkarım isteği verileri, iş verileri ve izleme çıktısıyla paralel olarak birleştirilir.

Bu, müşteri ekibinin, her bir çıkarım talebi kümesinin tahmin edilen sonucunun yanı sıra çeşitli veri özelliklerinin özelliklerini görselleştirmesine gerçekten yardımcı oldu.

Seçim istemlerini içeren model izleme panosu

Şekil 11 - Seçim istemlerini içeren model monitörü kontrol paneli

Seçim istemlerini içeren model izleme panosu

Şekil 12 - Model monitörü sapma analizi

Sonuç

Bu gönderide açıklanan uygulama, Wipro'nun şirket içi modellerini etkili bir şekilde AWS'ye taşımasını ve ölçeklenebilir, otomatikleştirilmiş bir model geliştirme çerçevesi oluşturmasını sağladı.

Yeniden kullanılabilir çerçeve bileşenlerinin kullanılması, veri bilimi ekibinin çalışmalarını dağıtılabilir AWS Step Functions JSON bileşenleri olarak etkili bir şekilde paketlemesine olanak tanır. Eş zamanlı olarak DevOps ekipleri, modellerin daha yüksek ortamlarda sorunsuz tanıtımını ve yeniden eğitilmesini kolaylaştırmak için otomatik CI/CD hattını kullandı ve geliştirdi.

Model izleme bileşeni, model performansının sürekli izlenmesine olanak sağladı ve kullanıcılar, veri veya model sapması tespit edildiğinde uyarı ve bildirimler alıyor.

Müşterinin ekibi, daha fazla model taşımak veya geliştirmek ve SageMaker'ın benimsenmesini artırmak için bu MLOps çerçevesini kullanıyor.

Kapsamlı SageMaker hizmetleri paketini titizlikle tasarlanmış mimarimizle birlikte kullanarak müşteriler, birden fazla modeli sorunsuz bir şekilde entegre edebilir, dağıtım süresini önemli ölçüde azaltabilir ve kod paylaşımıyla ilişkili karmaşıklıkları azaltabilir. Üstelik mimarimiz kod sürümü bakımını basitleştirerek akıcı bir geliştirme süreci sağlar.

Bu mimari, otomatik model eğitimi, gerçek zamanlı ve toplu çıkarım, proaktif model izleme ve sapma analizini kapsayan tüm makine öğrenimi döngüsünü yönetir. Bu uçtan uca çözüm, sürekli doğruluk ve güvenilirlik sağlamak için sıkı izleme ve analiz yeteneklerini korurken, müşterilerin optimum model performansı elde etmelerine olanak tanır.

Bu mimariyi oluşturmak için aşağıdaki gibi temel kaynakları oluşturarak başlayın: Amazon Sanal Özel Bulut (Amazon VPC), SageMaker not defterleri ve Lambda işlevleri. Uygun kurulumu yaptığınızdan emin olun AWS Kimlik ve Erişim Yönetimi (IAM) Bu kaynaklara yönelik politikalar.

Daha sonra, SageMaker Studio veya Jupyter Notebook'ta eğitim ve komut dosyalarının ön işlenmesi gibi mimarinin bileşenlerini oluşturmaya odaklanın. Bu adım, istenen işlevleri etkinleştirmek için gerekli kodun ve yapılandırmaların geliştirilmesini içerir.

Mimarinin bileşenleri tanımlandıktan sonra, çıkarımlar oluşturmak veya veriler üzerinde işlem sonrası adımları gerçekleştirmek için Lambda işlevlerini oluşturmaya devam edebilirsiniz.

Sonunda bileşenleri bağlamak ve her adımın çalışmasını koordine eden sorunsuz bir iş akışı oluşturmak için Adım İşlevlerini kullanın.


Yazarlar Hakkında

Stephen Randolph - AWS Çözüm Ortağı Çözüm MimarıStephen Randolph Amazon Web Services'te (AWS) Kıdemli Ortak Çözüm Mimarıdır. Global Sistem Entegratörü (GSI) iş ortaklarının iş zorluklarını çözmeye yönelik sektör çözümleri geliştirmeleri sırasında en yeni AWS teknolojisi konusunda olanak sağlıyor ve destekliyor. Stephen özellikle Güvenlik ve Üretken Yapay Zeka konusunda tutkulu ve müşterilerin ve iş ortaklarının AWS'de güvenli, verimli ve yenilikçi çözümler tasarlamasına yardımcı oluyor.

Bhajandeep SinghBhajandeep Singh Wipro Technologies'de AWS AI/ML Mükemmellik Merkezi Başkanı olarak görev yaptı ve veri analitiği ve yapay zeka çözümleri sunmak için müşteri etkileşimlerine liderlik etti. AWS AI/ML Uzmanlığı sertifikasına sahiptir ve AI/ML hizmetleri ve çözümleri hakkında teknik bloglar yazmaktadır. Sektörlerde AWS AI/ML çözümlerine liderlik etme deneyimine sahip olan Bhajandeep, uzmanlığı ve liderliği sayesinde müşterilerin AWS AI/ML hizmetlerinin değerini en üst düzeye çıkarmasını sağladı.

Ajay VishwakarmaAjay Vishwakarma Wipro'nun yapay zeka çözümü uygulamasının AWS kanadında makine öğrenimi mühendisidir. SageMaker'da özel algoritma için BYOM çözümü oluşturma, uçtan uca ETL boru hattı dağıtımı, Lex kullanarak sohbet robotları oluşturma, Çapraz hesap QuickSight kaynak paylaşımı ve dağıtımlar için CloudFormation şablonları oluşturma konusunda iyi bir deneyime sahiptir. Daha fazlasını keşfetmek ve onlara çözümler sunmak için her müşterinin sorununu bir meydan okuma olarak ele alan AWS'yi keşfetmeyi seviyor.

spot_img

En Son İstihbarat

spot_img