Bu yazı Merck Kıdemli Veri Mühendisliği Uzmanı Jayadeep Pabbisetty ve Tiger Analytics Kıdemli ML Mühendisi Prabakaran Mathaiyan ile birlikte yazılmıştır.
Büyük makine öğrenimi (ML) modeli geliştirme yaşam döngüsü, yazılım geliştirmedekine benzer ölçeklenebilir bir model yayınlama süreci gerektirir. Model geliştiricileri genellikle ML modelleri geliştirmede birlikte çalışırlar ve çalışmak için sağlam bir MLOps platformuna ihtiyaç duyarlar. Ölçeklenebilir bir MLOps platformunun, ML model kaydı, onayı ve bir sonraki ortam düzeyine (geliştirme, test) yükseltme iş akışını yönetmeye yönelik bir süreç içermesi gerekir. , UAT veya üretim).
Bir model geliştiricisi genellikle bireysel bir makine öğrenimi geliştirme ortamında çalışmaya başlar. Amazon Adaçayı Yapıcı. Bir model eğitilip kullanıma hazır olduğunda, sisteme kaydedilerek onaylanması gerekir. Amazon SageMaker Model Kaydı. Bu yazıda AWS AI/ML ekibinin Merck İnsan Sağlığı BT MLOps ekibiyle nasıl iş birliği yaparak makine öğrenimi modeli onayı ve tanıtımı için otomatikleştirilmiş bir iş akışı kullanan ve ortasında insan müdahalesi bulunan bir çözüm oluşturduğunu tartışıyoruz.
Çözüme genel bakış
Bu gönderi, ML modeli geliştirme yaşam döngüsünün eğitim hattı ile çıkarım hattı arasında kullanabileceği bir iş akışı çözümüne odaklanıyor. Çözüm, ML modeli onay ve tanıtım sürecini insan müdahalesiyle destekleme konusunda MLOps için ölçeklenebilir bir iş akışı sağlar. Bir veri bilimcisi tarafından kaydedilen bir makine öğrenimi modelinin, çıkarım hattı için ve bir sonraki ortam düzeyinde (test, UAT veya üretim) kullanılmadan önce bir onaylayıcının incelemesi ve onaylaması gerekir. Çözümün kullanım alanları AWS Lambda, Amazon API Ağ Geçidi, Amazon EventBridgeve ortada insan onayı müdahalesiyle iş akışını otomatikleştirmek için SageMaker. Aşağıdaki mimari diyagramı genel sistem tasarımını, kullanılan AWS hizmetlerini ve geliştirmeden üretime kadar insan müdahalesi ile makine öğrenimi modellerini onaylamak ve tanıtmak için iş akışını gösterir.
İş akışı aşağıdaki adımları içerir:
- Eğitim hattı bir modeli geliştirir ve SageMaker model kaydına kaydeder. Bu noktada model durumu
PendingManualApproval. - EventBridge, basit kurallarla otomatik olarak eylem gerçekleştirmek için durum değişikliği olaylarını izler.
- EventBridge model kaydı olay kuralı, kayıtlı modeli onaylamak veya reddetmek için bağlantı içeren bir e-posta oluşturan bir Lambda işlevini çağırır.
- Onaylayan kişi, modeli inceleyip onaylama veya reddetme bağlantısını içeren bir e-posta alır.
- Onaylayan, e-postadaki API Ağ Geçidi uç noktasına giden bağlantıyı izleyerek modeli onaylar.
- API Gateway, model güncellemelerini başlatmak için bir Lambda işlevini çağırır.
- Model kaydı, model durumu için güncellenir (
Approvedgeliştirme ortamı için, ancakPendingManualApprovaltest, UAT ve üretim için). - Model ayrıntısı şurada saklanır: AWS Parametre Deposu, yeteneği AWS Sistem Yöneticisimodel sürümü, onaylı hedef ortam, model paketi dahil.
- Çıkarım hattı, hedef ortam için onaylanan modeli Parametre Deposu'ndan getirir.
- Çıkarım sonrası bildirim Lambda işlevi, toplu çıkarım metriklerini toplar ve modeli bir sonraki ortama tanıtmak için onaylayana bir e-posta gönderir.
Önkoşullar
Bu gönderideki iş akışı, eğitim hattı ortamının diğer kaynaklarla birlikte SageMaker'da kurulduğunu varsayar. Eğitim hattının girdisi özellikler veri kümesidir. Özellik oluşturma ayrıntıları bu yazıya dahil edilmemiştir ancak ML modellerinin eğitildikten sonra kaydedilmesine, onaylanmasına ve tanıtılmasına odaklanmaktadır. Model, model kayıt defterine kayıtlıdır ve bir izleme çerçevesi tarafından yönetilmektedir. Amazon SageMaker Model Monitörü Herhangi bir sapmayı tespit etmek ve modelin sapması durumunda yeniden eğitime devam etmek.
İş akışı ayrıntıları
Onay iş akışı, eğitim hattından geliştirilen bir modelle başlar. Veri bilimcileri bir model geliştirdiğinde, onu SageMaker Model Kaydına model durumuyla kaydederler. PendingManualApproval. EventBridge, SageMaker'ı model kayıt olayı açısından izler ve Lambda işlevini çağıran bir olay kuralını tetikler. Lambda işlevi, modelin onaylanması için bir API Ağ Geçidi uç noktasına başka bir Lambda işlevine bağlantı içeren bir e-postayı dinamik olarak oluşturur. Onaylayan, modeli onaylamak için bağlantıyı izlediğinde API Gateway, onay eylemini SageMaker Model Kayıt Defterini ve Parametre Deposu'ndaki model niteliklerini güncelleyen Lambda işlevine iletir. Onaylayanın kimliğinin doğrulanması ve Active Directory tarafından yönetilen onaylayan grubunun bir parçası olması gerekir. İlk onay, modeli şu şekilde işaretler: Approved geliştirici için ama PendingManualApproval test, UAT ve üretim için. Parametre Deposu'na kaydedilen model nitelikleri; model sürümünü, model paketini ve onaylanmış hedef ortamı içerir.
Çıkarım hattının bir model getirmesi gerektiğinde, hedef ortam için onaylanmış en son model sürümü için Parametre Deposunu kontrol eder ve çıkarım ayrıntılarını alır. Çıkarım hattı tamamlandığında, modeli bir sonraki ortam düzeyine yükseltmek için onay isteyen bir paydaşa çıkarım sonrası bildirim e-postası gönderilir. E-postada model ve ölçümlerle ilgili ayrıntıların yanı sıra model niteliklerini güncelleyen bir Lambda işlevi için API Ağ Geçidi uç noktasına yönelik bir onay bağlantısı bulunur.
Aşağıda, model oluşturma aşamasından üretim aşamasına kadar makine öğrenimi modeli onay/promosyon iş akışına yönelik olayların ve uygulama adımlarının sırası yer almaktadır. Model, geliştirmeden teste, UAT'ye ve üretim ortamlarına kadar her adımda açık bir insan onayıyla tanıtılır.
Model geliştirmeye hazır olan eğitim hattıyla başlıyoruz. Model sürümü SageMaker Model Registry'de 0 olarak başlar.
- SageMaker eğitim hattı, SageMaker Model Registry'de bir model geliştirir ve kaydeder. Model sürüm 1 kayıtlıdır ve şununla başlar: Manuel Onay Bekliyor durumu.
Model Kayıt Defteri meta verilerinin ortamlar için dört özel alanı vardır: dev, test, uat, veprod.
- EventBridge, basit kurallarla otomatik olarak harekete geçmek için SageMaker Model Kayıt Defterini durum değişikliği açısından izler.
- Model kaydı olay kuralı, kayıtlı modeli onaylamak veya reddetmek için bağlantı içeren bir e-posta oluşturan bir Lambda işlevini çağırır.
- Onaylayan kişi, modeli inceleyip onaylama (veya reddetme) bağlantısını içeren bir e-posta alır.
- Onaylayan, e-postadaki API Ağ Geçidi uç noktasına giden bağlantıyı izleyerek modeli onaylar.
- API Gateway, model güncellemelerini başlatmak için Lambda işlevini çağırır.
- SageMaker Model Kaydı, model durumuyla güncellenir.
- Model sürümü, onaylanmış hedef ortam ve model paketi dahil olmak üzere model ayrıntı bilgileri Parametre Deposu'nda saklanır.
- Çıkarım hattı, hedef ortam için onaylanan modeli Parametre Deposu'ndan getirir.
- Çıkarım sonrası bildirim Lambda işlevi, toplu çıkarım metriklerini toplar ve modeli bir sonraki ortama tanıtmak için onaylayana bir e-posta gönderir.
- Onaylayan kişi, SageMaker Model Kayıt Defterini ve Parametre Deposunu güncellemek için Lambda işlevini tetikleyen API Ağ Geçidi uç noktasına giden bağlantıyı takip ederek model tanıtımını bir sonraki seviyeye onaylar.
Model sürümü oluşturma ve onayının tam geçmişi, Parametre Deposu'nda incelenmek üzere kaydedilir.
Sonuç
Büyük ML modeli geliştirme yaşam döngüsü, ölçeklenebilir bir ML modeli onay süreci gerektirir. Bu gönderide, SageMaker Model Registry, EventBridge, API Gateway ve Lambda'yı kullanarak insan müdahalesiyle bir makine öğrenimi modeli kaydı, onayı ve tanıtım iş akışının uygulanmasını paylaştık. MLOps platformunuz için ölçeklenebilir bir ML modeli geliştirme süreci düşünüyorsanız benzer bir iş akışını hayata geçirmek için bu yazıdaki adımları takip edebilirsiniz.
yazarlar hakkında
tom kim AWS'de Kıdemli Çözüm Mimarıdır ve AWS'de çözümler geliştirerek müşterilerinin iş hedeflerine ulaşmalarına yardımcı olur. Başta Sağlık Hizmetleri ve Yaşam Bilimleri olmak üzere çeşitli sektörlerde kurumsal sistem mimarisi ve operasyonları konusunda geniş deneyime sahiptir. Tom her zaman müşteriler için istenen iş sonuçlarına yol açan yeni teknolojileri öğreniyor; AI/ML, GenAI ve Veri Analitiği. Ayrıca fırsat buldukça yeni yerlere seyahat etmekten ve yeni golf sahalarında oynamaktan da hoşlanıyor.
Şamika AriyawansaAmazon Web Services'in (AWS) Sağlık ve Yaşam Bilimleri bölümünde Kıdemli Yapay Zeka/ML Çözümleri Mimarı olarak hizmet veren, Büyük Dil Modeli (LLM) eğitimi, çıkarım optimizasyonları ve MLOps (Makine Öğrenimi) odaklı Üretken Yapay Zeka konusunda uzmanlaşmıştır. Operasyonlar). Etkili ve ölçeklenebilir yapay zeka çözümleri için güçlü eğitim süreçleri, verimli çıkarım mekanizmaları ve kolaylaştırılmış MLOps uygulamaları sağlayarak gelişmiş Üretken Yapay Zekayı projelerine dahil etme konusunda müşterilere rehberlik eder. Shamika, profesyonel taahhütlerinin ötesinde tutkuyla kayak ve off-road maceralarını sürdürüyor.
Jayadeep Pabbisetty Merck'te Kıdemli ML/Veri Mühendisidir ve burada iş için veri bilimi ve analitiğinin kilidini açmak üzere ETL ve MLOps çözümleri tasarlayıp geliştirmektedir. Yeni teknolojileri öğrenme, yeni yollar keşfetme ve sürekli değişen BT endüstrisiyle birlikte gelişmek için gerekli becerileri edinme konusunda her zaman heveslidir. Boş zamanlarında spor tutkusunun peşinden gidiyor, seyahat etmeyi ve yeni yerler keşfetmeyi seviyor.
Prabakaran Mathaiyan Tiger Analytics LLC'de Kıdemli Makine Öğrenimi Mühendisidir ve burada model oluşturma, eğitim, doğrulama, izleme, CICD ve AWS'de makine öğrenimi çözümlerinin iyileştirilmesine yönelik çözümler sunarak müşterilerinin iş hedeflerine ulaşmalarına yardımcı olur. Prabakaran her zaman müşteriler için istenen iş sonuçlarına yol açan yeni teknolojileri öğreniyor; AI/ML, GenAI, GPT ve LLM. Ayrıca vakit buldukça kriket oynamayı da seviyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
