Bu yazı yazıldı PwC Avustralya'nın Bulut ve Dijital iş biriminden Ankur Goyal ve Karthikeyan Chokappa ile işbirliği içinde.

Yapay zeka (AI) ve makine öğrenimi (ML), sistemlerin ve süreçlerin ayrılmaz bir parçası haline geliyor, kararların gerçek zamanlı olarak alınmasını sağlıyor ve böylece kuruluşlar genelinde üst ve alt düzeyde iyileştirmeler sağlıyor. Ancak bir makine öğrenimi modelini geniş ölçekte üretime geçirmek zordur ve bir dizi en iyi uygulamayı gerektirir. Pek çok işletmede halihazırda en son teknolojiye sahip modeller oluşturabilen veri bilimcileri ve makine öğrenimi mühendisleri bulunmaktadır, ancak modelleri üretime almak ve modelleri uygun ölçekte tutmak hala bir zorluktur. Manuel iş akışları, makine öğrenimi yaşam döngüsü operasyonlarını sınırlandırarak geliştirme sürecini yavaşlatır, maliyetleri artırır ve son ürünün kalitesinden ödün verir.

Makine öğrenimi işlemleri (MLOps), DevOps ilkelerini ML sistemlerine uygular. DevOps'un yazılım mühendisliği için geliştirme ve operasyonları birleştirmesi gibi MLOps da makine öğrenimi mühendisliği ile BT operasyonlarını birleştirir. ML sistemlerindeki hızlı büyümeyle birlikte ve ML mühendisliği bağlamında MLOps, ML sistemlerinin pratik uygulamasının benzersiz karmaşıklıklarının üstesinden gelmek için gereken yetenekleri sağlar. Genel olarak, ML kullanım senaryoları, bir ML modelini MLOps kullanarak geniş ölçekte geliştirmeden üretim dağıtımına götüren süreci sanayileştirmek ve kolaylaştırmak için hazır bir entegre çözüm gerektirir.

PwC Avustralya, müşterilerin bu zorluklarını ele almak için, makine öğrenimi yaşam döngüsü operasyonları boyunca ekipler arasında işlevler arası iş birliğine olanak tanıyan yapay zeka/öğrenme öğrenimi modellerinin operasyonelleştirilmesini iyileştirmek amacıyla bir dizi standartlaştırılmış süreç ve teknoloji yeteneği olarak Machine Learning Ops Accelerator'ı geliştirdi. AWS yerel hizmetlerinin üzerine inşa edilen PwC Machine Learning Ops Accelerator, tüm sektörlerdeki müşteriler için makine öğrenimi kullanım senaryolarına kolaylıkla entegre olan amaca uygun bir çözüm sunar. Bu yazıda, bir ML modelinin çeşitli yaşam döngüsü bileşenlerini entegre eden, sürekli entegrasyonu (CI), sürekli teslimatı (CD), sürekli eğitimi (CT) ve sürekli izlemeyi (CM) mümkün kılan bir ML kullanım senaryosu oluşturmaya ve dağıtmaya odaklanıyoruz.

Çözüme genel bakış

MLOps'ta veriden makine öğrenimi modellerine, iş sistemleri ve süreçlerindeki önerilere ve tahminlere giden başarılı bir yolculuk, birkaç önemli adımı içerir. Bir deneyin veya prototipin sonucunun alınıp standart kontroller, kalite ve geri bildirim döngüleriyle bir üretim sistemine dönüştürülmesini içerir. Otomasyondan çok daha fazlası. Bu, organizasyon uygulamalarını iyileştirmek ve geniş ölçekte tekrarlanabilir ve yeniden üretilebilir sonuçlar sunmakla ilgilidir.

Gerçek dünyadaki makine öğrenimi kullanım durumunun yalnızca küçük bir kısmı modelin kendisini oluşturur. Entegre, gelişmiş bir makine öğrenimi yeteneği oluşturmak ve bunu sürekli olarak uygun ölçekte çalıştırmak için gereken çeşitli bileşenler Şekil 1'de gösterilmektedir. Aşağıdaki şemada gösterildiği gibi, PwC MLOps Hızlandırıcı, CI, CD, CT ve Bir makine öğrenimi kullanım durumunun CM'si. Çözüm, AWS'nin yerel özelliklerinden yararlanıyor Amazon Adaçayı YapıcıBunun etrafında esnek ve genişletilebilir bir çerçeve oluşturmak.

Şekil 1 -- PwC Machine Learning Ops Hızlandırıcı yetenekleri

Gerçek bir kurumsal senaryoda, modellerin farklı ortamlarda titizlikle doğrulanmasını ve dağıtılmasını sağlamak için ek adımlar ve test aşamaları mevcut olabilir.

1. Veri ve model yönetimi ML yapıtlarını yaşam döngüleri boyunca yöneten merkezi bir yetenek sağlar. Denetlenebilirlik, izlenebilirlik ve uyumluluk sağlar. Ayrıca makine öğrenimi varlıklarının paylaşılabilirliğini, yeniden kullanılabilirliğini ve keşfedilebilirliğini de destekler.
2. ML modeli geliştirme çeşitli kişilerin, veri doğrulama ve dönüştürmeden model eğitimi ve değerlendirmeye kadar bir dizi adımdan oluşan sağlam ve tekrarlanabilir bir model eğitim hattı geliştirmesine olanak tanır.
3. Sürekli entegrasyon/teslimat Model eğitim hattının otomatik olarak oluşturulmasını, test edilmesini ve paketlenmesini ve bunun hedef yürütme ortamına dağıtılmasını kolaylaştırır. CI/CD iş akışları ve veri sürümü oluşturma ile entegrasyonlar, yinelemeli geliştirme ve veri sürümü oluşturmaya yönelik yönetişim ve izleme gibi MLOps'un en iyi uygulamalarını destekler.
4. ML modeli sürekli eğitimi yetenek, yeniden eğitim tetikleyicilerine dayalı olarak eğitim hattını yürütür; yani, yeni veriler kullanıma sunuldukça veya model performansı önceden belirlenmiş bir eşiğin altına düştükçe. Başarılı bir model adayı olarak nitelendirilirse eğitilen modeli kaydeder ve eğitim yapıtlarını ve ilgili meta verileri saklar.
5. Model dağıtımı Üretim sürümünün gözden geçirilmesi ve onaylanması için kayıtlı eğitimli modele erişime izin verir ve modelin paketlenmesine, test edilmesine ve üretim hizmeti için tahmin hizmeti ortamına dağıtılmasına olanak tanır.
6. Tahmin hizmeti yetenek, çevrimiçi, toplu veya akış modelleri aracılığıyla tahmin sağlamak için konuşlandırılan modeli başlatır. Hizmet çalışma zamanı ayrıca sürekli izleme ve iyileştirmeler için model sunma günlüklerini de yakalar.
7. Sürekli izleme Modelin bozulmasını ve hizmet etkinliğini (gecikme, ardışık düzen ve yürütme hataları) tespit etmek amacıyla modeli tahmin etkinliği açısından izler.

PwC Machine Learning Ops Hızlandırıcı mimarisi

Çözüm, performansı ve ölçeklenebilirliği yüksek ve çalıştırma maliyetlerini düşük tutmak için Amazon SageMaker ve sunucusuz teknolojiyi kullanan AWS yerel hizmetleri üzerine geliştirildi.

Şekil 2 – PwC Machine Learning Ops Hızlandırıcı mimarisi 

• PwC Machine Learning Ops Accelerator, makine öğrenimi mühendislerinin ve veri bilimcilerinin işlem hatlarının dağıtımını (eğitim ve hizmet) otomatikleştirmesine ve model kalitesi değişikliklerine hızlı bir şekilde yanıt vermesine olanak tanıyan oluşturma, kullanım ve operasyonlar için kişiye dayalı bir erişim yetkisi sağlar. Amazon SageMaker Rol Yöneticisi Rol tabanlı ML etkinliğini uygulamak için kullanılır ve Amazon S3 Giriş verilerini ve yapıtlarını depolamak için kullanılır.
• Çözüm, müşterinin mevcut model oluşturma varlıklarını kullanır ve AWS yerel hizmetlerini kullanarak bunun etrafında esnek ve genişletilebilir bir çerçeve oluşturur. Amazon S3, Git ve AWS CodeCommit arasında, gelecekte minimum düzeyde yönetimle veri kümesi sürümü oluşturmaya olanak tanıyan entegrasyonlar oluşturulmuştur.
• AWS CloudFormation şablonu kullanılarak oluşturulur AWS Bulut Geliştirme Kiti (AWS CDK). AWS CDK, eksiksiz çözüm için değişiklikleri yönetme olanağı sağlar. Otomatik işlem hattı, kullanıma hazır model depolama ve metrik izlemeye yönelik adımları içerir.
• PwC MLOps Accelerator, modüler olacak şekilde tasarlanmıştır ve otomatik dağıtımlara izin vermek için kod olarak altyapı (IaC) olarak sunulur. Dağıtım işlemi şunları kullanır: AWS CodeCommit, AWS Kod Oluşturma, AWS Kod Ardışık Düzenive AWS CloudFormation şablonu. Bir makine öğrenimi modelini operasyonel hale getirmeye yönelik eksiksiz uçtan uca çözüm, dağıtılabilir kod olarak mevcuttur.
• Bir dizi IaC şablonu aracılığıyla üç farklı bileşen dağıtılır: model oluşturma, model dağıtımı ve model izleme ve tahmin hizmeti. Amazon SageMaker Ardışık Düzenleri
  • Model oluşturma işlem hattı, model eğitim ve değerlendirme sürecini otomatikleştirir ve eğitilen modelin onaylanmasına ve kaydedilmesine olanak tanır.
  • Model dağıtım hattı, toplu ve gerçek zamanlı çıkarım için ML modelini dağıtmak üzere gerekli altyapıyı sağlar.
  • Model izleme ve tahmin hizmeti ardışık düzeni, tahminleri sunmak ve model performansını izlemek için gereken altyapıyı dağıtır.
• PwC MLOps Accelerator, ML modelleri, ML çerçeveleri ve çalışma zamanı ortamlarından bağımsız olacak şekilde tasarlanmıştır. Çözüm, bir yapılandırma dosyası aracılığıyla Python ve R gibi programlama dillerinin, Jupyter Notebook gibi geliştirme araçlarının ve ML çerçevelerinin tanıdık kullanımına olanak tanır. Bu esneklik, veri bilimcilerinin modelleri sürekli olarak iyileştirmesini ve tercih ettikleri dil ve ortamı kullanarak dağıtmasını kolaylaştırır.
• Çözüm, etiketleme görevlerini atamak için önceden oluşturulmuş veya özel araçları kullanmaya yönelik yerleşik entegrasyonlara sahiptir. Amazon SageMaker Yer Gerçeği sürekli eğitim ve izleme sağlamak amacıyla eğitim veri kümeleri için.
• Uçtan uca ML işlem hattı, SageMaker yerel özellikleri kullanılarak tasarlanmıştır (Amazon SageMaker Stüdyosu , Amazon SageMaker Model Oluşturma İşlem Hatları, Amazon SageMaker Deneyleri, ve Amazon SageMaker uç noktaları).
• Çözüm, model sürümü oluşturma, model kökeni takibi, model paylaşımı ve sunucusuz çıkarım için Amazon SageMaker'ın yerleşik yeteneklerini kullanır. Amazon SageMaker Model Kaydı.
• Model üretime girdikten sonra çözüm, ML modellerinin kalitesini gerçek zamanlı olarak sürekli olarak izler. Amazon SageMaker Model Monitörü Üretimdeki modelleri sürekli olarak izlemek için kullanılır. Amazon CloudWatch Logs, model durumunu izleyen günlük dosyalarını toplamak için kullanılır ve modelin kalitesi belirli eşiklere ulaştığında Amazon SNS kullanılarak bildirimler gönderilir. Yerel günlükçüler (boto3) sorun gidermeyi hızlandırmak amacıyla çalıştırma durumunu yakalamak için kullanılır.

Çözüm yolu

Aşağıdaki izlenecek yol, PwC MLOps Accelerator'ı kullanan bir model için MLOps sürecini oluşturmaya yönelik standart adımları ayrıntılı olarak ele almaktadır. Bu izlenecek yol, sezgisel olan basit bir tanım/yapılandırma dosyası kullanarak yakın zamanda geliştirilen bir ML modeli için işlem hattını dağıtmak isteyen bir MLOps mühendisinin kullanım durumunu açıklamaktadır.

Şekil 3 – PwC Machine Learning Ops Hızlandırıcı süreç yaşam döngüsü

• Başlamak için kaydolun PwC MLOps Hızlandırıcı çözüm yapıtlarına erişim elde etmek için. Çözümün tamamı tek bir yapılandırma YAML dosyasından (config.yaml) model başına. Çözümü çalıştırmak için gereken tüm ayrıntılar bu yapılandırma dosyasında bulunur ve modelle birlikte Git deposunda saklanır. Yapılandırma dosyası, önemli parametreleri ve ayarları kodun dışında harici hale getirerek iş akışı adımlarını otomatikleştirmek için girdi görevi görecektir.
• ML mühendisinin doldurması gerekiyor config.yaml MLOps ardışık düzenini dosyalayın ve tetikleyin. Müşteriler bir AWS hesabını, depoyu, modeli, kullanılan verileri, işlem hattı adını, eğitim çerçevesini, eğitim için kullanılacak bulut sunucusu sayısını, çıkarım çerçevesini ve tüm ön ve işlem sonrası adımları ve diğer birkaçını yapılandırabilir Model kalitesini, önyargıyı ve açıklanabilirliğini kontrol etmek için yapılandırmalar.

Şekil 4 – Machine Learning Ops Hızlandırıcı yapılandırması YAML                                               

• Her modelin eğitim, dağıtım, izleme ve çalışma zamanı gereksinimlerini yapılandırmak için basit bir YAML dosyası kullanılır. Bir kere config.yaml uygun şekilde yapılandırıldığında ve modelin yanında kendi Git deposuna kaydedildiğinde, model oluşturma orkestratörü çağrılır. Ayrıca, model oluşturma işlem hattının dağıtımını tetiklemek için YAML aracılığıyla yapılandırılabilen Kendi Modelini Getir'den de okuyabilir.
• Bu noktadan sonraki her şey çözüm tarafından otomatikleştirilir ve makine öğrenimi mühendisinin ya da veri bilimcisinin katılımına ihtiyaç duyulmaz. ML modelini oluşturmaktan sorumlu olan işlem hattı, veri ön işlemeyi, model eğitimini, model değerlendirmeyi ve ost işlemeyi içerir. Model otomatik kalite ve performans testlerini geçerse model bir kayıt defterine kaydedilir ve yapılar, YAML dosyalarındaki tanımlara göre Amazon S3 depolama alanına yazılır. Bu, söz konusu ML modeli için model dağıtım hattının oluşturulmasını tetikler.

Şekil 5 – Örnek model dağıtım iş akışı                                                      

• Daha sonra otomatik bir dağıtım şablonu, modeli canlı bir uç noktaya sahip bir hazırlama ortamında hazırlar. Onay alındıktan sonra model otomatik olarak üretim ortamına dağıtılır.
• Çözüm iki bağlantılı işlem hattını dağıtır. Tahmin hizmeti, tahminlerin sunulabileceği erişilebilir bir canlı uç noktayı dağıtır. Model izleme, temel model performansını ve kalite ölçümlerini hesaplayan, model kalitesinde önemli bir değişiklik tespit edilirse modelin yeniden eğitimini tetikleyen sürekli bir izleme aracı oluşturur.
• Artık oluşturma ve ilk dağıtım aşamalarını tamamladığınıza göre, MLOps mühendisi, örneğin bir işlem hattının amaçlanan işini yapmaması gibi durumlarda uyarı almak üzere arıza uyarılarını yapılandırabilir.
• MLOps artık geleneksel CI/CD dağıtımına benzer şekilde bulut hizmeti bileşenlerinin paketlenmesi, test edilmesi ve dağıtılmasıyla ilgili değil; otomatik olarak başka bir hizmeti dağıtması gereken bir sistemdir. Örneğin, model eğitim hattı, tahmin hizmetini etkinleştirmek için model dağıtım hattını otomatik olarak dağıtır ve bu da model izleme hizmetini etkinleştirir.

Sonuç

Özetle, MLOps, ML modellerini üretim sistemlerinde geniş ölçekte dağıtmayı amaçlayan tüm kuruluşlar için kritik öneme sahiptir. PwC, DevOps araçlarını model geliştirme sürecine entegre ederek makine öğrenimi modellerini oluşturmayı, dağıtmayı ve sürdürmeyi otomatikleştirmek için bir hızlandırıcı geliştirdi.

Bu yazıda, PwC çözümünün AWS yerel makine öğrenimi hizmetleri tarafından nasıl desteklendiğini ve işletmelerin yapay zeka yolculuklarını hızlandırabilmesi ve makine öğrenimi modellerinden daha fazla değer elde edebilmesi için MLOps uygulamalarını benimsemeye nasıl yardımcı olduğunu araştırdık. Bir kullanıcının PwC Machine Learning Ops Accelerator'a erişmek, işlem hatlarını çalıştırmak ve bir ML modelinin çeşitli yaşam döngüsü bileşenlerini entegre eden bir ML kullanım senaryosunu dağıtmak için atacağı adımları inceledik.

AWS Cloud'da MLOps yolculuğunuza geniş ölçekte başlamak ve ML üretim iş yüklerinizi çalıştırmak için kaydolun PwC Makine Öğrenimi Operasyonları.

Yazarlar Hakkında

 Kiran Kumar Ballari Amazon Web Services'te (AWS) Baş Çözüm Mimarıdır. Müşterilerin yeni teknolojilerden yararlanmasına ve sorunlarını çözmek için tekrarlanabilir endüstri çözümleri oluşturmalarına yardımcı olmayı seven bir misyonerdir. Özellikle yazılım mühendisliği, Üretken Yapay Zeka ve şirketlere Yapay Zeka/Makine Öğrenimi ürün geliştirme konusunda yardımcı olma konusunda tutkuludur.

ankur goyal PwC Avustralya'nın Bulut ve Dijital uygulamalarında Direktördür ve Veri, Analitik ve Yapay Zeka konularına odaklanmıştır. Ankur, veri varlıkları ve teknolojilerinden yararlanarak teknoloji dönüşümlerini yönlendirme ve yenilikçi çözümler tasarlama konusunda kamu ve özel sektör kuruluşlarını destekleme konusunda geniş deneyime sahiptir.

Karthikeyan Chokappa (KC), PwC Avustralya'nın Bulut ve Dijital uygulamalarında Veri, Analitik ve Yapay Zeka odaklı bir Yöneticidir. KC, performansı ve kullanımı iyileştirmek ve bağlantılı ve akıllı şeylerin toplam sahip olma maliyetini azaltmak için verileri değerli karar varlıklarına dönüştüren uçtan uca analitik çözümleri tasarlama, geliştirme ve dağıtma konusunda tutkuludur.

Rama Lankalapalli AWS'de Kıdemli İş Ortağı Çözüm Mimarıdır ve müşterilerinin AWS'ye geçişini ve modernizasyonunu hızlandırmak için PwC ile birlikte çalışmaktadır. AWS Cloud'un benimsenmesini hızlandırmak için çeşitli sektörlerde çalışıyor. Uzmanlığı verimli ve ölçeklenebilir bulut çözümleri tasarlamak, AWS hizmetlerinden yararlanarak müşteri uygulamalarının inovasyonunu ve modernizasyonunu desteklemek ve dayanıklı bulut temelleri oluşturmaktır.

Jeejee Unwalla AWS'de müşterilere zorlukları çözme ve stratejik düşünme konusunda rehberlik etmekten keyif alan Kıdemli Çözüm Mimarıdır. Teknoloji, veri ve inovasyona olanak sağlama konusunda tutkulu.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/driving-advanced-analytics-outcomes-at-scale-using-amazon-sagemaker-powered-pwcs-machine-learning-ops-accelerator/