Amazon Adaçayı Yapıcı geniş kapsamlı bir uçtan uca makine öğrenimi (ML) platformudur. Özellikler gibi sınıfının en iyisi bilgi işlem ve hizmetlerle verilerdeki önyargıyı almak, dönüştürmek ve ölçmek ve üretimdeki modelleri eğitmek, dağıtmak ve yönetmek için Amazon SageMaker Veri Düzenleyicisi, Amazon SageMaker Stüdyosu, Amazon SageMaker Tuval, Amazon SageMaker Model Kaydı, Amazon SageMaker Özellik Mağazası, Amazon SageMaker Ardışık Düzenleri, Amazon SageMaker Model Monitörü, ve Amazon SageMaker Netleştirin. Birçok kuruluş, geliştiriciler ve veri bilimcileri için ortak bir araç seti sağladığı için makine öğrenimi platformu olarak SageMaker'ı seçiyor. bir dizi AWS bağımsız yazılım satıcısı (ISV) iş ortakları SageMaker'ı ve eğitim, dağıtım ve model kaydı dahil olmak üzere çeşitli özelliklerini kullanmak için hizmet olarak yazılım (SaaS) platformlarının kullanıcıları için halihazırda entegrasyonlar oluşturmuştur.

Bu gönderide, SaaS platformlarının SageMaker ile entegre olmasının faydalarını, olası entegrasyon yelpazesini ve bu entegrasyonları geliştirme sürecini ele alıyoruz. Ayrıca bu entegrasyonları kolaylaştırmak için en yaygın mimarileri ve AWS kaynaklarını derinlemesine inceliyoruz. Bunun amacı, benzer entegrasyonlar oluşturan ISV iş ortakları ve diğer SaaS sağlayıcıları için pazara sürüm süresini hızlandırmak ve SaaS platformlarının kullanıcısı olan müşterilere bu entegrasyonlarda SaaS sağlayıcılarıyla iş ortaklığı yapma konusunda ilham vermektir.

SageMaker ile entegrasyonun faydaları

SaaS sağlayıcılarının SaaS platformlarını SageMaker ile entegre etmesinin çeşitli avantajları vardır:

• SaaS platformunun kullanıcıları, SageMaker'daki kapsamlı bir makine öğrenimi platformundan yararlanabilir
• Kullanıcılar, SaaS platformunun içindeki veya dışındaki verilerle makine öğrenimi modelleri oluşturabilir ve bu makine öğrenimi modellerinden yararlanabilir.
• Kullanıcılara SaaS platformu ile SageMaker arasında sorunsuz bir deneyim sunar.
• Kullanıcılar, şu adreste bulunan temel modellerini kullanabilir: Amazon SageMaker Hızlı Başlangıç üretken AI uygulamaları oluşturmak için
• Kuruluşlar SageMaker'da standartlaşabilir
• SaaS sağlayıcıları temel işlevlerine odaklanabilir ve makine öğrenimi modeli geliştirme için SageMaker'ı sunabilir
• SaaS sağlayıcılarını AWS ile ortak çözümler oluşturmak ve piyasaya sürmek için bir temelle donatır.

SageMaker'a genel bakış ve entegrasyon seçenekleri

SageMaker, makine öğrenimi yaşam döngüsünün her adımı için araçlara sahiptir. SaaS platformları, aşağıdaki şekilde gösterildiği gibi veri etiketleme ve hazırlamadan model eğitimi, barındırma, izleme ve çeşitli bileşenlerle modelleri yönetmeye kadar makine öğrenimi yaşam döngüsü boyunca SageMaker ile entegre olabilir. İhtiyaçlara bağlı olarak makine öğrenimi yaşam döngüsünün tüm bölümleri müşteri AWS hesabında veya SaaS AWS hesabında çalıştırılabilir ve veriler ve modeller aşağıdakiler kullanılarak hesaplar arasında paylaşılabilir: AWS Kimlik ve Erişim Yönetimi (IAM) politikaları veya üçüncü taraf kullanıcı tabanlı erişim araçları. Entegrasyondaki bu esneklik, SageMaker'ı müşteriler ve SaaS sağlayıcıları için standartlaştırma için ideal bir platform haline getirir.

Entegrasyon süreci ve mimarileri

Bu bölümde, entegrasyon sürecini dört ana aşamaya ayırıyoruz ve ortak mimarileri ele alıyoruz. Bunlara ek olarak başka entegrasyon noktaları olabileceğini, ancak bunların daha az yaygın olduğunu unutmayın.

• Veri erişimi – SaaS platformundaki verilere SageMaker'dan nasıl erişilir?
• Model eğitimi – Model nasıl eğitilir?
• Model dağıtımı ve yapılar – Modelin nerede konuşlandırıldığı ve hangi yapıtların üretildiği
• model çıkarımı – SaaS platformunda çıkarım nasıl gerçekleşir?

Aşağıdaki bölümlerde yer alan diyagramlar, SageMaker'ın müşteri AWS hesabında çalıştığını varsayar. Açıklanan seçeneklerin çoğu, SaaS AWS hesabında SageMaker çalışıyorsa da geçerlidir. Bazı durumlarda bir ISV, yazılımını müşterinin AWS hesabına dağıtabilir. Bu genellikle özel bir müşteri AWS hesabındadır, yani SageMaker'ın çalıştığı müşteri AWS hesabına yine de hesaplar arası erişim olması gerekir.

SaaS platformundaki verilere SageMaker'dan erişildiğinde ve SaaS platformundan makine öğrenimi modeli çağrıldığında AWS hesaplarında kimlik doğrulamanın elde edilebileceği birkaç farklı yol vardır. Önerilen yöntem kullanmaktır IAM rolleri. Bir alternatif kullanmaktır AWS erişim anahtarları bir erişim anahtarı kimliği ve gizli erişim anahtarından oluşur.

Veri erişimi

SaaS platformundaki verilere SageMaker'dan nasıl erişilebileceğine ilişkin birden çok seçenek vardır. Verilere bir SageMaker not defterinden, kullanıcıların makine öğrenimi için veri hazırlayabildiği SageMaker Data Wrangler'dan veya SageMaker Canvas'tan erişilebilir. En yaygın veri erişim seçenekleri şunlardır:

• SageMaker Data Wrangler yerleşik konektörü - SageMaker Data Wrangler konektörü ML modeli eğitimi için verilerin bir SaaS platformundan içe aktarılmasını sağlar. Bağlayıcı, AWS ve SaaS sağlayıcısı tarafından ortaklaşa geliştirilmiştir. Mevcut SaaS platformu bağlayıcıları arasında Databricks ve Snowflake bulunur.
• SaaS platformu için Amazon Athena Birleşik Sorgusu - Birleştirilmiş sorgular kullanıcıların bir SageMaker not defterinden platformu sorgulamasına olanak tanır. Amazon Atina SaaS sağlayıcısı tarafından geliştirilen özel bir bağlayıcı kullanarak.
• Amazon Uygulama Akışı - İle Amazon Uygulama Akışıiçine veri ayıklamak için özel bir bağlayıcı kullanabilirsiniz. Amazon Basit Depolama Hizmeti (Amazon S3), daha sonra SageMaker'dan erişilebilir. Bir SaaS platformu için bağlayıcı, AWS veya SaaS sağlayıcısı tarafından geliştirilebilir. açık kaynak Özel Bağlayıcı SDK'sı Python veya Java kullanarak özel, paylaşılan veya genel bir bağlayıcının geliştirilmesini sağlar.
• SaaS platformu SDK'sı – SaaS platformunda Python SDK gibi bir SDK (Yazılım Geliştirme Kiti) varsa, bu, doğrudan bir SageMaker not defterinden verilere erişmek için kullanılabilir.
• Diğer seçenekler – Bunlara ek olarak, SaaS sağlayıcısının verilerini API'ler, dosyalar veya bir aracı aracılığıyla ifşa etmesine bağlı olarak başka seçenekler de olabilir. Ajan şuraya kurulabilir: Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) or AWS Lambda. Alternatif olarak, örneğin bir hizmet AWS Tutkal veya veri aktarımı için bir üçüncü taraf çıkarma, dönüştürme ve yükleme (ETL) aracı kullanılabilir.

Aşağıdaki diyagram, veri erişim seçenekleri için mimariyi göstermektedir.

Model eğitimi

Model, SageMaker Studio'da bir veri bilimcisi tarafından şu şekilde eğitilebilir: Amazon SageMaker Otomatik Pilot veri bilimcisi olmayan bir kişi tarafından veya SageMaker Canvas'ta bir iş analisti tarafından. SageMaker Autopilot, özellik mühendisliği, algoritma seçimi ve hiperparametre ayarları dahil olmak üzere makine öğrenimi modelleri oluşturmanın ağır yükünü ortadan kaldırır ve ayrıca doğrudan bir SaaS platformuna entegre edilmesi nispeten kolaydır. SageMaker Canvas, makine öğrenimi modellerini eğitmek için kod içermeyen bir görsel arabirim sağlar.

Ek olarak Veri bilimcileri, Alexa, AI21 Labs, Hugging Face ve Stability AI gibi kaynaklardan gelen temel modeller dahil olmak üzere SageMaker JumpStart'ta bulunan önceden eğitilmiş modelleri kullanabilir ve bunları kendi üretken AI kullanım durumları için ayarlayabilir.

Alternatif olarak, model yapılarının erişilebilir ve okunabilir olması koşuluyla, şirket içi kaynaklar da dahil olmak üzere üçüncü taraf veya iş ortağı tarafından sağlanan bir araç, hizmet ve altyapıda model eğitilebilir.

Aşağıdaki diyagram bu seçenekleri göstermektedir.

Model dağıtımı ve yapılar

Modeli eğitip test ettikten sonra, müşteri hesabındaki bir SageMaker model uç noktasına konuşlandırabilir veya SageMaker'dan dışa aktarın ve SaaS platformu deposuna aktarın. Model, pickle, joblib ve ONNX gibi yaygın makine öğrenimi çerçeveleri tarafından desteklenen standart biçimlerde depolanabilir ve alınabilir (Açık Sinir Ağı Değişimi).

Makine öğrenimi modeli bir SageMaker model uç noktasına dağıtılırsa, ek model meta verileri SageMaker Model Kaydı, SageMaker Model Kartları, veya bir S3 grubundaki bir dosyada. Bu, model versiyonu, model girdileri ve çıktıları, model metrikleri, model oluşturma tarihi, çıkarım belirtimi, veri köken bilgisi ve daha fazlası olabilir. Bölgede mevcut bir mülkün bulunmadığı yerlerde model paketi, veriler şu şekilde saklanabilir: özel meta veriler veya bir S3 dosyasında.

Bu tür meta verilerin oluşturulması, SaaS sağlayıcılarının makine öğrenimi modelinin uçtan uca yaşam döngüsünü daha etkin bir şekilde yönetmesine yardımcı olabilir. Bu bilgi, SaaS platformundaki model günlüğüyle eşitlenebilir ve makine öğrenimi modelindeki değişiklikleri ve güncellemeleri izlemek için kullanılabilir. Daha sonra bu günlük, SaaS platformunda bu makine öğrenimi modelini kullanan aşağı akış verilerinin ve uygulamaların yenilenip yenilenmeyeceğini belirlemek için kullanılabilir.

Aşağıdaki şema bu mimariyi göstermektedir.

model çıkarımı

SageMaker aşağıdakiler için dört seçenek sunar: Makine öğrenimi modeli çıkarımı: gerçek zamanlı çıkarım, sunucusuz çıkarım, eşzamansız çıkarım ve toplu dönüştürme. İlk üçü için model, bir SageMaker model uç noktasına dağıtılır ve SaaS platformu, AWS SDK'ları. Önerilen seçenek, Python SDK'yı kullanmaktır. Bunların her biri için çıkarım modeli, öngörücünün tahmin() veya tahmin_async() yöntemlerinin kullanılması bakımından benzerdir. Hesaplar arası erişim kullanılarak elde edilebilir rol tabanlı erişim.

Arka ucu ile mühürlemek de mümkündür Amazon API Ağ Geçidikorumalı bir özel ağda çalışan bir Lambda işlevi aracılığıyla uç noktayı çağıran.

İçin toplu dönüştürme, SaaS platformundaki verilerin önce toplu olarak müşterinin AWS hesabındaki bir S3 klasörüne aktarılması gerekir, ardından toplu olarak bu veriler üzerinde çıkarım yapılır. Çıkarım, önce bir dönüştürücü işi veya nesnesi yaratılarak ve ardından verilerin S3 konumuyla transform() yöntemi çağrılarak yapılır. Sonuçlar, bir veri kümesi olarak toplu olarak SaaS platformuna geri aktarılır ve bir toplu ardışık düzen işinin parçası olarak platformdaki diğer veri kümeleriyle birleştirilir.

Çıkarım için başka bir seçenek de bunu doğrudan SaaS hesabı bilgi işlem kümesinde yapmaktır. Model, SaaS platformuna aktarıldığında durum böyle olacaktır. Bu durumda, SaaS sağlayıcıları bir EC2 bulut sunucusu aralığı makine öğrenimi çıkarımı için optimize edilmiştir.

Aşağıdaki diyagram bu seçenekleri göstermektedir.

Örnek entegrasyonlar

Birkaç ISV, SaaS platformları ve SageMaker arasında entegrasyonlar oluşturmuştur. Bazı örnek entegrasyonlar hakkında daha fazla bilgi edinmek için aşağıdakilere bakın:

Sonuç

Bu gönderide, SaaS sağlayıcılarının SageMaker'ı kendi SaaS platformlarıyla neden ve nasıl entegre etmesi gerektiğini, süreci dört parçaya ayırarak ve ortak entegrasyon mimarilerini ele alarak açıkladık. SageMaker ile entegrasyon oluşturmak isteyen SaaS sağlayıcıları bu mimarileri kullanabilir. Diğer SageMaker bileşenleri de dahil olmak üzere bu gönderide ele alınanların ötesinde herhangi bir özel gereksinim varsa AWS hesap ekiplerinizle iletişime geçin. Entegrasyon oluşturulduktan ve doğrulandıktan sonra, ISV iş ortakları AWS Hizmetine Hazır Program SageMaker için ve çeşitli avantajların kilidini açın.

Ayrıca, SaaS platformlarının kullanıcısı olan müşterilerden, Amazon SageMaker entegrasyonuna ilgilerini AWS hesap ekipleriyle kaydetmelerini istiyoruz, çünkü bu, SaaS sağlayıcıları için geliştirme konusunda ilham vermeye ve ilerlemeye yardımcı olabilir.

Yazarlar Hakkında

Mehmet Bakkaloğlu AWS'de Veri Analitiği, AI/ML ve ISV iş ortaklarına odaklanan bir Baş Çözüm Mimarıdır.

Raj Kadiyala AWS'de Baş AI/ML Evanjelistidir.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/integrate-saas-platforms-with-amazon-sagemaker-to-enable-ml-powered-applications/