जेफिरनेट लोगो

AWS स्टेप फ़ंक्शंस का उपयोग करके Amazon SageMaker में लीगेसी मशीन लर्निंग कोड लाएँ

दिनांक:

हजारों AWS ग्राहक पूरी तरह से प्रबंधित बुनियादी ढाँचे और उपकरणों के साथ अपने ML विकास को गति देने के लिए AWS मशीन लर्निंग (ML) सेवाओं का उपयोग करते हैं। उन ग्राहकों के लिए जो अपने स्थानीय डेस्कटॉप जैसे परिसर में एमएल मॉडल विकसित कर रहे हैं, वे एडब्ल्यूएस पर उपलब्ध एमएल सेवाओं, बुनियादी ढांचे और कार्यान्वयन संसाधनों के सबसे व्यापक सेट का पूरी तरह से लाभ उठाने के लिए अपने विरासत एमएल मॉडल को एडब्ल्यूएस क्लाउड में माइग्रेट करना चाहते हैं। .

अवधि लीगेसी कोड कोड को संदर्भित करता है जिसे स्थानीय डेस्कटॉप पर मैन्युअल रूप से चलाने के लिए विकसित किया गया था, और क्लाउड-तैयार एसडीके जैसे कि के साथ नहीं बनाया गया है अजगर के लिए AWS SDK (Boto3) or अमेज़न SageMaker पायथन एसडीके. दूसरे शब्दों में, ये लीगेसी कोड क्लाउड परिनियोजन के लिए अनुकूलित नहीं हैं। माइग्रेशन के लिए सबसे अच्छा अभ्यास है इन लीगेसी कोड को अमेज़न SageMaker एपीआई या सैजमेकर पायथन एसडीके। हालाँकि, कुछ मामलों में, बड़ी संख्या में विरासत मॉडल वाले संगठनों के पास उन सभी मॉडलों को फिर से लिखने के लिए समय या संसाधन नहीं हो सकते हैं।

इस पोस्ट में, हम लीगेसी एमएल कोड को एडब्ल्यूएस क्लाउड में माइग्रेट करने के लिए एक स्केलेबल और आसानी से लागू होने वाले दृष्टिकोण को साझा करते हैं। अमेज़न SageMaker और AWS स्टेप फ़ंक्शंस, कम से कम आवश्यक कोड रीफैक्टरिंग के साथ। अधिक कार्यक्षमता जोड़ने के लिए आप आसानी से इस समाधान का विस्तार कर सकते हैं। हम प्रदर्शित करते हैं कि कैसे दो अलग-अलग व्यक्तित्व, एक डेटा वैज्ञानिक और एक MLOps इंजीनियर, सैकड़ों विरासत मॉडल को उठाने और स्थानांतरित करने के लिए सहयोग कर सकते हैं।

समाधान अवलोकन

इस ढांचे में, हम विरासत कोड को एक कंटेनर में एक के रूप में चलाते हैं SageMaker प्रसंस्करण काम। SageMaker पुराने स्क्रिप्ट को एक प्रोसेसिंग कंटेनर के अंदर चलाता है। प्रसंस्करण कंटेनर छवि या तो एक SageMaker अंतर्निर्मित छवि या एक कस्टम छवि हो सकती है। प्रसंस्करण कार्य के लिए अंतर्निहित बुनियादी ढांचा SageMaker द्वारा पूरी तरह से प्रबंधित किया जाता है। लीगेसी कोड में किसी बदलाव की आवश्यकता नहीं है। SageMaker प्रसंस्करण नौकरियां बनाने के लिए परिचित होना ही आवश्यक है।

हम दो व्यक्तियों की भागीदारी मानते हैं: एक डेटा वैज्ञानिक और एक MLOps इंजीनियर। डेटा वैज्ञानिक SageMaker में कोड को मैन्युअल रूप से या कोड रिपॉजिटरी से क्लोन करके जैसे कि कोड को स्थानांतरित करने के लिए जिम्मेदार है AWS कोडकॉमिट. अमेज़ॅन सैजमेकर स्टूडियो एमएल जीवनचक्र में विभिन्न चरणों को लागू करने के लिए एक एकीकृत विकास वातावरण (आईडीई) प्रदान करता है, और डेटा वैज्ञानिक इसका उपयोग मैन्युअल रूप से एक कस्टम कंटेनर बनाने के लिए करता है जिसमें परिनियोजन के लिए आवश्यक कोड कलाकृतियाँ होती हैं। कंटेनर जैसे कंटेनर रजिस्ट्री में पंजीकृत किया जाएगा अमेज़ॅन इलास्टिक कंटेनर रजिस्ट्री (अमेज़ॅन ईसीआर) परिनियोजन उद्देश्यों के लिए।

MLOps इंजीनियर एक स्टेप फ़ंक्शंस वर्कफ़्लो के निर्माण का स्वामित्व लेता है जिसे हम डेटा वैज्ञानिक द्वारा उपयुक्त मापदंडों के साथ विकसित कस्टम कंटेनर को तैनात करने के लिए पुन: उपयोग कर सकते हैं। स्टेप फ़ंक्शंस वर्कफ़्लो उपयोग के मामले में फिट होने के लिए आवश्यकतानुसार मॉड्यूलर हो सकता है, या इसमें एकल प्रक्रिया शुरू करने के लिए केवल एक चरण शामिल हो सकता है। कोड माइग्रेट करने के लिए आवश्यक प्रयास को कम करने के लिए, हमने पूरी तरह कार्यात्मक परिनियोजन प्रक्रिया बनाने के लिए तीन मॉड्यूलर घटकों की पहचान की है:

  • preprocessing
  • अनुमान
  • प्रोसेसिंग के बाद

निम्नलिखित आरेख हमारे समाधान आर्किटेक्चर और वर्कफ़्लो को दिखाता है।

इस समाधान में निम्नलिखित कदम शामिल हैं:

  1. डेटा वैज्ञानिक व्यक्तित्व एक कोड रिपॉजिटरी से क्लोनिंग के माध्यम से लीगेसी कोड आयात करने के लिए स्टूडियो का उपयोग करता है, और फिर कोड को अलग-अलग घटकों में संशोधित करता है जो एमएल जीवनचक्र (प्रीप्रोसेसिंग, अनुमान और पोस्टप्रोसेसिंग) के चरणों का पालन करते हैं।
  2. डेटा वैज्ञानिक स्टूडियो का उपयोग करता है, और विशेष रूप से स्टूडियो इमेज बिल्ड सीएलआई डॉकर इमेज बनाने के लिए सेजमेकर द्वारा प्रदान किया गया टूल। यह सीएलआई उपकरण डेटा वैज्ञानिक को सीधे स्टूडियो के भीतर छवि बनाने की अनुमति देता है और छवि को अमेज़ॅन ईसीआर में स्वचालित रूप से पंजीकृत करता है।
  3. MLOps इंजीनियर पंजीकृत कंटेनर छवि का उपयोग करता है और स्टेप फ़ंक्शंस का उपयोग करके एक विशिष्ट उपयोग के मामले के लिए परिनियोजन बनाता है। स्टेप फंक्शंस एक सर्वर रहित कार्यप्रवाह सेवा है जो अमेज़ॅन स्टेट्स लैंग्वेज के उपयोग के माध्यम से सीधे सेजमेकर एपीआई को नियंत्रित कर सकती है।

SageMaker प्रसंस्करण नौकरी

आइए समझते हैं कैसे ए SageMaker प्रसंस्करण नौकरी रन। निम्नलिखित आरेख दिखाता है कि कैसे SageMaker एक प्रसंस्करण कार्य को स्पिन करता है।

SageMaker आपकी स्क्रिप्ट लेता है, आपके डेटा को कॉपी करता है अमेज़न सरल भंडारण सेवा (अमेज़न S3), और उसके बाद एक प्रसंस्करण कंटेनर खींचती है। प्रसंस्करण कंटेनर छवि या तो एक SageMaker अंतर्निहित छवि या आपके द्वारा प्रदान की जाने वाली कस्टम छवि हो सकती है। प्रसंस्करण कार्य के लिए अंतर्निहित बुनियादी ढांचा SageMaker द्वारा पूरी तरह से प्रबंधित किया जाता है। आपके काम की अवधि के लिए क्लस्टर संसाधनों का प्रावधान किया जाता है, और नौकरी पूरी होने पर साफ़ किया जाता है। प्रसंस्करण कार्य का आउटपुट आपके द्वारा निर्दिष्ट S3 बकेट में संग्रहीत किया जाता है। अपना स्वयं का कंटेनर बनाने के बारे में अधिक जानने के लिए देखें अपना खुद का प्रसंस्करण कंटेनर बनाएं (उन्नत परिदृश्य).

SageMaker प्रोसेसिंग जॉब डॉकर कंटेनर एंट्रीपॉइंट स्क्रिप्ट का उपयोग करके आपकी प्रोसेसिंग इमेज को सेट करता है। आप के कंटेनर एंटर्रीपॉइंट और कंटेनर आर्ग्यूमेंट्स पैरामीटर का उपयोग करके अपना स्वयं का कस्टम एंट्रीपॉइंट भी प्रदान कर सकते हैं ऐप विशिष्टता एपीआई। यदि आप अपने स्वयं के कस्टम एंट्रीपॉइंट का उपयोग करते हैं, तो आपके पास अपनी छवियों के पुनर्निर्माण के बिना इसे स्टैंडअलोन स्क्रिप्ट के रूप में चलाने के लिए अतिरिक्त लचीलापन है।

इस उदाहरण के लिए, हम एक कस्टम कंटेनर का निर्माण करते हैं और अनुमान के लिए एक SageMaker प्रोसेसिंग जॉब का उपयोग करते हैं। प्रीप्रोसेसिंग और पोस्टप्रोसेसिंग जॉब्स प्री-बिल्ट स्किकिट-लर्न कंटेनर के साथ स्क्रिप्ट मोड का उपयोग करते हैं।

.. पूर्वापेक्षाएँ

इस पोस्ट का पालन करने के लिए, निम्नलिखित आवश्यक चरणों को पूरा करें:

  1. एक स्टूडियो डोमेन बनाएँ। निर्देशों के लिए, देखें त्वरित सेटअप का उपयोग करके अमेज़न सैजमेकर डोमेन पर ऑनबोर्ड.
  2. एक S3 बाल्टी बनाएँ।
  3. उपलब्ध कराए गए क्लोन गीथहब रेपो स्टूडियो में।

GitHub रेपो को अलग-अलग फ़ोल्डरों में व्यवस्थित किया गया है जो एमएल जीवनचक्र में विभिन्न चरणों के अनुरूप हैं, जिससे आसान नेविगेशन और प्रबंधन की सुविधा मिलती है:

विरासत कोड माइग्रेट करें

इस चरण में, हम लीगेसी कोड को स्थानांतरित करने के लिए जिम्मेदार डेटा वैज्ञानिक के रूप में कार्य करते हैं।

हम खोलकर शुरू करते हैं build_and_push.ipynb स्मरण पुस्तक।

नोटबुक में प्रारंभिक सेल आपको स्थापित करने में मार्गदर्शन करता है स्टूडियो इमेज बिल्ड सीएलआई. यह सीएलआई स्वचालित रूप से पुन: प्रयोज्य निर्माण वातावरण बनाकर सेटअप प्रक्रिया को सरल बनाता है जिसे आप उच्च स्तरीय कमांड के माध्यम से इंटरैक्ट कर सकते हैं। सीएलआई के साथ, एक छवि बनाना उतना ही आसान है जितना इसे बनाने के लिए कहना, और परिणाम अमेज़ॅन ईसीआर में आपकी छवि के स्थान के लिए एक लिंक होगा। यह दृष्टिकोण छवि निर्माण प्रक्रिया को सुव्यवस्थित करते हुए, CLI द्वारा ऑर्केस्ट्रेटेड जटिल अंतर्निहित वर्कफ़्लो को प्रबंधित करने की आवश्यकता को समाप्त करता है।

इससे पहले कि हम बिल्ड कमांड चलाएं, यह सुनिश्चित करना महत्वपूर्ण है कि कमांड चलाने वाली भूमिका के पास आवश्यक अनुमतियां हैं, जैसा कि सीएलआई में निर्दिष्ट है GitHub रीडमी या संबंधित पोस्ट. आवश्यक अनुमतियाँ प्रदान करने में विफल रहने से निर्माण प्रक्रिया के दौरान त्रुटियाँ हो सकती हैं।

निम्नलिखित कोड देखें:

#Install sagemaker_studio_image_build utility
import sys
!{sys.executable} -m pip install sagemaker_studio_image_build

अपने लेगेसी कोड को सुव्यवस्थित करने के लिए, इसे तीन अलग-अलग पायथन स्क्रिप्ट्स में विभाजित करें, जिनका नाम है preprocessing.py,prediction.py, और postprocessing.py। कोड को उन कार्यों में परिवर्तित करके सर्वोत्तम प्रोग्रामिंग प्रथाओं का पालन करें जिन्हें मुख्य कार्य से बुलाया जाता है। सुनिश्चित करें कि सभी आवश्यक पुस्तकालय आयात किए गए हैं और किसी भी कस्टम पुस्तकालय को शामिल करने के लिए आवश्यकताएँ। txt फ़ाइल अद्यतन की गई है।

आपके द्वारा कोड को व्यवस्थित करने के बाद, इसे आवश्यकता फ़ाइल के साथ डॉकटर कंटेनर में पैकेज करें। आप निम्न आदेश का उपयोग कर स्टूडियो के भीतर आसानी से कंटेनर बना सकते हैं:

sm-docker build .

डिफ़ॉल्ट रूप से, छवि नवीनतम टैग के साथ Sagemakerstudio नामक ECR रिपॉजिटरी में धकेल दी जाएगी। इसके अतिरिक्त, स्टूडियो ऐप की निष्पादन भूमिका का उपयोग डिफ़ॉल्ट SageMaker Python SDK S3 बकेट के साथ किया जाएगा। हालाँकि, उपयुक्त CLI विकल्पों का उपयोग करके इन सेटिंग्स को आसानी से बदला जा सकता है। निम्नलिखित कोड देखें:

sm-docker build . --repository mynewrepo:1.0 --role SampleDockerBuildRole --bucket sagemaker-us-east-1-0123456789999 --vpc-id vpc-0c70e76ef1c603b94 --subnet-ids subnet-0d984f080338960bb,subnet-0ac3e96808c8092f2 --security-group-ids sg-0d31b4042f2902cd0

अब जबकि कंटेनर एक ECR रिपॉजिटरी में बनाया और पंजीकृत किया गया है, तो यह गहराई से गोता लगाने का समय है कि हम इसका उपयोग भविष्यवाणी करने के लिए कैसे कर सकते हैं। हम आपको प्री-बिल्ट को इस्तेमाल करने की प्रक्रिया भी दिखाते हैं scikit सीखने कंटेनर preprocessing.py और postprocessing.py चलाने के लिए।

कंटेनर का उत्पादन करें

इस चरण में, हम MLOps इंजीनियर के रूप में कार्य करते हैं जो पिछले चरण में निर्मित कंटेनर का उत्पादन करता है।

हम वर्कफ़्लो को ऑर्केस्ट्रेट करने के लिए स्टेप फ़ंक्शंस का उपयोग करते हैं। स्टेप फंक्शंस वर्कफ़्लो में सेवाओं की एक विविध श्रेणी को एकीकृत करने में असाधारण लचीलेपन की अनुमति देता है, किसी भी मौजूदा निर्भरता को समायोजित करता है जो विरासत प्रणाली में मौजूद हो सकता है। यह दृष्टिकोण सुनिश्चित करता है कि सभी आवश्यक घटक निर्बाध रूप से एकीकृत हैं और वांछित अनुक्रम में चलते हैं, जिसके परिणामस्वरूप एक कुशल और प्रभावी वर्कफ़्लो समाधान होता है।

Step Functions कुछ AWS सेवाओं को Amazon State Language से सीधे नियंत्रित कर सकते हैं। स्टेप फ़ंक्शंस के साथ काम करने और SageMaker के साथ इसके एकीकरण के बारे में अधिक जानने के लिए देखें स्टेप फंक्शंस के साथ सेजमेकर को प्रबंधित करें. SageMaker के साथ स्टेप फ़ंक्शंस एकीकरण क्षमता का उपयोग करते हुए, हम स्क्रिप्ट मोड में SageMaker प्रोसेसिंग जॉब का उपयोग करके प्रीप्रोसेसिंग और पोस्टप्रोसेसिंग स्क्रिप्ट चलाते हैं और SageMaker प्रोसेसिंग जॉब के रूप में एक का उपयोग करके अनुमान लगाते हैं। कस्टम कंटेनर. हम ऐसा Python (Boto3) के लिए AWS SDK का उपयोग करके करते हैं क्रिएट प्रोसेसिंग जॉब एपीआई कॉल।

preprocessing

SageMaker कस्टम कोड चलाने के लिए कई विकल्प प्रदान करता है। यदि आपके पास केवल बिना किसी कस्टम निर्भरता वाली स्क्रिप्ट है, तो आप स्क्रिप्ट को ब्रिंग योर ओन स्क्रिप्ट (BYOS) के रूप में चला सकते हैं। ऐसा करने के लिए, बस अपनी स्क्रिप्ट को प्री-बिल्ट स्किकिट-लर्न फ्रेमवर्क कंटेनर में पास करें और कंटेनर आर्ग्युमेंट्स और कंटेनर एंटर्रीपॉइंट पैरामीटर का उपयोग करके स्क्रिप्ट मोड में एक सैजमेकर प्रोसेसिंग जॉब चलाएं। ऐप विशिष्टता एपीआई। सरल स्क्रिप्ट चलाने के लिए यह एक सीधा और सुविधाजनक तरीका है।

में "प्रीप्रोसेसिंग स्क्रिप्ट मोड" स्थिति कॉन्फ़िगरेशन देखें नमूना चरण कार्य वर्कफ़्लो कस्टम स्क्रिप्ट चलाने के लिए CreateProcessingJob API कॉल को कॉन्फ़िगर करने के तरीके को समझने के लिए।

अनुमान

आप का उपयोग करके एक कस्टम कंटेनर चला सकते हैं अपना खुद का प्रसंस्करण कंटेनर बनाएं दृष्टिकोण। SageMaker प्रसंस्करण कार्य इसके साथ संचालित होता है /opt/ml स्थानीय पथ, और आप कॉन्फ़िगरेशन में अपने प्रसंस्करण इनपुट और उनके स्थानीय पथ को निर्दिष्ट कर सकते हैं। प्रसंस्करण कार्य तब कलाकृतियों को स्थानीय कंटेनर में कॉपी करता है और कार्य शुरू करता है। काम पूरा होने के बाद, यह प्रसंस्करण आउटपुट के स्थानीय पथ में निर्दिष्ट कलाकृतियों को अपने निर्दिष्ट बाहरी स्थान पर कॉपी करता है।

में "अनुमान कस्टम कंटेनर" स्थिति कॉन्फ़िगरेशन देखें नमूना चरण कार्य वर्कफ़्लो कस्टम कंटेनर चलाने के लिए CreateProcessingJob API कॉल को कॉन्फ़िगर करने के तरीके को समझने के लिए।

प्रोसेसिंग के बाद

आप स्टेप फंक्शंस क्रिएटप्रोसेसिंगजॉब स्टेप का उपयोग करके प्रीप्रोसेसिंग स्क्रिप्ट की तरह ही पोस्टप्रोसेसिंग स्क्रिप्ट चला सकते हैं। एक पोस्टप्रोसेसिंग स्क्रिप्ट चलाने से आप अनुमान कार्य पूरा होने के बाद कस्टम प्रोसेसिंग कार्य कर सकते हैं।

स्टेप फ़ंक्शंस वर्कफ़्लो बनाएँ

त्वरित प्रोटोटाइप के लिए, हम स्टेप फ़ंक्शंस का उपयोग करते हैं अमेज़न स्टेट्स लैंग्वेज. आप स्टेट्स लैंग्वेज का उपयोग करके सीधे स्टेप फ़ंक्शंस की परिभाषा को संपादित कर सकते हैं। को देखें नमूना चरण कार्य वर्कफ़्लो.

आप स्टेप फंक्शन्स कंसोल पर एक नई स्टेप फंक्शन्स स्टेट मशीन का चयन करके बना सकते हैं कोड में अपना वर्कफ़्लो लिखें.

स्टेप फ़ंक्शंस आपके द्वारा उपयोग किए जाने वाले संसाधनों को देख सकते हैं और एक भूमिका बना सकते हैं। हालाँकि, आप निम्न संदेश देख सकते हैं:

“यदि SageMaker के लिए RoleArn एक पथ से है, तो चरण कार्य IAM नीति उत्पन्न नहीं कर सकते हैं। SageMaker RoleArn को अपनी राज्य मशीन परिभाषा में हार्डकोड करें, या SageMaker को कॉल करने के लिए चरण कार्यों के लिए उचित अनुमतियों के साथ एक मौजूदा भूमिका चुनें।

इसे संबोधित करने के लिए, आपको एक बनाना होगा AWS पहचान और अभिगम प्रबंधन (IAM) चरण कार्यों के लिए भूमिका। निर्देशों के लिए, देखें अपनी राज्य मशीन के लिए IAM भूमिका बनाना. फिर वर्कफ़्लो चलाने के लिए आवश्यक अनुमतियाँ प्रदान करने के लिए निम्न IAM नीति संलग्न करें:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sagemaker:createProcessingJob", "sagemaker:ListTags", "sagemaker:AddTags" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "iam:PassRole" ], "Resource": "*", "Condition": { "StringEquals": { "iam:PassedToService": "sagemaker.amazonaws.com" } } } ]
}

निम्नलिखित आंकड़ा स्टेप फ़ंक्शंस वर्कफ़्लो के प्रत्येक चरण में डेटा और कंटेनर छवियों के प्रवाह को दिखाता है।

स्टेप फंक्शंस में इनिशियलाइज़ करने के लिए न्यूनतम आवश्यक पैरामीटर की एक सूची निम्नलिखित है; आप इसका भी उल्लेख कर सकते हैं नमूना इनपुट पैरामीटर JSON:

  • इनपुट_यूरी - इनपुट फ़ाइलों के लिए S3 URI
  • आउटपुट_यूरी - आउटपुट फ़ाइलों के लिए S3 URI
  • कोड_यूरी - स्क्रिप्ट फ़ाइलों के लिए S3 URI
  • Custom_image_uri - आपके द्वारा बनाए गए कस्टम कंटेनर के लिए कंटेनर यूआरआई
  • scikit_image_uri - प्री-बिल्ट स्किकिट-लर्न फ्रेमवर्क के लिए कंटेनर यूआरआई
  • भूमिका - कार्य को चलाने के लिए निष्पादन भूमिका
  • उदाहरण_प्रकार - उदाहरण प्रकार जिसे आपको कंटेनर चलाने के लिए उपयोग करने की आवश्यकता है
  • आयतन_आकार - भंडारण मात्रा का आकार जो आपको कंटेनर के लिए चाहिए
  • अधिकतम_रनटाइम - कंटेनर के लिए अधिकतम रनटाइम, 1 घंटे के डिफ़ॉल्ट मान के साथ

वर्कफ़्लो चलाएं

हमने लीगेसी कोड को प्रबंधनीय भागों में विभाजित किया है: प्रीप्रोसेसिंग, अनुमान और पोस्टप्रोसेसिंग। हमारी अनुमान आवश्यकताओं का समर्थन करने के लिए, हमने आवश्यक लाइब्रेरी निर्भरताओं से लैस एक कस्टम कंटेनर बनाया है। SageMaker API को कॉल करने की इसकी क्षमता का लाभ उठाते हुए, हमारी योजना स्टेप फ़ंक्शंस का उपयोग करने की है। हमने सेजमेकर एपीआई का उपयोग करके कस्टम कोड चलाने के लिए दो तरीके दिखाए हैं: एक सेजमेकर प्रोसेसिंग जॉब जो पूर्व-निर्मित छवि का उपयोग करता है और रनटाइम पर एक कस्टम स्क्रिप्ट लेता है, और एक सेजमेकर प्रोसेसिंग जॉब जो एक कस्टम कंटेनर का उपयोग करता है, जो आवश्यक के साथ पैक किया जाता है। कस्टम अनुमान चलाने के लिए कलाकृतियाँ।

निम्नलिखित आंकड़ा स्टेप फ़ंक्शंस वर्कफ़्लो के रन को दिखाता है।

सारांश

इस पोस्ट में, हमने स्थानीय विकास वातावरण से लीगेसी एमएल पायथन कोड को माइग्रेट करने और एक मानकीकृत MLOps प्रक्रिया को लागू करने की प्रक्रिया पर चर्चा की। इस दृष्टिकोण के साथ, आप आसानी से सैकड़ों मॉडलों को स्थानांतरित कर सकते हैं और अपनी वांछित उद्यम परिनियोजन प्रथाओं को शामिल कर सकते हैं। हमने SageMaker पर कस्टम कोड चलाने के लिए दो अलग-अलग विधियाँ प्रस्तुत की हैं, और आप वह चुन सकते हैं जो आपकी आवश्यकताओं के लिए सबसे उपयुक्त हो।

यदि आपको अत्यधिक अनुकूलन योग्य समाधान की आवश्यकता है, तो कस्टम कंटेनर दृष्टिकोण का उपयोग करने की अनुशंसा की जाती है। यदि आपके पास मूल स्क्रिप्ट हैं और आपको अपना कस्टम कंटेनर बनाने की आवश्यकता नहीं है, तो आप अपनी कस्टम स्क्रिप्ट को चलाने के लिए पूर्व-निर्मित छवियों का उपयोग करना अधिक उपयुक्त पा सकते हैं, जैसा कि पहले बताए गए प्रीप्रोसेसिंग चरण में बताया गया है। इसके अलावा, यदि आवश्यक हो, तो आप इस समाधान को लीगेसी मॉडल प्रशिक्षण और मूल्यांकन चरणों को कंटेनरीकृत करने के लिए लागू कर सकते हैं, जैसे कि इस पोस्ट में अनुमान चरण को कैसे कंटेनरीकृत किया गया है।


लेखक के बारे में

भावना चिरुमामिला डेटा और मशीन लर्निंग ऑपरेशंस के लिए एक मजबूत जुनून के साथ AWS में एक सीनियर रेजिडेंट आर्किटेक्ट हैं। वह उद्यमों को प्रभावी डेटा और एमएल रणनीति बनाने में मदद करने के लिए अनुभव और उत्साह का खजाना लेकर आती है। अपने खाली समय में, भावना को अपने परिवार के साथ समय बिताना और यात्रा, लंबी पैदल यात्रा, बागवानी और वृत्तचित्र देखने जैसी विभिन्न गतिविधियों में शामिल होना अच्छा लगता है।

श्याम नामवरम Amazon Web Services (AWS) में एक वरिष्ठ आर्टिफिशियल इंटेलिजेंस (AI) और मशीन लर्निंग (ML) विशेषज्ञ समाधान वास्तुकार हैं। वह तकनीकी मार्गदर्शन प्रदान करके और AWS पर सुरक्षित क्लाउड समाधान बनाने और उन्हें नया करने में मदद करके अपने AI और ML अपनाने में तेजी लाने के लिए ग्राहकों के साथ काम करता है। वह एआई और एमएल, कंटेनर और एनालिटिक्स तकनीकों में माहिर हैं। काम के बाहर, उन्हें खेल खेलना और ट्रेकिंग के साथ प्रकृति का अनुभव करना पसंद है।

किंगवेई ली अमेज़न वेब सर्विसेज में मशीन लर्निंग स्पेशलिस्ट है। उन्होंने अपने सलाहकार के अनुसंधान अनुदान खाते को तोड़ने के बाद ऑपरेशन रिसर्च में पीएचडी प्राप्त की और उन्होंने नोबेल पुरस्कार देने का वादा किया। वर्तमान में, वह AWS पर वित्तीय सेवा और बीमा उद्योग के निर्माण मशीन लर्निंग समाधान में ग्राहकों की मदद करता है। अपने खाली समय में, वह पढ़ना और पढ़ाना पसंद करते हैं।

श्रीनिवास शेख बोस्टन स्थित AWS में एक समाधान वास्तुकार है। वह उद्यम ग्राहकों को क्लाउड तक अपनी यात्रा को गति देने में मदद करता है। उन्हें कंटेनर और मशीन लर्निंग तकनीकों का शौक है। अपने खाली समय में, वह अपने परिवार के साथ समय बिताना, खाना बनाना और यात्रा करना पसंद करते हैं।

स्पॉट_आईएमजी

नवीनतम खुफिया

स्पॉट_आईएमजी