تمت كتابة هذا المنشور بالتعاون مع Bhajandeep Singh وAjay Vishwakarma من ممارسة AWS AI/ML في Wipro.

تستخدم العديد من المؤسسات مجموعة من حلول علوم البيانات المحلية والمفتوحة المصدر لإنشاء نماذج التعلم الآلي (ML) وإدارتها.

قد تواجه فرق علوم البيانات وDevOps تحديات في إدارة مجموعات وأنظمة الأدوات المعزولة هذه. قد يتضمن دمج مجموعات أدوات متعددة لإنشاء حل مدمج إنشاء موصلات مخصصة أو مسارات عمل. إن إدارة التبعيات المختلفة بناءً على الإصدار الحالي من كل مكدس والحفاظ على تلك التبعيات مع إصدار تحديثات جديدة لكل مكدس يؤدي إلى تعقيد الحل. وهذا يزيد من تكلفة صيانة البنية التحتية ويعوق الإنتاجية.

عروض الذكاء الاصطناعي (AI) والتعلم الآلي (ML) من أمازون ويب سيرفيسز (أوس)، إلى جانب خدمات المراقبة والإخطار المتكاملة، تساعد المؤسسات على تحقيق المستوى المطلوب من الأتمتة وقابلية التوسع وجودة النموذج بتكلفة مثالية. تساعد AWS أيضًا فرق علوم البيانات وDevOps على التعاون وتبسيط عملية دورة حياة النموذج الشاملة.

تشتمل مجموعة خدمات ML من AWS على مجموعة قوية من الخدمات التي يمكنك استخدامها لتسريع تطوير تطبيقات التعلم الآلي وتدريبها ونشرها. يمكن استخدام مجموعة الخدمات لدعم دورة حياة النموذج الكاملة بما في ذلك مراقبة نماذج تعلم الآلة وإعادة تدريبها.

في هذا المنشور، نناقش تطوير النموذج وتنفيذ إطار عمل MLOps لأحد عملاء Wipro الذين يستخدمون الأمازون SageMaker وخدمات AWS الأخرى.

ويبرو هو شريك خدمات الطبقة الأولى من AWS ومقدم الخدمة المدارة (MSP). إنه حلول الذكاء الاصطناعي/تعلم الآلة دفع الكفاءة التشغيلية والإنتاجية وتجربة العملاء المحسنة للعديد من عملاء المؤسسات.

التحديات الحالية

دعونا أولاً نفهم بعض التحديات التي واجهها فريق علوم بيانات العميل وفرق DevOps في إعدادهم الحالي. يمكننا بعد ذلك فحص كيف ساعدت عروض SageMaker AI/ML المدمجة في حل هذه التحديات.

• التعاون – عمل كل من علماء البيانات على دفاتر ملاحظات Jupyter المحلية الخاصة بهم لإنشاء نماذج تعلم الآلة وتدريبها. لقد افتقروا إلى طريقة فعالة للمشاركة والتعاون مع علماء البيانات الآخرين.
• قابلية التوسع – كان التدريب وإعادة التدريب على نماذج تعلم الآلة يستغرق المزيد والمزيد من الوقت حيث أصبحت النماذج أكثر تعقيدًا بينما ظلت سعة البنية التحتية المخصصة ثابتة.
• MLOps – لم يتم دمج مراقبة النماذج والحوكمة المستمرة بشكل وثيق وأتمتتها مع نماذج تعلم الآلة. هناك تبعيات وتعقيدات عند دمج أدوات الطرف الثالث في مسار MLOps.
• قابلية إعادة الاستخدام – بدون أطر MLOps القابلة لإعادة الاستخدام، يجب تطوير كل نموذج وإدارته بشكل منفصل، مما يزيد من الجهد الإجمالي ويؤخر تشغيل النموذج.

يلخص هذا الرسم البياني التحديات وكيف عالجها تطبيق Wipro على SageMaker من خلال خدمات وعروض SageMaker المضمنة.

الشكل 1 - عروض SageMaker لترحيل أعباء عمل تعلم الآلة

حددت شركة Wipro بنية تعالج التحديات بطريقة مؤتمتة بالكامل وموفرة التكلفة.

فيما يلي حالة الاستخدام والنموذج المستخدم لبناء الحل:

• حالة الاستخدام: التنبؤ بالأسعار بناءً على مجموعة بيانات السيارات المستعملة
• نوع المشكلة: تراجع
• النماذج المستخدمة: XGBoost وLinear Learner (خوارزميات SageMaker المضمنة)

هندسة الحل

أجرى مستشارو Wipro ورشة عمل استكشافية متعمقة مع فرق علوم بيانات العملاء وDevOps وهندسة البيانات لفهم البيئة الحالية بالإضافة إلى متطلباتهم وتوقعاتهم بشأن حل حديث على AWS. بحلول نهاية المهمة الاستشارية، كان الفريق قد نفذ البنية التالية التي عالجت بشكل فعال المتطلبات الأساسية لفريق العملاء، بما في ذلك:

مشاركه الرمز - تمكن دفاتر ملاحظات SageMaker علماء البيانات من تجربة التعليمات البرمجية ومشاركتها مع أعضاء الفريق الآخرين. قامت Wipro أيضًا بتسريع رحلة نموذج التعلم الآلي الخاصة بها من خلال تنفيذ مسرعات التعليمات البرمجية ومقتطفات Wipro لتسريع هندسة الميزات والتدريب النموذجي ونشر النموذج وإنشاء خطوط الأنابيب.

خط أنابيب التكامل المستمر والتسليم المستمر (CI/CD). - استخدام إصدار التعليمات البرمجية الممكّن في مستودع GitHub الخاص بالعميل والبرامج النصية الآلية لبدء نشر خط الأنابيب عند الالتزام بإصدارات جديدة من التعليمات البرمجية.

MLOps - تنفذ البنية خط أنابيب مراقبة نموذج SageMaker لإدارة جودة النموذج المستمر من خلال التحقق من صحة البيانات وانحراف النموذج كما هو مطلوب بموجب الجدول الزمني المحدد. كلما تم اكتشاف الانحراف، يتم إطلاق حدث لإخطار الفرق المعنية لاتخاذ الإجراء أو بدء إعادة تدريب النموذج.

بنية يحركها الحدث - تم دمج مسارات التدريب النموذجي ونشر النموذج ومراقبة النموذج بشكل جيد عن طريق الاستخدام أمازون إيفينت بريدج، ناقل أحداث بدون خادم. عند وقوع أحداث محددة، يمكن لـ EventBridge استدعاء مسار للتشغيل استجابةً لذلك. يوفر هذا مجموعة من خطوط الأنابيب التي يمكن تشغيلها حسب الحاجة استجابةً للبيئة.

الشكل 2 - بنية MLOps المستندة إلى الأحداث باستخدام SageMaker

مكونات الحل

يصف هذا القسم مكونات الحلول المختلفة للبنية.

دفاتر التجارب

• الهدف: أراد فريق علوم البيانات التابع للعميل تجربة مجموعات بيانات متنوعة ونماذج متعددة للتوصل إلى الميزات المثالية، واستخدامها كمدخلات إضافية في المسار الآلي.
• حل: قامت Wipro بإنشاء دفاتر ملاحظات تجريبية لـ SageMaker تحتوي على مقتطفات من التعليمات البرمجية لكل خطوة قابلة لإعادة الاستخدام، مثل قراءة البيانات وكتابتها، وهندسة ميزات النموذج، والتدريب على النماذج، وضبط المعلمات الفائقة. يمكن أيضًا إعداد المهام الهندسية المميزة في Data Wrangler، لكن العميل طلب على وجه التحديد مهام معالجة SageMaker و وظائف خطوة AWS لأنهم كانوا أكثر راحة في استخدام تلك التقنيات. لقد استخدمنا SDK لعلم بيانات دالة الخطوة AWS لإنشاء دالة خطوة — لاختبار التدفق — مباشرة من مثيل دفتر الملاحظات لتمكين المدخلات المحددة جيدًا لخطوط الأنابيب. وقد ساعد ذلك فريق علماء البيانات على إنشاء واختبار خطوط الأنابيب بوتيرة أسرع بكثير.

خط أنابيب التدريب الآلي

• الهدف: لتمكين مسار التدريب وإعادة التدريب الآلي باستخدام معلمات قابلة للتكوين مثل نوع المثيل، والمعلمات الفائقة، و خدمة Amazon Simple Storage (Amazon S3) موقع دلو. يجب أيضًا إطلاق المسار بواسطة حدث دفع البيانات إلى S3.
• حل: نفذت شركة Wipro مسارًا تدريبيًا قابلاً لإعادة الاستخدام باستخدام Step Functions SDK، ومعالجة SageMaker، ومهام التدريب، وحاوية مراقبة نموذج SageMaker لإنشاء خط الأساس، AWS لامداوخدمات EventBridge. باستخدام بنية AWS المستندة إلى الأحداث، يتم تكوين المسار ليتم تشغيله تلقائيًا بناءً على حدث بيانات جديد يتم دفعه إلى حاوية S3 المعينة. تم تكوين الإشعارات لإرسالها إلى عناوين البريد الإلكتروني المحددة. على مستوى عال، يبدو تدفق التدريب كما في الرسم البياني التالي:

الشكل 3 - آلة خطوة خط أنابيب التدريب.

وصف التدفق لخط أنابيب التدريب الآلي

الرسم البياني أعلاه عبارة عن مسار تدريب آلي تم إنشاؤه باستخدام Step Functions وLambda وSageMaker. إنه خط أنابيب قابل لإعادة الاستخدام لإعداد تدريب تلقائي على النماذج، وإنشاء تنبؤات، وإنشاء خط أساس لمراقبة النموذج ومراقبة البيانات، وإنشاء نقطة نهاية وتحديثها استنادًا إلى قيمة عتبة النموذج السابقة.

1. المعالجة المسبقة: تأخذ هذه الخطوة البيانات من موقع Amazon S3 كمدخلات وتستخدم حاوية SageMaker SKLearn لتنفيذ مهام هندسة الميزات والمعالجة المسبقة للبيانات الضرورية، مثل التدريب والاختبار والتحقق من صحة التقسيم.
2. تدريب النموذج: باستخدام SageMaker SDK، تقوم هذه الخطوة بتشغيل التعليمات البرمجية التدريبية مع صورة النموذج المعنية وتدريب مجموعات البيانات من البرامج النصية للمعالجة المسبقة أثناء إنشاء عناصر النموذج المدربة.
3. حفظ النموذج: تقوم هذه الخطوة بإنشاء نموذج من المصنوعات النموذجية المدربة. يتم تخزين اسم النموذج كمرجع في مسار آخر باستخدام الملف متجر معلمات مدير أنظمة AWS.
4. نتائج التدريب على الاستعلام: تستدعي هذه الخطوة وظيفة Lambda لجلب مقاييس مهمة التدريب المكتملة من خطوة تدريب النموذج السابقة.
5. عتبة RMSE: تتحقق هذه الخطوة من مقياس النموذج المدرب (RMSE) مقابل حد محدد لتحديد ما إذا كان سيتم المتابعة نحو نشر نقطة النهاية أو رفض هذا النموذج.
6. دقة النموذج منخفضة جدًا: في هذه الخطوة يتم التحقق من دقة النموذج مقارنة بأفضل نموذج سابق. إذا فشل النموذج في التحقق من صحة المقياس، فسيتم إرسال الإشعار بواسطة وظيفة Lambda إلى الموضوع المستهدف المسجل فيه خدمة الإشعارات البسيطة من أمازون (Amazon SNS). إذا فشل هذا الفحص، فسيخرج التدفق لأن النموذج المدرب الجديد لم يلبي الحد المحدد.
7. انحراف بيانات الوظيفة الأساسية: إذا اجتاز النموذج المدرب خطوات التحقق من الصحة، فسيتم إنشاء إحصائيات أساسية لإصدار النموذج المدرب هذا لتمكين المراقبة ويتم تشغيل خطوات الفرع الموازية لإنشاء الأساس لفحص جودة النموذج.
8. إنشاء تكوين نقطة نهاية النموذج: تقوم هذه الخطوة بإنشاء تكوين نقطة النهاية للنموذج الذي تم تقييمه في الخطوة السابقة باستخدام تمكين التقاط البيانات ترتيب.
9. التحقق من نقطة النهاية: تتحقق هذه الخطوة من وجود نقطة النهاية أو ضرورة إنشائها. واستنادًا إلى المخرجات، فإن الخطوة التالية هي إنشاء نقطة النهاية أو تحديثها.
10. تكوين التصدير: تقوم هذه الخطوة بتصدير اسم نموذج المعلمة واسم نقطة النهاية وتكوين نقطة النهاية إلى ملف مدير أنظمة AWS متجر المعلمات

تم تكوين التنبيهات والإشعارات لإرسالها إلى البريد الإلكتروني الذي تم تكوينه لموضوع SNS عند فشل أو نجاح تغيير حالة جهاز الحالة. يتم إعادة استخدام نفس تكوين خط الأنابيب لنموذج XGBoost.

خط أنابيب تسجيل الدُفعات الآلي

• الغرض: قم بتشغيل تسجيل الدُفعة بمجرد توفر تسجيل بيانات الدُفعة المُدخلة في موقع Amazon S3 المعني. يجب أن يستخدم تسجيل الدُفعة أحدث نموذج مسجل لإجراء التسجيل.
• حل: قامت Wipro بتنفيذ مسار تسجيل قابل لإعادة الاستخدام باستخدام Step Functions SDK، وSageMaker، وLambda، وEventBridge. يتم تشغيل المسار تلقائيًا بناءً على توفر بيانات مجموعة التسجيل الجديدة لموقع S3 المعني.

الشكل 4 - آلة خطوة خط الأنابيب للمتعلم الخطي ونموذج XGBoost

وصف التدفق لمسار تسجيل الدُفعات الآلي:

1. المعالجة المسبقة: الإدخال لهذه الخطوة هو ملف بيانات من موقع S3 المعني، ويقوم بالمعالجة المسبقة المطلوبة قبل استدعاء مهمة تحويل الدفعة SageMaker.
2. سجل: تعمل هذه الخطوة على تشغيل مهمة تحويل الدُفعة لإنشاء استنتاجات، واستدعاء أحدث إصدار من النموذج المسجل وتخزين مخرجات التسجيل في حاوية S3. استخدمت Wipro مرشح الإدخال وانضم إلى وظيفة واجهة برمجة التطبيقات لتحويل الدُفعات من SageMaker. لقد ساعد في إثراء بيانات التسجيل من أجل اتخاذ قرارات أفضل.

الشكل 5 - مرشح الإدخال وتدفق الانضمام لتحويل الدفعة

3. في هذه الخطوة، يتم تشغيل مسار جهاز الحالة بواسطة ملف بيانات جديد في حاوية S3.

تم تكوين الإشعار ليتم إرساله إلى البريد الإلكتروني لموضوع SNS الذي تم تكوينه عند فشل/نجاح تغيير حالة جهاز الحالة.

خط أنابيب الاستدلال في الوقت الحقيقي

• الغرض: لتمكين الاستدلالات في الوقت الفعلي من نقاط نهاية كلا النموذجين (Linear Learner وXGBoost) والحصول على أقصى قيمة متوقعة (أو باستخدام أي منطق مخصص آخر يمكن كتابته كدالة Lambda) ليتم إرجاعها إلى التطبيق.
• حل: قام فريق Wipro بتنفيذ بنية قابلة لإعادة الاستخدام باستخدام بوابة أمازون APIونقطة النهاية Lambda وSageMaker كما هو موضح في الشكل 6:

الشكل 6 - خط أنابيب الاستدلال في الوقت الحقيقي

وصف التدفق لخط أنابيب الاستدلال في الوقت الفعلي الموضح في الشكل 6:

1. يتم إرسال الحمولة من التطبيق إلى Amazon API Gateway، والتي تقوم بتوجيهها إلى وظيفة Lambda المعنية.
2. تقوم وظيفة Lambda (مع طبقة SageMaker المخصصة المدمجة) بإجراء المعالجة المسبقة المطلوبة، أو تنسيق حمولة JSON أو CSV، واستدعاء نقاط النهاية المعنية.
3. يتم إرجاع الاستجابة إلى Lambda وإرسالها مرة أخرى إلى التطبيق من خلال API Gateway.

استخدم العميل خط الأنابيب هذا للنماذج الصغيرة والمتوسطة الحجم، والتي تضمنت استخدام أنواع مختلفة من الخوارزميات مفتوحة المصدر. إحدى المزايا الرئيسية لـ SageMaker هي أنه يمكن جلب أنواع مختلفة من الخوارزميات إلى SageMaker ونشرها باستخدام تقنية إحضار الحاوية الخاصة بك (BYOC). يتضمن BYOC وضع الخوارزمية في حاوية وتسجيل الصورة فيها سجل حاويات أمازون المرنة (Amazon ECR)، ثم استخدام نفس الصورة لإنشاء حاوية للقيام بالتدريب والاستدلال.

يعد التوسع أحد أكبر المشكلات في دورة التعلم الآلي. يأتي SageMaker مزودًا بالأدوات اللازمة لتوسيع نطاق النموذج أثناء الاستدلال. في البنية السابقة، يحتاج المستخدمون إلى تمكين التوسع التلقائي لـ SageMaker، الذي يتعامل في النهاية مع عبء العمل. لتمكين القياس التلقائي، يجب على المستخدمين توفير سياسة القياس التلقائي التي تطلب معدل النقل لكل مثيل والحد الأقصى والحد الأدنى من المثيلات. ضمن السياسة المعمول بها، يتعامل SageMaker تلقائيًا مع عبء العمل لنقاط النهاية في الوقت الفعلي ويقوم بالتبديل بين المثيلات عند الحاجة.

خط أنابيب مراقبة النموذج المخصص

• الغرض: أراد فريق العملاء الحصول على مراقبة تلقائية للنموذج لالتقاط كل من انحراف البيانات وانجراف النموذج. استخدم فريق Wipro مراقبة نموذج SageMaker لتمكين كل من انحراف البيانات وانجراف النموذج من خلال خط أنابيب قابل لإعادة الاستخدام للاستدلالات في الوقت الفعلي وتحويل الدُفعات. لاحظ أنه أثناء تطوير هذا الحل، لم توفر مراقبة نموذج SageMaker شرطًا لاكتشاف البيانات أو نموذج الانجراف لتحويل الدفعة. لقد قمنا بتنفيذ تخصيصات لاستخدام حاوية مراقبة النموذج لحمولة تحويلات الدُفعات.
• حل: قام فريق Wipro بتنفيذ خط أنابيب لمراقبة النماذج القابلة لإعادة الاستخدام للحمولات الصافية للاستدلال في الوقت الفعلي والدفعي باستخدام غراء AWS لالتقاط الحمولة الإضافية واستدعاء مهمة مراقبة النموذج وفقًا للجدول الزمني المحدد.

الشكل 7 - آلة خطوة مراقبة النموذج

وصف التدفق لخط أنابيب مراقبة النموذج المخصص:
يتم تشغيل المسار وفقًا للجدول الزمني المحدد الذي تم تكوينه من خلال EventBridge.

1. توحيد CSV - يستخدم ميزة الإشارة المرجعية AWS Glue لاكتشاف وجود حمولة إضافية في مجموعة S3 المحددة لالتقاط البيانات في الوقت الفعلي والاستجابة لها والاستجابة للبيانات المجمعة. ثم يقوم بتجميع تلك البيانات لمزيد من المعالجة.
2. تقييم الحمولة - إذا كانت هناك بيانات إضافية أو حمولة موجودة للتشغيل الحالي، فإنه يستدعي فرع المراقبة. وإلا فإنه سيتجاوز دون معالجة ويخرج من المهمة.
3. المعالجة البعدية - تم تصميم فرع المراقبة ليكون له فرعين فرعيين متوازيين - أحدهما لانحراف البيانات والآخر لانحراف النموذج.
4. المراقبة (انجراف البيانات) - يتم تشغيل فرع انجراف البيانات عندما تكون هناك حمولة. ويستخدم أحدث القيود الأساسية للنموذج المُدرب وملفات الإحصائيات التي تم إنشاؤها من خلال مسار التدريب لميزات البيانات ويقوم بتشغيل مهمة مراقبة النموذج.
5. الرصد (نموذج الانجراف) - لا يعمل فرع الانجراف النموذجي إلا عند توفير بيانات الحقيقة الأرضية، إلى جانب الحمولة النافعة للاستدلال. ويستخدم قيود خط الأساس للنموذج المُدرب وملفات الإحصائيات التي تم إنشاؤها من خلال مسار التدريب لميزات جودة النموذج ويقوم بتشغيل مهمة مراقبة النموذج.
6. تقييم الانجراف - نتيجة انحراف البيانات والنموذج هي ملف انتهاك القيد الذي يتم تقييمه بواسطة وظيفة تقييم الانجراف Lambda التي ترسل إشعارًا إلى موضوعات Amazon SNS ذات الصلة مع تفاصيل الانحراف. يتم إثراء بيانات الانجراف بشكل أكبر بإضافة سمات لأغراض إعداد التقارير. ستبدو رسائل البريد الإلكتروني الخاصة بإشعارات الانجراف مشابهة للأمثلة الموجودة في الشكل 8.

الشكل 8 - رسالة إشعار انحراف البيانات والنموذج

الشكل 9 - رسالة إشعار انحراف البيانات والنموذج

رؤى باستخدام تصور Amazon QuickSight:

• الغرض: أراد العميل الحصول على رؤى حول البيانات وانحراف النموذج، وربط بيانات الانجراف بوظائف مراقبة النموذج المعني، ومعرفة اتجاهات بيانات الاستدلال لفهم طبيعة اتجاهات بيانات التداخل.
• حل: قام فريق Wipro بإثراء بيانات الانجراف من خلال ربط بيانات الإدخال بنتيجة الانجراف، مما يتيح الفرز من الانجراف إلى المراقبة وبيانات التسجيل ذات الصلة. تم إنشاء المرئيات ولوحات المعلومات باستخدام أمازون QuickSight مع أمازون أثينا كمصدر للبيانات (باستخدام بيانات التسجيل والانجراف الخاصة بـ Amazon S3 CSV).

الشكل 10 - بنية تصور مراقبة النموذج

متطلبات التصميم:

1. استخدم مجموعة بيانات QuickSight Spice للحصول على أداء أفضل في الذاكرة.
2. استخدم واجهات برمجة التطبيقات لمجموعة بيانات تحديث QuickSight لأتمتة تحديث بيانات التوابل.
3. تنفيذ الأمان المستند إلى المجموعة للتحكم في الوصول إلى لوحة المعلومات والتحليل.
4. عبر الحسابات، يمكنك أتمتة النشر باستخدام مجموعة بيانات التصدير والاستيراد ومصدر البيانات واستدعاءات واجهة برمجة التطبيقات للتحليل المقدمة من QuickSight.

لوحة مراقبة النموذج:

لتمكين نتائج فعالة ورؤى مفيدة لوظائف مراقبة النموذج، تم إنشاء لوحات معلومات مخصصة لبيانات مراقبة النموذج. يتم دمج نقاط بيانات الإدخال بالتوازي مع بيانات طلب الاستدلال وبيانات الوظائف ومخرجات المراقبة لإنشاء تصور للاتجاهات التي كشفت عنها مراقبة النموذج.

وقد ساعد هذا بالفعل فريق العملاء على تصور جوانب ميزات البيانات المختلفة إلى جانب النتيجة المتوقعة لكل دفعة من طلبات الاستدلال.

الشكل 11 - نموذج لوحة معلومات الشاشة مع مطالبات التحديد

الشكل 12 - تحليل انجراف مراقب النموذج

وفي الختام

أدى التنفيذ الموضح في هذا المنشور إلى تمكين شركة Wipro من ترحيل نماذجها المحلية بشكل فعال إلى AWS وإنشاء إطار عمل آلي لتطوير النماذج قابل للتطوير.

يؤدي استخدام مكونات إطار العمل القابلة لإعادة الاستخدام إلى تمكين فريق علوم البيانات من حزم أعمالهم بشكل فعال كمكونات AWS Step Functions JSON القابلة للنشر. في الوقت نفسه، استخدمت فرق DevOps وعززت خط أنابيب CI/CD الآلي لتسهيل الترويج السلس وإعادة تدريب النماذج في بيئات أعلى.

لقد أتاح مكون مراقبة النموذج المراقبة المستمرة لأداء النموذج، ويتلقى المستخدمون تنبيهات وإشعارات عند اكتشاف بيانات أو انحراف في النموذج.

يستخدم فريق العميل إطار عمل MLOps هذا لترحيل أو تطوير المزيد من النماذج وزيادة اعتماد SageMaker.

ومن خلال الاستفادة من المجموعة الشاملة من خدمات SageMaker جنبًا إلى جنب مع بنيتنا المصممة بدقة، يمكن للعملاء استخدام نماذج متعددة بسلاسة، مما يقلل بشكل كبير من وقت النشر ويخفف التعقيدات المرتبطة بمشاركة التعليمات البرمجية. علاوة على ذلك، تعمل بنيتنا على تبسيط صيانة إصدار التعليمات البرمجية، مما يضمن عملية تطوير مبسطة.

تتعامل هذه البنية مع دورة التعلم الآلي بأكملها، بما في ذلك التدريب الآلي على النماذج، والاستدلال الفوري والدفعي، ومراقبة النماذج الاستباقية، وتحليل الانجراف. يعمل هذا الحل الشامل على تمكين العملاء من تحقيق الأداء الأمثل للنموذج مع الحفاظ على قدرات المراقبة والتحليل الصارمة لضمان الدقة والموثوقية المستمرة.

لإنشاء هذه البنية، ابدأ بإنشاء الموارد الأساسية مثل سحابة أمازون الافتراضية الخاصة (Amazon VPC)ودفاتر ملاحظات SageMaker ووظائف Lambda. تأكد من الإعداد المناسب إدارة الهوية والوصول (IAM) AWS السياسات المتعلقة بهذه الموارد

بعد ذلك، ركز على بناء مكونات البنية - مثل التدريب والمعالجة المسبقة للنصوص البرمجية - داخل SageMaker Studio أو Jupyter Notebook. تتضمن هذه الخطوة تطوير التعليمات البرمجية والتكوينات اللازمة لتمكين الوظائف المطلوبة.

بعد تحديد مكونات البنية، يمكنك متابعة إنشاء وظائف Lambda لإنشاء الاستدلالات أو تنفيذ خطوات ما بعد المعالجة على البيانات.

في النهاية، استخدم Step Functions لتوصيل المكونات وإنشاء سير عمل سلس ينسق تشغيل كل خطوة.

حول المؤلف

ستيفن راندولف هو مهندس حلول الشركاء الأول في Amazon Web Services (AWS). إنه يعمل على تمكين ودعم شركاء Global Systems Integrator (GSI) بشأن أحدث تقنيات AWS أثناء قيامهم بتطوير حلول الصناعة لحل تحديات الأعمال. ستيفن شغوف بشكل خاص بالأمن والذكاء الاصطناعي التوليدي، ويساعد العملاء والشركاء في تصميم حلول آمنة وفعالة ومبتكرة على AWS.

بهاجانديب سينغ شغل منصب رئيس مركز التميز في AWS AI/ML في Wipro Technologies، حيث قاد مشاركات العملاء لتقديم تحليلات البيانات وحلول الذكاء الاصطناعي. وهو حاصل على شهادة AWS AI/ML Specialty ويقوم بتأليف مدونات تقنية حول خدمات وحلول الذكاء الاصطناعي/تعلم الآلة. بفضل خبرته في حلول AWS AI/ML الرائدة عبر الصناعات، مكّن Bhajandeep العملاء من تعظيم قيمة خدمات AWS AI/ML من خلال خبرته وقيادته.

أجاي فيشواكارما هو مهندس تعلم الآلة في جناح AWS لممارسة حلول الذكاء الاصطناعي في Wipro. يتمتع بخبرة جيدة في بناء حل BYOM للخوارزمية المخصصة في SageMaker، ونشر خطوط أنابيب ETL الشاملة، وإنشاء روبوتات الدردشة باستخدام Lex، ومشاركة موارد QuickSight عبر الحساب، وإنشاء قوالب CloudFormation لعمليات النشر. إنه يحب استكشاف AWS ويأخذ مشكلة كل العملاء كتحدي لاستكشاف المزيد وتقديم الحلول لهم.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/modernizing-data-science-lifecycle-management-with-aws-and-wipro/