تمت كتابة هذا المنشور بالتعاون مع Ankur Goyal وKarthikeyan Chokappa من قسم الأعمال السحابية والرقمية في PwC Australia.
أصبح الذكاء الاصطناعي (AI) والتعلم الآلي (ML) جزءًا لا يتجزأ من الأنظمة والعمليات، مما يتيح اتخاذ القرارات في الوقت الفعلي، وبالتالي يؤدي إلى تحسينات أعلى وأسفل عبر المؤسسات. ومع ذلك، فإن وضع نموذج تعلم الآلة في الإنتاج على نطاق واسع يمثل تحديًا ويتطلب مجموعة من أفضل الممارسات. لدى العديد من الشركات بالفعل علماء بيانات ومهندسون لتعلم الآلة يمكنهم بناء نماذج حديثة، ولكن نقل النماذج إلى الإنتاج والحفاظ على النماذج على نطاق واسع لا يزال يمثل تحديًا. تحد مسارات العمل اليدوية من عمليات دورة حياة تعلم الآلة لإبطاء عملية التطوير، وزيادة التكاليف، والإضرار بجودة المنتج النهائي.
تطبق عمليات التعلم الآلي (MLOps) مبادئ DevOps على أنظمة تعلم الآلة. تمامًا مثلما تجمع DevOps بين التطوير والعمليات لهندسة البرمجيات، تجمع MLOps بين هندسة تعلم الآلة وعمليات تكنولوجيا المعلومات. مع النمو السريع في أنظمة ML وفي سياق هندسة ML، توفر MLOps القدرات اللازمة للتعامل مع التعقيدات الفريدة للتطبيق العملي لأنظمة ML. بشكل عام، تتطلب حالات استخدام تعلم الآلة حلاً متكاملاً متاحًا بسهولة لتصنيع وتبسيط العملية التي تأخذ نموذج تعلم الآلة من التطوير إلى نشر الإنتاج على نطاق واسع باستخدام MLOps.
ولمواجهة تحديات العملاء هذه، قامت شركة PwC Australia بتطوير Machine Learning Ops Accelerator كمجموعة من العمليات الموحدة وقدرات التكنولوجيا لتحسين تشغيل نماذج الذكاء الاصطناعي/التعلم الآلي التي تتيح التعاون متعدد الوظائف عبر الفرق طوال عمليات دورة حياة تعلم الآلة. يوفر PwC Machine Learning Ops Accelerator، المبني على خدمات AWS الأصلية، حلاً مناسبًا للغرض يتكامل بسهولة مع حالات استخدام تعلم الآلة بسهولة للعملاء في جميع الصناعات. في هذا المنشور، نركز على بناء ونشر حالة استخدام تعلم الآلة التي تدمج مكونات دورة حياة مختلفة لنموذج تعلم الآلة، مما يتيح التكامل المستمر (CI)، والتسليم المستمر (CD)، والتدريب المستمر (CT)، والمراقبة المستمرة (CM).
حل نظرة عامة
في MLOps، تتضمن الرحلة الناجحة من البيانات إلى نماذج تعلم الآلة إلى التوصيات والتنبؤات في أنظمة وعمليات الأعمال عدة خطوات حاسمة. يتضمن أخذ نتيجة تجربة أو نموذج أولي وتحويلها إلى نظام إنتاج يحتوي على ضوابط قياسية وجودة وحلقات تغذية راجعة. إنها أكثر بكثير من مجرد الأتمتة. يتعلق الأمر بتحسين ممارسات المنظمة وتقديم نتائج قابلة للتكرار وقابلة للتكرار على نطاق واسع.
جزء صغير فقط من حالة استخدام تعلم الآلة في العالم الحقيقي يشتمل على النموذج نفسه. يوضح الشكل 1 المكونات المختلفة اللازمة لبناء قدرة التعلم الآلي المتقدمة المتكاملة وتشغيلها بشكل مستمر على نطاق واسع. وكما هو موضح في الرسم البياني التالي، يشتمل برنامج PwC MLOps Accelerator على سبع إمكانات متكاملة رئيسية وخطوات متكررة تمكن CI وCD وCT و CM لحالة استخدام ML. يستفيد الحل من ميزات AWS الأصلية من الأمازون SageMaker، وبناء إطار مرن وقابل للتوسيع حول هذا الموضوع.
الشكل 1 - قدرات PwC Machine Learning Ops Accelerator
في سيناريو المؤسسة الحقيقية، قد توجد خطوات ومراحل اختبار إضافية لضمان التحقق الصارم من صحة النماذج ونشرها عبر بيئات مختلفة.
- إدارة البيانات والنماذج توفير قدرة مركزية تحكم عناصر تعلم الآلة طوال دورة حياتها. فهو يتيح إمكانية التدقيق والتتبع والامتثال. كما أنه يعزز إمكانية المشاركة وإعادة الاستخدام وقابلية اكتشاف أصول تعلم الآلة.
- تطوير نموذج ML يسمح لمختلف الأشخاص بتطوير خط تدريب نموذجي قوي وقابل للتكرار، والذي يشتمل على سلسلة من الخطوات، بدءًا من التحقق من صحة البيانات وتحويلها إلى التدريب النموذجي والتقييم.
- التكامل المستمر / التسليم يسهل البناء الآلي والاختبار والتعبئة لخط أنابيب التدريب النموذجي ونشره في بيئة التنفيذ المستهدفة. تعمل عمليات التكامل مع سير عمل CI/CD وإصدارات البيانات على تعزيز أفضل ممارسات MLOps مثل الإدارة والمراقبة للتطوير التكراري وإصدار البيانات.
- نموذج ML للتدريب المستمر القدرة على تنفيذ مسار التدريب بناءً على محفزات إعادة التدريب؛ أي عندما تتوفر بيانات جديدة أو يتراجع أداء النموذج إلى ما دون الحد المحدد مسبقًا. يقوم بتسجيل النموذج المُدرب إذا كان مؤهلاً كمرشح نموذجي ناجح ويخزن عناصر التدريب وبيانات التعريف المرتبطة به.
- نشر النموذج يسمح بالوصول إلى النموذج المدرب المسجل لمراجعة إصدار الإنتاج والموافقة عليه، كما يتيح تعبئة النموذج واختباره ونشره في بيئة خدمة التنبؤ لخدمة الإنتاج.
- خدمة التنبؤ تبدأ القدرة النموذج المنشور لتوفير التنبؤ من خلال أنماط الإنترنت أو الدُفعات أو التدفق. يلتقط وقت تشغيل العرض أيضًا سجلات عرض النموذج للمراقبة المستمرة والتحسينات.
- المراقبة المستمرة يراقب النموذج من أجل الفعالية التنبؤية لاكتشاف تسوس النموذج وفعالية الخدمة (زمن الاستجابة، ومسارات التدفق طوال الوقت، وأخطاء التنفيذ)
بنية PwC Machine Learning Ops Accelerator
تم بناء الحل على أساس خدمات AWS الأصلية باستخدام Amazon SageMaker والتكنولوجيا بدون خادم للحفاظ على الأداء وقابلية التوسع مرتفعة وتكاليف التشغيل منخفضة.
الشكل 2 - بنية PwC Machine Learning Ops Accelerator
- يوفر PwC Machine Learning Ops Accelerator استحقاق وصول يعتمد على الشخصية للبناء والاستخدام والعمليات التي تمكن مهندسي تعلم الآلة وعلماء البيانات من أتمتة نشر خطوط الأنابيب (التدريب والخدمة) والاستجابة بسرعة للتغيرات في جودة النموذج. مدير دور Amazon SageMaker يتم استخدامه لتنفيذ نشاط تعلم الآلة القائم على الأدوار، و الأمازون S3 يستخدم لتخزين بيانات الإدخال والتحف.
- يستخدم الحل أصول إنشاء النموذج الحالية من العميل ويبني إطارًا مرنًا وقابل للتوسيع حول هذا باستخدام خدمات AWS الأصلية. تم إنشاء عمليات تكامل بين Amazon S3 وGit وAWS CodeCommit والتي تسمح بإصدار مجموعة البيانات مع الحد الأدنى من الإدارة المستقبلية.
- يتم إنشاء قالب AWS CloudFormation باستخدام مجموعة تطوير سحابة AWS (AWS CDK). يوفر AWS CDK القدرة على إدارة التغييرات للحل الكامل. يتضمن المسار الآلي خطوات لتخزين النماذج الجاهزة وتتبع المقاييس.
- تم تصميم PwC MLOps Accelerator ليكون معياريًا ويتم تقديمه كبنية تحتية كرمز (IaC) للسماح بعمليات النشر التلقائي. تستخدم عملية النشر كود AWS, AWS كود البناء, خط أنابيب AWSونموذج AWS CloudFormation. يتوفر الحل الكامل الشامل لتشغيل نموذج ML كرمز قابل للنشر.
- من خلال سلسلة من قوالب IaC، يتم نشر ثلاثة مكونات متميزة: بناء النموذج، ونشر النموذج، ومراقبة النموذج وخدمة التنبؤ، باستخدام خطوط أنابيب Amazon SageMaker
- يقوم خط بناء النموذج بأتمتة عملية التدريب والتقييم للنموذج ويتيح الموافقة على النموذج المُدرب وتسجيله.
- يوفر مسار نشر النموذج البنية التحتية اللازمة لنشر نموذج تعلم الآلة للاستدلال المجمع وفي الوقت الفعلي.
- ينشر خط أنابيب خدمة مراقبة النموذج والتنبؤ البنية التحتية المطلوبة لخدمة التنبؤات ومراقبة أداء النموذج.
- تم تصميم PwC MLOps Accelerator ليكون مستقلاً عن نماذج تعلم الآلة وأطر تعلم الآلة وبيئات وقت التشغيل. يتيح الحل الاستخدام المألوف للغات البرمجة مثل Python وR، وأدوات التطوير مثل Jupyter Notebook، وأطر عمل ML من خلال ملف التكوين. تُسهِّل هذه المرونة على علماء البيانات تحسين النماذج بشكل مستمر ونشرها باستخدام لغتهم وبيئتهم المفضلة.
- يحتوي الحل على عمليات تكامل مضمنة لاستخدام الأدوات المعدة مسبقًا أو المخصصة لتعيين مهام وضع العلامات باستخدام الحقيقة الأمازون SageMaker الأرض لمجموعات البيانات التدريبية لتوفير التدريب والمراقبة المستمرة.
- تم تصميم مسار ML الشامل باستخدام ميزات SageMaker الأصلية (أمازون ساجميكر ستوديو , خطوط أنابيب بناء نموذج Amazon SageMaker, تجارب Amazon SageMakerو نقاط نهاية Amazon SageMaker).
- يستخدم الحل إمكانات Amazon SageMaker المضمنة لإصدار النموذج وتتبع نسب النموذج ومشاركة النموذج والاستدلال بدون خادم مع سجل نموذج Amazon SageMaker.
- بمجرد دخول النموذج في مرحلة الإنتاج، يقوم الحل بمراقبة جودة نماذج التعلم الآلي بشكل مستمر في الوقت الفعلي. الأمازون SageMaker نموذج مراقب يستخدم لمراقبة النماذج بشكل مستمر في الإنتاج. يتم استخدام Amazon CloudWatch Logs لتجميع ملفات السجل التي تراقب حالة النموذج، ويتم إرسال الإشعارات باستخدام Amazon SNS عندما تصل جودة النموذج إلى حدود معينة. قطع الأشجار الأصلية مثل (هههههههههههه) تُستخدم لالتقاط حالة التشغيل لتسريع عملية استكشاف الأخطاء وإصلاحها.
تجول الحل
تتعمق الإرشادات التفصيلية التالية في الخطوات القياسية لإنشاء عملية MLOps لنموذج يستخدم PwC MLOps Accelerator. تصف هذه الإرشادات التفصيلية حالة استخدام لمهندس MLOps الذي يريد نشر التدفق لنموذج تعلم الآلة الذي تم تطويره مؤخرًا باستخدام ملف تعريف/تكوين بسيط وسهل الاستخدام.
الشكل 3 - دورة حياة عملية PwC Machine Learning Ops Accelerator
- للبدء، قم بالتسجيل مسرع PwC MLOps للوصول إلى عناصر الحل. الحل بأكمله مدفوع من ملف YAML للتكوين واحد (
config.yaml) لكل نموذج. جميع التفاصيل المطلوبة لتشغيل الحل موجودة في ملف التكوين هذا ويتم تخزينها مع النموذج في مستودع Git. سيكون ملف التكوين بمثابة إدخال لأتمتة خطوات سير العمل عن طريق إضفاء الطابع الخارجي على المعلمات والإعدادات المهمة خارج التعليمات البرمجية. - مطلوب مهندس ML للتعبئة
config.yamlملف وتشغيل خط أنابيب MLOps. يمكن للعملاء تكوين حساب AWS، والمستودع، والنموذج، والبيانات المستخدمة، واسم خط الأنابيب، وإطار التدريب، وعدد المثيلات المستخدمة للتدريب، وإطار عمل الاستدلال، وأي خطوات ما قبل وما بعد المعالجة والعديد من الخطوات الأخرى تكوينات للتحقق من جودة النموذج والتحيز وقابلية التفسير.
الشكل 4 - تكوين مسرع عمليات التعلم الآلي YAML
- يتم استخدام ملف YAML بسيط لتكوين متطلبات التدريب والنشر والمراقبة ووقت التشغيل لكل نموذج. مرة واحدة في
config.yamlتم تكوينه بشكل مناسب وحفظه بجانب النموذج في مستودع Git الخاص به، ويتم استدعاء منسق بناء النموذج. ويمكنه أيضًا القراءة من نموذج Bring-Your-Own-Model الذي يمكن تهيئته من خلال YAML لبدء نشر مسار إنشاء النموذج. - كل شيء بعد هذه النقطة يتم آليًا بواسطة الحل ولا يحتاج إلى مشاركة مهندس تعلم الآلة أو عالم البيانات. يتضمن خط الأنابيب المسؤول عن بناء نموذج تعلم الآلة المعالجة المسبقة للبيانات، والتدريب النموذجي، وتقييم النموذج، والمعالجة الشاملة. إذا اجتاز النموذج اختبارات الجودة والأداء التلقائية، فسيتم حفظ النموذج في السجل، وتتم كتابة العناصر إلى مخزن Amazon S3 وفقًا للتعريفات الموجودة في ملفات YAML. يؤدي هذا إلى إنشاء مسار نشر النموذج لنموذج ML هذا.
الشكل 5 - نموذج سير عمل نشر النموذج
- بعد ذلك، يقوم قالب النشر الآلي بتوفير النموذج في بيئة مرحلية بنقطة نهاية مباشرة. بعد الموافقة، يتم نشر النموذج تلقائيًا في بيئة الإنتاج.
- ينشر الحل خطي أنابيب مرتبطين. تنشر خدمة التنبؤ نقطة نهاية مباشرة يمكن الوصول إليها والتي يمكن من خلالها تقديم التنبؤات. تقوم مراقبة النموذج بإنشاء أداة مراقبة مستمرة تحسب أداء النموذج الرئيسي ومقاييس الجودة، مما يؤدي إلى إعادة تدريب النموذج في حالة اكتشاف تغيير كبير في جودة النموذج.
- الآن بعد أن انتهيت من عملية الإنشاء والنشر الأولي، يمكن لمهندس MLOps تكوين تنبيهات الفشل ليتم تنبيهك بشأن المشكلات، على سبيل المثال، عندما يفشل خط الأنابيب في القيام بالمهمة المقصودة منه.
- لم تعد MLOps تتعلق بتعبئة واختبار ونشر مكونات الخدمة السحابية المشابهة لنشر CI/CD التقليدي؛ إنه نظام يجب أن ينشر خدمة أخرى تلقائيًا. على سبيل المثال، يقوم مسار تدريب النموذج تلقائيًا بنشر مسار نشر النموذج لتمكين خدمة التنبؤ، والتي بدورها تتيح خدمة مراقبة النموذج.
وفي الختام
باختصار، تعد MLOps أمرًا بالغ الأهمية لأي منظمة تهدف إلى نشر نماذج تعلم الآلة في أنظمة الإنتاج على نطاق واسع. طورت شركة PwC مسرعًا لأتمتة إنشاء نماذج تعلم الآلة ونشرها وصيانتها من خلال دمج أدوات DevOps في عملية تطوير النموذج.
في هذا المنشور، اكتشفنا كيف يتم تشغيل حل PwC بواسطة خدمات تعلم الآلة الأصلية من AWS ويساعد على تبني ممارسات MLOps حتى تتمكن الشركات من تسريع رحلة الذكاء الاصطناعي الخاصة بها واكتساب المزيد من القيمة من نماذج تعلم الآلة الخاصة بها. لقد مررنا بالخطوات التي قد يتخذها المستخدم للوصول إلى PwC Machine Learning Ops Accelerator، وتشغيل المسارات، ونشر حالة استخدام تعلم الآلة التي تدمج مكونات دورة الحياة المختلفة لنموذج تعلم الآلة.
لبدء رحلة MLOps الخاصة بك على AWS Cloud على نطاق واسع وتشغيل أعباء عمل إنتاج ML لديك، قم بالتسجيل في عمليات التعلم الآلي لشركة برايس ووترهاوس كوبرز.
حول المؤلف
كيران كومار بالاري هو مهندس الحلول الرئيسي في Amazon Web Services (AWS). إنه مبشر يحب مساعدة العملاء على الاستفادة من التقنيات الجديدة وبناء حلول صناعية قابلة للتكرار لحل مشاكلهم. إنه شغوف بشكل خاص بهندسة البرمجيات والذكاء الاصطناعي التوليدي ومساعدة الشركات في تطوير منتجات الذكاء الاصطناعي/تعلم الآلة.
أنكور جويال هو مدير الممارسات السحابية والرقمية في PwC Australia، مع التركيز على البيانات والتحليلات والذكاء الاصطناعي. يتمتع أنكور بخبرة واسعة في دعم مؤسسات القطاعين العام والخاص في قيادة التحولات التكنولوجية وتصميم حلول مبتكرة من خلال الاستفادة من أصول وتقنيات البيانات.
كارثيكيان تشوكابا (KC) هو مدير في الممارسات السحابية والرقمية في PwC Australia، ويركز على البيانات والتحليلات والذكاء الاصطناعي. KC متحمسة لتصميم وتطوير ونشر حلول التحليلات الشاملة التي تحول البيانات إلى أصول قرارات قيمة لتحسين الأداء والاستخدام وتقليل التكلفة الإجمالية للملكية للأشياء المتصلة والذكية.
راما لانكالابالي هو مهندس الحلول الشريك الأول في AWS، ويعمل مع PwC لتسريع عمليات ترحيل عملائهم وتحديثهم إلى AWS. وهو يعمل في مختلف الصناعات لتسريع اعتمادها لسحابة AWS. تكمن خبرته في تصميم حلول سحابية فعالة وقابلة للتطوير، ودفع الابتكار وتحديث تطبيقات العملاء من خلال الاستفادة من خدمات AWS، وإنشاء أسس سحابية مرنة.
جيجي أونوالا هو مهندس حلول أول في AWS ويستمتع بتوجيه العملاء في حل التحديات والتفكير بشكل استراتيجي. إنه شغوف بالتكنولوجيا والبيانات وتمكين الابتكار.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/driving-advanced-analytics-outcomes-at-scale-using-amazon-sagemaker-powered-pwcs-machine-learning-ops-accelerator/
