شعار زيفيرنت

7 خطوات لإتقان MLOPs - KDnuggets

التاريخ:

7 خطوات لإتقان MLOPs
صورة المؤلف
 

ترغب العديد من الشركات اليوم في دمج الذكاء الاصطناعي في سير عملها، وتحديدًا عن طريق ضبط نماذج اللغات الكبيرة ونشرها في الإنتاج. نظرًا لهذا الطلب، أصبحت هندسة MLOps ذات أهمية متزايدة. بدلاً من توظيف علماء البيانات أو مهندسي التعلم الآلي فقط، تبحث الشركات عن الأفراد الذين يمكنهم أتمتة وتبسيط عملية التدريب والتقييم وإصدار الإصدارات والنشر ومراقبة النماذج في السحابة.

في دليل المبتدئين هذا، سنركز على الخطوات السبع الأساسية لإتقان هندسة عمليات MLOps، بما في ذلك إعداد البيئة، وتتبع التجارب وإصدار الإصدارات، والتنسيق، والتكامل المستمر/التسليم المستمر (CI/CD)، وخدمة النموذج ونشره، ومراقبة النموذج. . في الخطوة الأخيرة، سنقوم ببناء مسار تعلم آلي مؤتمت بالكامل وشامل باستخدام أدوات MLOps المتنوعة.

من أجل تدريب نماذج التعلم الآلي وتقييمها، ستحتاج أولاً إلى إعداد بيئة محلية وسحابية. يتضمن ذلك نقل خطوط أنابيب التعلم الآلي ونماذجه وأطره باستخدام Docker. بعد ذلك، ستتعلم استخدام Kubernetes لأتمتة نشر هذه التطبيقات الموجودة في حاويات وتوسيع نطاقها وإدارتها. 

بحلول نهاية الخطوة الأولى، سوف تصبح على دراية بالنظام الأساسي السحابي الذي تختاره (مثل AWS أو Google Cloud أو Azure) وتتعلم كيفية استخدام Terraform للبنية التحتية كرمز لأتمتة إعداد البنية التحتية السحابية الخاصة بك. 

ملحوظة: من الضروري أن يكون لديك فهم أساسي لـ Docker وGit والإلمام بأدوات سطر الأوامر. ومع ذلك، إذا كان لديك خلفية في هندسة البرمجيات، فقد تتمكن من تخطي هذا الجزء.

سوف تتعلم كيفية استخدام MLflow لتتبع تجارب التعلم الآلي، وDVC لإصدار النماذج والبيانات، وGit لإصدار التعليمات البرمجية. يمكن استخدام MLflow لتسجيل المعلمات وملفات الإخراج وإدارة النماذج والخادم. 

تعتبر هذه الممارسات ضرورية للحفاظ على سير عمل تعلم الآلة موثق جيدًا وقابل للتدقيق وقابل للتطوير، مما يساهم في النهاية في نجاح وكفاءة مشاريع تعلم الآلة.

افحص أفضل 7 أدوات لتتبع تجربة التعلم الآلي واختر الخيار الذي يناسب سير عملك بشكل أفضل. 

في الخطوة الثالثة، ستتعلم كيفية استخدام أدوات التنسيق مثل Apache Airflow أو Prefect لأتمتة وجدولة سير عمل ML. يتضمن سير العمل المعالجة المسبقة للبيانات والتدريب على النماذج والتقييم والمزيد، مما يضمن تدفقًا سلسًا وفعالًا من البيانات إلى النشر.

تجعل هذه الأدوات كل خطوة في تدفق التعلم الآلي معيارية وقابلة لإعادة الاستخدام عبر مشاريع مختلفة لتوفير الوقت وتقليل الأخطاء.

التعلم عن 5 بدائل تدفق الهواء لتنسيق البيانات سهلة الاستخدام وتأتي مع ميزات حديثة. قم أيضًا بالاطلاع على مثالي لسير عمل التعلم الآلي البرنامج التعليمي لإنشاء وتنفيذ خط أنابيب ML الأول الخاص بك. 

قم بدمج ممارسات التكامل المستمر والنشر المستمر (CI/CD) في سير عمل تعلم الآلة لديك. يمكن لأدوات مثل Jenkins وGitLab CI وGitHub Actions أتمتة اختبار ونشر نماذج تعلم الآلة، مما يضمن تنفيذ التغييرات بكفاءة وأمان. سوف تتعلم كيفية دمج الاختبار الآلي لبياناتك ونموذجك ورمزك لاكتشاف المشكلات مبكرًا والحفاظ على معايير الجودة العالية.

تعرف على كيفية أتمتة تدريب النماذج وتقييمها وإصدارها ونشرها باستخدام إجراءات GitHub باتباع الخطوات التالية: دليل المبتدئين إلى CI/CD للتعلم الآلي.

يعد تقديم النماذج جانبًا مهمًا لاستخدام نماذج التعلم الآلي بشكل فعال في بيئات الإنتاج. من خلال استخدام أطر عمل تقديم النماذج مثل BentoML أو Kubeflow أو Ray Service أو TFServing، يمكنك نشر نماذجك بكفاءة كخدمات صغيرة، مما يجعلها قابلة للوصول وقابلة للتطوير عبر تطبيقات وخدمات متعددة. توفر أطر العمل هذه طريقة سلسة لاختبار الاستدلال النموذجي محليًا وتوفر لك ميزات لنشر النماذج بشكل آمن وفعال في الإنتاج.

تعرف على أفضل 7 أدوات لنشر النماذج وتقديمها التي تستخدمها الشركات الكبرى لتبسيط عملية نشر النموذج وأتمتتها. 

في الخطوة السادسة، ستتعلم كيفية تنفيذ المراقبة لتتبع أداء النموذج الخاص بك واكتشاف أي تغييرات في بياناتك بمرور الوقت. يمكنك استخدام أدوات مثل Evidently أو Fiddler أو حتى كتابة تعليمات برمجية مخصصة للمراقبة والتنبيه في الوقت الفعلي. باستخدام إطار عمل المراقبة، يمكنك إنشاء مسار تعلم آلي مؤتمت بالكامل حيث سيؤدي أي انخفاض كبير في أداء النموذج إلى تشغيل مسار CI/CD. سيؤدي ذلك إلى إعادة تدريب النموذج على أحدث مجموعة بيانات ونشر أحدث نموذج في النهاية للإنتاج.

إذا كنت تريد التعرف على الأدوات المهمة المستخدمة لإنشاء سير عمل تعلم الآلة الشامل وصيانته وتنفيذه، فيجب عليك مراجعة قائمة أفضل 25 أداة MLOps تحتاج إلى معرفتها في عام 2024.

في الخطوة الأخيرة من هذه الدورة، ستتاح لك الفرصة لبناء مشروع تعلم آلي شامل باستخدام كل ما تعلمته حتى الآن. وسيتضمن هذا المشروع الخطوات التالية:

  1. حدد مجموعة البيانات التي تهمك.
  2. قم بتدريب نموذج على مجموعة البيانات المختارة وتتبع تجاربك.
  3. قم بإنشاء مسار تدريب نموذجي وقم بتشغيله تلقائيًا باستخدام GitHub Actions.
  4. انشر النموذج إما على دفعات أو على خدمة الويب أو على البث المباشر.
  5. راقب أداء النموذج الخاص بك واتبع أفضل الممارسات.

إشارة مرجعية للصفحة: 10 مستودعات GitHub لإتقان MLOps. استخدمه للتعرف على أحدث الأدوات والأدلة والبرامج التعليمية والمشاريع والدورات التدريبية المجانية لتعلم كل شيء عن MLOps.

يمكنك التسجيل في هندسة MLOps دورة تغطي جميع الخطوات السبع بالتفصيل وتساعدك على اكتساب الخبرة اللازمة لتدريب نماذج التعلم الآلي في الإنتاج وتتبعها ونشرها ومراقبتها. 

في هذا الدليل، تعرفنا على الخطوات السبع الضرورية لكي تصبح مهندسًا خبيرًا في عمليات MLOps. لقد تعلمنا عن الأدوات والمفاهيم والعمليات المطلوبة للمهندسين لأتمتة وتبسيط عملية التدريب والتقييم وإصدار الإصدارات والنشر ومراقبة النماذج في السحابة.
 
 

عابد علي عوان (@ 1abidaliawan) هو عالم بيانات محترف ومعتمد يحب بناء نماذج التعلم الآلي. يركز حاليًا على إنشاء المحتوى وكتابة المدونات التقنية حول تقنيات التعلم الآلي وعلوم البيانات. يحمل عابد درجة الماجستير في إدارة التكنولوجيا ودرجة البكالوريوس في هندسة الاتصالات. وتتمثل رؤيته في بناء منتج للذكاء الاصطناعي باستخدام شبكة عصبية بيانية للطلاب الذين يعانون من مرض عقلي.

بقعة_صورة

أحدث المعلومات الاستخباراتية

بقعة_صورة