يبتكر العملاء من جميع الأحجام والصناعات على AWS من خلال دمج التعلم الآلي (ML) في منتجاتهم وخدماتهم. أدت التطورات الأخيرة في نماذج الذكاء الاصطناعي التوليدية إلى تسريع الحاجة إلى اعتماد تعلم الآلة عبر الصناعات. ومع ذلك، لا يزال تنفيذ ضوابط الأمان وخصوصية البيانات والحوكمة يمثل تحديات رئيسية يواجهها العملاء عند تنفيذ أعباء عمل تعلم الآلة على نطاق واسع. تؤدي معالجة هذه التحديات إلى بناء الإطار والأسس اللازمة لتخفيف المخاطر والاستخدام المسؤول للمنتجات التي تعتمد على تعلم الآلة. على الرغم من أن الذكاء الاصطناعي التوليدي قد يحتاج إلى ضوابط إضافية، مثل إزالة السمية ومنع كسر الحماية والهلوسة، إلا أنه يشترك في نفس المكونات الأساسية للأمن والحوكمة مثل تعلم الآلة التقليدي.
نسمع من العملاء أنهم يحتاجون إلى معرفة متخصصة واستثمار لمدة تصل إلى 12 شهرًا لتصميم منتجاتهم المخصصة الأمازون SageMaker تنفيذ منصة تعلم الآلة لضمان بيئات تعلم الآلة قابلة للتطوير وموثوقة وآمنة ومحكومة لخطوط أعمالهم (LOBs) أو فرق تعلم الآلة. إذا كنت تفتقر إلى إطار عمل لإدارة دورة حياة تعلم الآلة على نطاق واسع، فقد تواجه تحديات مثل عزل الموارد على مستوى الفريق، وتوسيع نطاق موارد الاختبار، وتفعيل سير عمل تعلم الآلة، وتوسيع نطاق حوكمة النماذج، وإدارة الأمان والامتثال لأعباء عمل تعلم الآلة.
تعد إدارة دورة حياة تعلم الآلة على نطاق واسع بمثابة إطار عمل لمساعدتك في إنشاء منصة تعلم الآلة مع ضوابط الأمان والحوكمة المضمنة بناءً على أفضل ممارسات الصناعة ومعايير المؤسسة. يعالج هذا الإطار التحديات من خلال توفير إرشادات توجيهية من خلال نهج إطاري معياري يمتد برج التحكم في AWS بيئة AWS متعددة الحسابات والنهج الذي تمت مناقشته في المنشور إعداد بيئات تعلم آلي آمنة ومُدارة بشكل جيد على AWS.
وهو يوفر إرشادات توجيهية لوظائف منصة تعلم الآلة التالية:
- أسس الحسابات المتعددة والأمان والشبكات - تستخدم هذه الوظيفة برج التحكم AWS و مبادئ مصممة بشكل جيد لإعداد وتشغيل بيئة متعددة الحسابات، والأمن، وخدمات الشبكات.
- أسس البيانات والحوكمة - تستخدم هذه الوظيفة أ بنية شبكة البيانات لإعداد وتشغيل بحيرة البيانات ومخزن الميزات المركزي وأسس إدارة البيانات لتمكين الوصول إلى البيانات الدقيقة.
- منصة ML المشتركة وخدمات الحوكمة – تتيح هذه الوظيفة إعداد وتشغيل الخدمات المشتركة مثل CI/CD، كتالوج خدمة AWS لتوفير البيئات، وسجل نموذجي مركزي للترويج النموذجي والنسب.
- بيئات فريق ML - تتيح هذه الوظيفة إعداد بيئات التشغيل والتشغيل لفرق تعلم الآلة لتطوير النماذج واختبارها ونشر حالات الاستخدام الخاصة بها لتضمين ضوابط الأمان والحوكمة.
- إمكانية ملاحظة منصة ML - تساعد هذه الوظيفة في استكشاف الأخطاء وإصلاحها وتحديد السبب الجذري للمشكلات في نماذج تعلم الآلة من خلال مركزية السجلات وتوفير أدوات لتصور تحليل السجل. كما يوفر أيضًا إرشادات لإنشاء تقارير التكلفة والاستخدام لحالات استخدام تعلم الآلة.
على الرغم من أن إطار العمل هذا يمكن أن يوفر فوائد لجميع العملاء، إلا أنه أكثر فائدة لعملاء المؤسسات الكبيرة أو الناضجة أو المنظمة أو العالمية التي ترغب في توسيع نطاق استراتيجيات تعلم الآلة الخاصة بها من خلال نهج خاضع للرقابة ومتوافق ومنسق عبر المؤسسة. فهو يساعد على تمكين اعتماد تعلم الآلة مع تخفيف المخاطر. هذا الإطار مفيد للعملاء التاليين:
- عملاء المؤسسات الكبيرة الذين لديهم العديد من LOBs أو الأقسام المهتمة باستخدام ML. يسمح إطار العمل هذا للفرق المختلفة ببناء نماذج تعلم الآلة ونشرها بشكل مستقل مع توفير الإدارة المركزية.
- عملاء المؤسسات ذوي النضج المتوسط إلى العالي في تعلم الآلة. لقد قاموا بالفعل بنشر بعض نماذج تعلم الآلة الأولية ويتطلعون إلى توسيع نطاق جهود تعلم الآلة الخاصة بهم. يمكن أن يساعد إطار العمل هذا في تسريع اعتماد تعلم الآلة عبر المؤسسة. تدرك هذه الشركات أيضًا الحاجة إلى الحوكمة لإدارة أشياء مثل التحكم في الوصول واستخدام البيانات وأداء النموذج والتحيز غير العادل.
- الشركات في الصناعات الخاضعة للتنظيم مثل الخدمات المالية والرعاية الصحية والكيمياء والقطاع الخاص. تحتاج هذه الشركات إلى حوكمة قوية ووضوح لأي نماذج تعلم الآلة تستخدم في عملياتها التجارية. يمكن أن يساعد اعتماد هذا الإطار في تسهيل الامتثال مع السماح في الوقت نفسه بتطوير النماذج المحلية.
- المنظمات العالمية التي تحتاج إلى تحقيق التوازن بين السيطرة المركزية والمحلية. يسمح النهج الموحد لإطار العمل هذا لفريق هندسة المنصة المركزية بوضع بعض السياسات والمعايير عالية المستوى، ولكنه يمنح أيضًا فرق LOB المرونة للتكيف بناءً على الاحتياجات المحلية.
في الجزء الأول من هذه السلسلة، سنتعرف على البنية المرجعية لإعداد منصة تعلم الآلة. في منشور لاحق، سنقدم إرشادات إرشادية حول كيفية تنفيذ الوحدات المختلفة في البنية المرجعية في مؤسستك.
يتم تجميع إمكانيات منصة ML في أربع فئات، كما هو موضح في الشكل التالي. تشكل هذه القدرات أساس البنية المرجعية التي تمت مناقشتها لاحقًا في هذا المنشور:
- بناء أسس تعلم الآلة
- توسيع نطاق عمليات تعلم الآلة
- يمكن ملاحظتها ML
- تأمين ML
حل نظرة عامة
يمكّن إطار عمل إدارة دورة حياة تعلم الآلة على نطاق واسع المؤسسات من تضمين ضوابط الأمان والحوكمة طوال دورة حياة تعلم الآلة والتي بدورها تساعد المؤسسات على تقليل المخاطر وتسريع دمج تعلم الآلة في منتجاتها وخدماتها. يساعد إطار العمل على تحسين إعداد وإدارة بيئات تعلم الآلة الآمنة والقابلة للتطوير والموثوقة والتي يمكن توسيع نطاقها لدعم عدد متزايد من النماذج والمشاريع. يتيح الإطار الميزات التالية:
- توفير الحساب والبنية التحتية مع موارد البنية التحتية المتوافقة مع سياسة المنظمة
- نشر الخدمة الذاتية لبيئات علوم البيانات وقوالب عمليات تعلم الآلة الشاملة (MLOps) لحالات استخدام تعلم الآلة
- عزل الموارد على مستوى LOB أو على مستوى الفريق من أجل الامتثال للأمان والخصوصية
- الوصول المنظم إلى بيانات درجة الإنتاج للتجريب وسير العمل الجاهز للإنتاج
- الإدارة والحوكمة لمستودعات الأكواد البرمجية وخطوط الأكواد البرمجية والنماذج المنشورة وميزات البيانات
- سجل نموذجي ومخزن ميزات (مكونات محلية ومركزية) لتحسين الإدارة
- ضوابط الأمان والحوكمة لعملية تطوير ونشر النموذج الشامل
في هذا القسم، نقدم نظرة عامة على الإرشادات الإرشادية لمساعدتك في إنشاء نظام تعلم الآلة هذا على AWS مع ضوابط الأمان والحوكمة المضمنة.
يظهر الرسم البياني التالي البنية الوظيفية المرتبطة بمنصة ML. تقوم البنية بتعيين الإمكانات المختلفة لمنصة تعلم الآلة لحسابات AWS.
يتم تنفيذ البنية الوظيفية ذات الإمكانات المختلفة باستخدام عدد من خدمات AWS، بما في ذلك منظمات AWSوSageMaker وخدمات AWS DevOps ومستودع البيانات. يظهر الرسم البياني التالي البنية المرجعية لمنصة ML مع خدمات AWS المتنوعة.
يأخذ هذا الإطار في الاعتبار العديد من الأشخاص والخدمات للتحكم في دورة حياة تعلم الآلة على نطاق واسع. نوصي بالخطوات التالية لتنظيم فرقك وخدماتك:
- باستخدام AWS Control Tower وأدوات التشغيل الآلي، يقوم مسؤول السحابة لديك بإعداد المؤسسات متعددة الحسابات مثل المؤسسات و مركز هوية AWS IAM (خليفة AWS Single Sign-On) وخدمات الأمان والحوكمة مثل خدمة إدارة مفتاح AWS (AWS KMS) وكتالوج الخدمة. بالإضافة إلى ذلك، يقوم المسؤول بإعداد مجموعة متنوعة من الوحدات التنظيمية (OUs) والحسابات الأولية لدعم سير عمل تعلم الآلة والتحليلات.
- يقوم مسؤولو بحيرة البيانات بإعداد بحيرة البيانات الخاصة بك وكتالوج البيانات، ويقومون بإعداد متجر الميزات المركزي الذي يعمل مع مسؤول النظام الأساسي لتعلم الآلة.
- يوفر مسؤول منصة ML خدمات ML المشتركة مثل كود AWS, خط أنابيب AWS, سجل الأمازون المرنة للحاويات (Amazon ECR)، وهو سجل نموذجي مركزي، بطاقات نموذج SageMaker, نموذج لوحة القيادة SageMakerومنتجات كتالوج الخدمة لفرق تعلم الآلة.
- يقود فريق ML الاتحادات عبر IAM Identity Center، ويستخدم منتجات كتالوج الخدمة، ويوفر الموارد في بيئة تطوير فريق ML.
- يتحد علماء البيانات من فرق تعلم الآلة عبر وحدات الأعمال المختلفة في بيئة تطوير فريقهم لبناء خط أنابيب النموذج.
- يقوم علماء البيانات بالبحث عن الميزات وسحبها من كتالوج متجر الميزات المركزي، وبناء النماذج من خلال التجارب، واختيار أفضل نموذج للترقية.
- يقوم علماء البيانات بإنشاء ميزات جديدة ومشاركتها في كتالوج متجر الميزات المركزي لإعادة استخدامها.
- يقوم مهندس تعلم الآلة بنشر مسار النموذج في بيئة اختبار فريق تعلم الآلة باستخدام عملية CI/CD للخدمات المشتركة.
- بعد التحقق من صحة أصحاب المصلحة، يتم نشر نموذج تعلم الآلة في بيئة الإنتاج الخاصة بالفريق.
- يتم تضمين ضوابط الأمان والحوكمة في كل طبقة من هذه البنية باستخدام خدمات مثل مركز أمان AWS, واجب الحرس الأمازون, أمازون ماسي، وأكثر من ذلك.
- تتم إدارة عناصر التحكم في الأمان مركزيًا من حساب أدوات الأمان باستخدام Security Hub.
- تتم إدارة إمكانات حوكمة النظام الأساسي لتعلم الآلة، مثل SageMaker Model Cards وSageMaker Model Dashboard، مركزيًا من حساب خدمات الحوكمة.
- الأمازون CloudWatch و أوس كلاود تريل يمكن الوصول إلى السجلات من كل حساب عضو مركزيًا من حساب قابلية المراقبة باستخدام خدمات AWS الأصلية.
بعد ذلك، سنتعمق في وحدات البنية المرجعية لهذا الإطار.
وحدات الهندسة المعمارية المرجعية
تتكون البنية المرجعية من ثماني وحدات، كل منها مصممة لحل مجموعة محددة من المشكلات. بشكل جماعي، تتناول هذه الوحدات الحوكمة عبر أبعاد مختلفة، مثل البنية التحتية والبيانات والنموذج والتكلفة. تقدم كل وحدة مجموعة متميزة من الوظائف وتتفاعل مع الوحدات الأخرى لتوفير نظام أساسي متكامل لتعلم الآلة مع ضوابط الأمان والحوكمة المضمنة. في هذا القسم، نقدم ملخصًا قصيرًا لإمكانيات كل وحدة.
أسس متعددة الحسابات
تساعد هذه الوحدة مسؤولي السحابة على إنشاء منطقة هبوط برج التحكم AWS كإطار تأسيسي. يتضمن ذلك إنشاء بنية متعددة الحسابات، والمصادقة والترخيص عبر IAM Identity Center، وتصميم محور الشبكة، وخدمات التسجيل المركزية، وحسابات أعضاء AWS الجديدة مع خطوط أساس موحدة للأمان والحوكمة.
بالإضافة إلى ذلك، توفر هذه الوحدة إرشادات حول أفضل الممارسات بشأن هياكل الوحدات التنظيمية والحسابات المناسبة لدعم سير عمل تعلم الآلة والتحليلات. سوف يفهم مسؤولو السحابة الغرض من الحسابات والوحدات التنظيمية المطلوبة، وكيفية نشرها، وخدمات الأمان والامتثال الرئيسية التي يجب عليهم استخدامها للتحكم مركزيًا في أعباء عمل تعلم الآلة والتحليلات.
يتم أيضًا تناول إطار عمل لبيع الحسابات الجديدة، والذي يستخدم الأتمتة لتحديد الحسابات الجديدة عند توفيرها. من خلال إعداد عملية توفير حساب تلقائية، يمكن لمسؤولي السحابة تزويد فرق تعلم الآلة والتحليلات بالحسابات التي يحتاجونها لأداء عملهم بسرعة أكبر، دون التضحية بأساس قوي للحوكمة.
أسس بحيرة البيانات
تساعد هذه الوحدة مسؤولي بحيرة البيانات في إعداد بحيرة بيانات لاستيعاب البيانات وتنظيم مجموعات البيانات واستخدامها تكوين بحيرة AWS نموذج حوكمة لإدارة الوصول إلى البيانات الدقيقة عبر الحسابات والمستخدمين باستخدام كتالوج بيانات مركزي، وسياسات الوصول إلى البيانات، وعناصر التحكم في الوصول المستندة إلى العلامات. يمكنك أن تبدأ صغيرًا بحساب واحد لأساسات منصة البيانات الخاصة بك لإثبات المفهوم أو لعدد قليل من أعباء العمل الصغيرة. بالنسبة لتنفيذ أعباء عمل الإنتاج على نطاق متوسط إلى كبير، نوصي باعتماد استراتيجية متعددة الحسابات. في مثل هذا الإعداد، يمكن لـ LOBs أن تتولى دور منتجي البيانات ومستهلكي البيانات باستخدام حسابات AWS مختلفة، ويتم تشغيل إدارة بحيرة البيانات من حساب AWS مركزي مشترك. يقوم منتج البيانات بجمع ومعالجة وتخزين البيانات من مجال البيانات الخاص به، بالإضافة إلى مراقبة وضمان جودة أصول البيانات الخاصة به. يستهلك مستهلكو البيانات البيانات من منتج البيانات بعد أن يشاركها الكتالوج المركزي باستخدام Lake Formation. يقوم الكتالوج المركزي بتخزين وإدارة كتالوج البيانات المشتركة لحسابات منتجي البيانات.
خدمات منصة ML
تساعد هذه الوحدة فريق هندسة النظام الأساسي لتعلم الآلة على إعداد الخدمات المشتركة التي تستخدمها فرق علوم البيانات في حسابات فريقهم. تتضمن الخدمات محفظة كتالوج الخدمة مع المنتجات الخاصة بها المجال SageMaker تعيين، ملف تعريف مستخدم مجال SageMaker النشر، قوالب نماذج علوم البيانات لبناء النماذج ونشرها. تحتوي هذه الوحدة على وظائف لسجل نموذجي مركزي، وبطاقات نموذجية، ولوحة معلومات النموذج، وخطوط أنابيب CI/CD المستخدمة لتنسيق وأتمتة سير عمل تطوير ونشر النموذج.
بالإضافة إلى ذلك، توضح هذه الوحدة كيفية تنفيذ عناصر التحكم والحوكمة المطلوبة لتمكين إمكانات الخدمة الذاتية القائمة على الشخصية، مما يسمح لفرق علوم البيانات بنشر البنية التحتية السحابية المطلوبة وقوالب ML بشكل مستقل.
تطوير حالة استخدام ML
تساعد هذه الوحدة LOBs وعلماء البيانات على الوصول إلى مجال SageMaker الخاص بفريقهم في بيئة التطوير وإنشاء نموذج بناء نموذج لتطوير نماذجهم. في هذه الوحدة، يعمل علماء البيانات على مثيل حساب مطور للقالب للتفاعل مع البيانات المتاحة في بحيرة البيانات المركزية، وإعادة استخدام الميزات ومشاركتها من مخزن الميزات المركزي، وإنشاء تجارب تعلم الآلة وتشغيلها، وإنشاء مسارات عمل تعلم الآلة واختبارها، وتسجيل نماذجهم في سجل نموذج حساب المطورين في بيئات التطوير الخاصة بهم.
يتم أيضًا تنفيذ إمكانات مثل تتبع التجارب، وتقارير شرح النماذج، ومراقبة تحيز البيانات والنماذج، وتسجيل النماذج في القوالب، مما يسمح بالتكيف السريع للحلول مع النماذج التي طورها علماء البيانات.
عمليات تعلم الآلة
تساعد هذه الوحدة مهندسي LOBs وML في العمل على مثيلات التطوير الخاصة بهم لقالب نشر النموذج. بعد تسجيل النموذج المرشح والموافقة عليه، يقومون بإعداد مسارات CI/CD وتشغيل سير عمل ML في بيئة اختبار الفريق، والتي تسجل النموذج في سجل النموذج المركزي الذي يعمل في حساب خدمات النظام الأساسي المشترك. عندما تتم الموافقة على نموذج في سجل النماذج المركزي، يؤدي ذلك إلى تشغيل مسار CI/CD لنشر النموذج في بيئة الإنتاج الخاصة بالفريق.
متجر ميزات مركزي
بعد نشر النماذج الأولى في الإنتاج وبدء حالات الاستخدام المتعددة في مشاركة الميزات التي تم إنشاؤها من نفس البيانات، يصبح مخزن الميزات ضروريًا لضمان التعاون عبر حالات الاستخدام وتقليل العمل المكرر. تساعد هذه الوحدة فريق هندسة النظام الأساسي لتعلم الآلة على إعداد مخزن ميزات مركزي لتوفير التخزين والحوكمة لميزات تعلم الآلة التي تم إنشاؤها بواسطة حالات استخدام تعلم الآلة، مما يتيح إعادة استخدام الميزات عبر المشاريع.
التسجيل وإمكانية الملاحظة
تساعد هذه الوحدة LOBs وممارسي ML في الحصول على رؤية لحالة أعباء عمل ML عبر بيئات ML من خلال مركزية نشاط السجل مثل CloudTrail وCloudWatch وسجلات تدفق VPC وسجلات عبء عمل ML. يمكن للفرق تصفية السجلات والاستعلام عنها وتصورها لتحليلها، الأمر الذي يمكن أن يساعد في تحسين الوضع الأمني أيضًا.
التكلفة وإعداد التقارير
تساعد هذه الوحدة مختلف أصحاب المصلحة (مسؤول السحابة، مسؤول النظام الأساسي، مكتب الأعمال السحابي) على إنشاء تقارير ولوحات معلومات لتقسيم التكاليف على مستوى مستخدم ML، وفريق ML، ومستويات منتج ML، وتتبع الاستخدام مثل عدد المستخدمين، وأنواع المثيلات، و نقاط النهاية.
لقد طلب منا العملاء تقديم إرشادات حول عدد الحسابات المطلوب إنشاؤها وكيفية تنظيم تلك الحسابات. في القسم التالي، نقدم إرشادات حول بنية الحساب كمرجع يمكنك تعديله ليناسب احتياجاتك وفقًا لمتطلبات حوكمة مؤسستك.
في هذا القسم، نناقش توصياتنا لتنظيم بنية حسابك. نحن نشارك بنية الحساب المرجعي الأساسي؛ ومع ذلك، نوصي مسؤولي ML والبيانات بالعمل بشكل وثيق مع مسؤول السحابة لديهم لتخصيص بنية الحساب هذه بناءً على عناصر التحكم المؤسسية الخاصة بهم.
نوصي بتنظيم الحسابات بواسطة الوحدة التنظيمية للأمان والبنية التحتية وأحمال العمل وعمليات النشر. علاوة على ذلك، يتم التنظيم داخل كل وحدة تنظيمية حسب الوحدة التنظيمية غير الإنتاجية والإنتاجية نظرًا لأن الحسابات وأحمال العمل المنشورة بموجبها لها ضوابط مختلفة. بعد ذلك، سنناقش بإيجاز تلك الوحدات التنظيمية.
الوحدة التنظيمية الأمنية
تتم إدارة الحسابات الموجودة في هذه الوحدة التنظيمية بواسطة مسؤول السحابة أو فريق الأمان في المؤسسة لمراقبة الأحداث الأمنية وتحديدها وحمايتها واكتشافها والاستجابة لها.
البنية التحتية OU
تتم إدارة الحسابات الموجودة في هذه الوحدة التنظيمية بواسطة مسؤول السحابة أو فريق الشبكة في المؤسسة لإدارة الموارد والشبكات المشتركة للبنية التحتية على مستوى المؤسسة.
نوصي بوجود الحسابات التالية ضمن الوحدة التنظيمية للبنية التحتية:
- شبكة – إعداد بنية تحتية مركزية للشبكات مثل بوابة عبور AWS
- الخدمات المشتركة – إعداد خدمات AD مركزية ونقاط نهاية VPC
أعباء العمل OU
تتم إدارة الحسابات الموجودة في هذه الوحدة التنظيمية بواسطة مسؤولي فريق النظام الأساسي للمؤسسة. إذا كنت بحاجة إلى عناصر تحكم مختلفة يتم تنفيذها لكل فريق من فرق النظام الأساسي، فيمكنك دمج مستويات أخرى من الوحدة التنظيمية لهذا الغرض، مثل الوحدة التنظيمية لأحمال عمل ML، والوحدة التنظيمية لأحمال عمل البيانات، وما إلى ذلك.
نوصي بالحسابات التالية ضمن أعباء العمل OU:
- حسابات تطوير واختبار وإنتاج ML على مستوى الفريق - قم بإعداد هذا بناءً على متطلبات عزل عبء العمل لديك
- حسابات بحيرة البيانات - حسابات التقسيم حسب مجال البيانات الخاصة بك
- حساب إدارة البيانات المركزية – مركزية سياسات الوصول إلى البيانات الخاصة بك
- حساب متجر الميزات المركزية - مركزية الميزات للمشاركة عبر الفرق
عمليات النشر OU
تتم إدارة الحسابات الموجودة في هذه الوحدة التنظيمية بواسطة مسؤولي فريق النظام الأساسي للمؤسسة لنشر أعباء العمل وإمكانية المراقبة.
نوصي بالحسابات التالية ضمن الوحدة التنظيمية لعمليات النشر لأن فريق النظام الأساسي لتعلم الآلة يمكنه إعداد مجموعات مختلفة من عناصر التحكم على مستوى الوحدة التنظيمية هذا لإدارة عمليات النشر والتحكم فيها:
- حسابات الخدمات المشتركة ML للاختبار والإنتاج - يستضيف منصة الخدمات المشتركة CI/CD وتسجيل النموذج
- حسابات إمكانية ملاحظة ML للاختبار والإنتاج – يستضيف سجلات CloudWatch، وسجلات CloudTrail، والسجلات الأخرى حسب الحاجة
بعد ذلك، سنناقش بإيجاز ضوابط المؤسسة التي يجب أخذها في الاعتبار لتضمينها في حسابات الأعضاء لمراقبة موارد البنية التحتية.
ضوابط بيئة AWS
عنصر التحكم عبارة عن قاعدة عالية المستوى توفر حوكمة مستمرة لبيئة AWS الشاملة لديك. يتم التعبير عنها بلغة واضحة. في هذا الإطار، نستخدم AWS Control Tower لتنفيذ عناصر التحكم التالية التي تساعدك على التحكم في مواردك ومراقبة الامتثال عبر مجموعات حسابات AWS:
- الضوابط الوقائية - تضمن المراقبة الوقائية أن تحافظ حساباتك على الامتثال لأنها لا تسمح بالإجراءات التي تؤدي إلى انتهاكات السياسة ويتم تنفيذها باستخدام سياسة التحكم في الخدمة (SCP). على سبيل المثال، يمكنك تعيين عنصر تحكم وقائي يضمن عدم حذف CloudTrail أو إيقافه في حسابات AWS أو المناطق.
- ضوابط المباحث – يقوم عنصر التحكم المباحث بالكشف عن عدم امتثال الموارد داخل حساباتك، مثل انتهاكات السياسة، ويوفر تنبيهات من خلال لوحة المعلومات، ويتم تنفيذه باستخدام تكوين AWS قواعد. على سبيل المثال، يمكنك إنشاء عنصر تحكم المباحث لاكتشاف ما إذا كان الوصول العام للقراءة ممكّنًا أم لا خدمة تخزين أمازون البسيطة (Amazon S3) في حساب أرشيف السجل المشترك.
- الضوابط الاستباقية – يقوم عنصر التحكم الاستباقي بفحص مواردك قبل توفيرها والتأكد من أن الموارد متوافقة مع هذا التحكم ويتم تنفيذها باستخدام تكوين سحابة AWS خطافات. لن يتم توفير الموارد غير المتوافقة. على سبيل المثال، يمكنك تعيين عنصر تحكم استباقي يتحقق من عدم السماح بالوصول المباشر إلى الإنترنت لمثيل دفتر ملاحظات SageMaker.
التفاعلات بين خدمات منصة ML وحالات استخدام ML وعمليات ML
يقوم أشخاص مختلفون، مثل رئيس علم البيانات (عالم البيانات الرئيسي)، وعالم البيانات، ومهندس تعلم الآلة، بتشغيل الوحدات من 2 إلى 6 كما هو موضح في الرسم البياني التالي لمراحل مختلفة من خدمات منصة تعلم الآلة، وتطوير حالة استخدام تعلم الآلة، وعمليات تعلم الآلة جنبًا إلى جنب مع أسس بحيرة البيانات ومتجر الميزات المركزي.
يلخص الجدول التالي نشاط تدفق العمليات وخطوات سير الإعداد لأشخاص مختلفين. بمجرد أن يبدأ الشخص نشاط تعلم الآلة كجزء من تدفق العمليات، يتم تشغيل الخدمات كما هو مذكور في خطوات تدفق الإعداد.
| شخصية | نشاط تدفق العمليات – الرقم | نشاط تدفق العمليات – الوصف | خطوة تدفق الإعداد – الرقم | خطوة تدفق الإعداد – الوصف |
| قائد علوم البيانات أو قائد فريق تعلم الآلة |
1 |
يستخدم كتالوج الخدمة في حساب خدمات النظام الأساسي لتعلم الآلة وينشر ما يلي:
|
1-A |
|
|
1-B |
|
|||
| التنفيذ |
2 |
إجراء تجارب تعلم الآلة وتتبعها في دفاتر ملاحظات SageMaker |
2-A |
|
|
3 |
أتمتة تجارب التعلم الآلي الناجحة مع مشاريع ومسارات SageMaker |
3-A |
|
|
|
3-B |
بعد تشغيل مسارات SageMaker، يتم حفظ النموذج في سجل النماذج المحلي (dev). | |||
| كبير علماء البيانات أو قائد فريق تعلم الآلة |
4 |
يوافق على النموذج في سجل النموذج المحلي (dev). |
4-A |
تتم كتابة بيانات التعريف النموذجية وحزمة النموذج من سجل النموذج المحلي (المطور) إلى سجل النموذج المركزي |
|
5 |
يوافق على النموذج في سجل النموذج المركزي |
5-A |
يبدأ عملية نشر CI/CD لإنشاء نقاط نهاية SageMaker في بيئة الاختبار | |
|
5-B |
يكتب معلومات النموذج وبيانات التعريف إلى وحدة إدارة ML (بطاقة النموذج، لوحة معلومات النموذج) في حساب خدمات منصة ML من الحساب المحلي (المطور) | |||
| مهندس ML |
6 |
يختبر ويراقب نقطة نهاية SageMaker في بيئة الاختبار بعد CI/CD | . | |
|
7 |
يوافق على النشر لنقاط نهاية SageMaker في بيئة الإنتاج |
7-A |
يبدأ عملية نشر CI/CD لإنشاء نقاط نهاية SageMaker في بيئة المنتج | |
|
8 |
يختبر ويراقب نقطة نهاية SageMaker في بيئة الاختبار بعد CI/CD | . | ||
الشخصيات والتفاعلات مع الوحدات المختلفة لمنصة ML
تلبي كل وحدة شخصيات مستهدفة معينة ضمن أقسام محددة تستخدم الوحدة في أغلب الأحيان، مما يمنحهم الوصول الأساسي. يُسمح بعد ذلك بالوصول الثانوي إلى الأقسام الأخرى التي تتطلب استخدامًا عرضيًا للوحدات النمطية. تم تصميم الوحدات خصيصًا لتلبية احتياجات أدوار وظيفية معينة أو شخصيات معينة لتحسين الوظائف.
نناقش الفرق التالية:
- هندسة السحابة المركزية - يعمل هذا الفريق على مستوى السحابة المؤسسية عبر جميع أعباء العمل لإعداد خدمات البنية التحتية السحابية المشتركة، مثل إعداد الشبكة والهوية والأذونات وإدارة الحساب على مستوى المؤسسة
- هندسة منصات البيانات – يدير هذا الفريق بحيرات بيانات المؤسسة وجمع البيانات وتنظيم البيانات وإدارة البيانات
- هندسة منصة ML - يعمل هذا الفريق على مستوى النظام الأساسي لتعلم الآلة عبر LOBs لتوفير خدمات البنية التحتية المشتركة لتعلم الآلة مثل توفير البنية التحتية لتعلم الآلة، وتتبع التجارب، وحوكمة النموذج، والنشر، وإمكانية المراقبة
يوضح الجدول التالي الأقسام التي تتمتع بإمكانية الوصول الأساسي والثانوي لكل وحدة وفقًا للأشخاص المستهدفين في الوحدة.
| رقم الوحدة | الوحدات | الوصول الأساسي | الوصول الثانوي | الشخصيات المستهدفة | عدد الحسابات |
|
1 |
أسس متعددة الحسابات | هندسة السحابة المركزية | LOB الفردية |
|
قليل |
|
2 |
أسس بحيرة البيانات | هندسة السحابة المركزية أو هندسة منصة البيانات | LOB الفردية |
|
قد يؤدي إجراء |
|
3 |
خدمات منصة ML | هندسة السحابة المركزية أو هندسة منصة ML | LOB الفردية |
|
واحد |
|
4 |
تطوير حالة استخدام ML | LOB الفردية | هندسة السحابة المركزية أو هندسة منصة ML |
|
قد يؤدي إجراء |
|
5 |
عمليات تعلم الآلة | السحابة المركزية أو هندسة ML | LOB الفردية |
|
قد يؤدي إجراء |
|
6 |
متجر ميزات مركزي | السحابة المركزية أو هندسة البيانات | LOB الفردية |
|
واحد |
|
7 |
التسجيل وإمكانية الملاحظة | هندسة السحابة المركزية | LOB الفردية |
|
واحد |
|
8 |
التكلفة وإعداد التقارير | LOB الفردية | هندسة المنصة المركزية |
|
واحد |
وفي الختام
في هذا المنشور، قدمنا إطار عمل للتحكم في دورة حياة تعلم الآلة على نطاق واسع، مما يساعدك على تنفيذ أعباء عمل تعلم الآلة المصممة جيدًا والتي تتضمن ضوابط الأمان والحوكمة. ناقشنا كيف يتخذ هذا الإطار نهجًا شاملاً لبناء منصة تعلم الآلة مع الأخذ في الاعتبار إدارة البيانات وحوكمة النماذج والضوابط على مستوى المؤسسة. نحن نشجعك على تجربة إطار العمل والمفاهيم المقدمة في هذا المنشور ومشاركة تعليقاتك.
عن المؤلفين
رام فيتال هو مهندس حلول ML الرئيسي في AWS. يتمتع بخبرة تزيد عن 3 عقود في تصميم وبناء التطبيقات الموزعة والهجينة والسحابية. إنه متحمس لبناء حلول آمنة وقابلة للتطوير وموثوقة للذكاء الاصطناعي/التعلم الآلي وحلول البيانات الضخمة لمساعدة عملاء المؤسسات في اعتماد السحابة ورحلة التحسين لتحسين نتائج أعمالهم. في أوقات فراغه، يركب دراجة نارية ويمشي مع خروفه البالغ من العمر ثلاث سنوات!
سوفيك كومار ناث هو مهندس حلول AI / ML مع AWS. يتمتع بخبرة واسعة في تصميم التعلم الآلي الشامل وحلول تحليل الأعمال في التمويل والعمليات والتسويق والرعاية الصحية وإدارة سلسلة التوريد وإنترنت الأشياء. نشر Sovik مقالات وحصل على براءة اختراع في مراقبة نموذج ML. حصل على درجتي ماجستير مزدوجتين من جامعة جنوب فلوريدا ، جامعة فريبورغ ، سويسرا ، ودرجة البكالوريوس من المعهد الهندي للتكنولوجيا ، خراجبور. خارج العمل ، يستمتع سوفيك بالسفر وركوب العبارة ومشاهدة الأفلام.
ميرا لاديرا تانك هو أحد كبار متخصصي البيانات في AWS. وباعتبارها رائدة تقنية، فإنها تساعد العملاء على تسريع تحقيق قيمة الأعمال من خلال التكنولوجيا الناشئة والحلول المبتكرة. تعمل Maira مع AWS منذ يناير 2020. وقبل ذلك، عملت كعالمة بيانات في العديد من الصناعات مع التركيز على تحقيق قيمة الأعمال من البيانات. في أوقات فراغها، تستمتع مايرا بالسفر وقضاء الوقت مع عائلتها في مكان دافئ.
ريان ليمبكا هو أحد كبار مهندسي الحلول في Amazon Web Services، حيث يساعد عملائه على العمل بشكل عكسي بدءًا من أهداف العمل لتطوير الحلول على AWS. يتمتع بخبرة عميقة في استراتيجية الأعمال وإدارة أنظمة تكنولوجيا المعلومات وعلوم البيانات. يكرس رايان جهوده ليكون متعلمًا مدى الحياة، ويستمتع بتحدي نفسه كل يوم لتعلم شيء جديد.
سريهارش أداري هو مهندس حلول أول في Amazon Web Services (AWS) ، حيث يساعد العملاء على العمل بشكل عكسي من نتائج الأعمال لتطوير حلول مبتكرة على AWS. على مر السنين ، ساعد العديد من العملاء في تحويلات منصة البيانات عبر قطاعات الصناعة. تشمل مجالات خبرته الأساسية استراتيجية التكنولوجيا وتحليلات البيانات وعلوم البيانات. في أوقات فراغه ، يستمتع بممارسة الرياضة ومشاهدة البرامج التلفزيونية بنهم ولعب الطبلة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/governing-the-ml-lifecycle-at-scale-part-1-a-framework-for-architecting-ml-workloads-using-amazon-sagemaker/
