شعار زيفيرنت

تعزيز إنتاجية المطورين: كيف تستخدم شركة Deloitte Amazon SageMaker Canvas للتعلم الآلي بدون تعليمات برمجية أو تعليمات برمجية منخفضة | خدمات الويب الأمازون

التاريخ:

أصبحت القدرة على بناء ونشر نماذج التعلم الآلي (ML) بسرعة ذات أهمية متزايدة في عالم اليوم القائم على البيانات. ومع ذلك، يتطلب بناء نماذج تعلم الآلة وقتًا وجهدًا وخبرة متخصصة. بدءًا من جمع البيانات وتنظيفها ووصولاً إلى هندسة الميزات وبناء النماذج والضبط والنشر، غالبًا ما تستغرق مشاريع ML أشهرًا حتى يكتملها المطورون. وقد يكون من الصعب الحصول على علماء البيانات ذوي الخبرة.

هذا هو المكان الذي تصبح فيه مجموعة AWS لخدمات التعلم الآلي ذات التعليمات البرمجية المنخفضة وبدون تعليمات برمجية أداة أساسية. مع عدد قليل من النقرات باستخدام قماش أمازون سيج ميكر، يمكنك الاستفادة من قوة التعلم الآلي دون الحاجة إلى كتابة أي كود.

باعتبارها شركة تكامل أنظمة إستراتيجية تتمتع بخبرة عميقة في تعلم الآلة، تستخدم Deloitte أدوات تعلم الآلة بدون تعليمات برمجية ومنخفضة التعليمات البرمجية من AWS لبناء نماذج تعلم الآلة ونشرها بكفاءة لعملاء Deloitte وللأصول الداخلية. تسمح هذه الأدوات لشركة Deloitte بتطوير حلول التعلم الآلي دون الحاجة إلى ترميز النماذج وخطوط الأنابيب يدويًا. يمكن أن يساعد ذلك في تسريع الجداول الزمنية لتسليم المشروع وتمكين Deloitte من تولي المزيد من أعمال العملاء.

فيما يلي بعض الأسباب المحددة وراء استخدام Deloitte لهذه الأدوات:

  • إمكانية الوصول لغير المبرمجين – تفتح الأدوات التي لا تحتاج إلى تعليمات برمجية إمكانية بناء نموذج تعلم الآلة لغير المبرمجين. يمكن لأعضاء الفريق الذين يتمتعون بخبرة المجال فقط ومهارات برمجة قليلة جدًا تطوير نماذج تعلم الآلة.
  • التبني السريع للتكنولوجيا الجديدة – يساعد التوفر والتحسين المستمر للنماذج الجاهزة للاستخدام وAutoML على ضمان استخدام المستخدمين للتكنولوجيا الرائدة باستمرار.
  • تنمية فعالة من حيث التكلفة – تساعد الأدوات التي لا تحتاج إلى تعليمات برمجية على تقليل التكلفة والوقت اللازمين لتطوير نموذج تعلم الآلة، مما يجعلها في متناول العملاء بشكل أكبر، مما يمكن أن يساعدهم في تحقيق عائد أعلى على الاستثمار.

بالإضافة إلى ذلك، توفر هذه الأدوات حلاً شاملاً لسير العمل بشكل أسرع، مما يتيح ما يلي:

  • إعداد أسرع للبيانات - يحتوي SageMaker Canvas على أكثر من 300 تحويل مدمج والقدرة على استخدام اللغة الطبيعية التي يمكنها تسريع عملية إعداد البيانات وجعل البيانات جاهزة لبناء النماذج.
  • بناء نموذج أسرع - يقدم SageMaker Canvas نماذج أو أمازون أوتومل التكنولوجيا التي تمكنك من إنشاء نماذج مخصصة على بيانات المؤسسة ببضع نقرات فقط. يساعد هذا في تسريع العملية مقارنة بنماذج البرمجة من الألف إلى الياء.
  • نشر أسهل - يوفر SageMaker Canvas القدرة على نشر نماذج جاهزة للإنتاج على نطاق واسع أمازون ساجماكر نقطة النهاية ببضع نقرات أثناء تسجيلها أيضًا سجل نموذج Amazon SageMaker.

فيشفيشوارا فاسا, Cloud CTO لشركة Deloitte، يقول:

"من خلال خدمات تعلم الآلة بدون تعليمات برمجية من AWS مثل SageMaker Canvas وSageMaker Data Wrangler، تمكنا في Deloitte Consulting من فتح كفاءات جديدة، مما عزز سرعة التطوير وإنتاجية النشر بنسبة 30-40% عبر مشاريعنا الداخلية والخارجية التي تتعامل مع العملاء."

في هذا المنشور، نوضح قوة بناء نموذج تعلم الآلة الشامل بدون تعليمات برمجية باستخدام SageMaker Canvas من خلال توضيح كيفية إنشاء نموذج تصنيف للتنبؤ بما إذا كان العميل سيتخلف عن سداد القرض. ومن خلال التنبؤ بحالات التخلف عن سداد القروض بشكل أكثر دقة، يمكن للنموذج أن يساعد شركة الخدمات المالية على إدارة المخاطر، وتسعير القروض بشكل مناسب، وتحسين العمليات، وتقديم خدمات إضافية، واكتساب ميزة تنافسية. نوضح كيف يمكن أن يساعدك SageMaker Canvas على الانتقال سريعًا من البيانات الأولية إلى نموذج تصنيف ثنائي منشور للتنبؤ بالتخلف عن سداد القروض.

يوفر SageMaker Canvas إمكانات شاملة لإعداد البيانات مدعومة بـ أمازون سيج ميكر داتا رانجلر في مساحة عمل SageMaker Canvas. يمكّنك هذا من متابعة جميع مراحل سير عمل تعلم الآلة القياسي، بدءًا من إعداد البيانات وحتى بناء النموذج ونشره، على منصة واحدة.

عادةً ما يكون إعداد البيانات هو المرحلة الأكثر استهلاكًا للوقت في سير عمل تعلم الآلة. لتقليل الوقت المستغرق في إعداد البيانات، يتيح لك SageMaker Canvas إمكانية إعداد بياناتك باستخدام أكثر من 300 عملية تحويل مدمجة. بدلاً عن ذلك، يمكنك كتابة مطالبات اللغة الطبيعية، مثل "أسقط صفوف العمود c التي تعتبر قيمًا متطرفة"، وسيتم تقديم مقتطف الشفرة اللازم لخطوة إعداد البيانات هذه. يمكنك بعد ذلك إضافة هذا إلى سير عمل إعداد البيانات الخاص بك ببضع نقرات. نعرض لك كيفية استخدام ذلك في هذا المنشور أيضًا.

حل نظرة عامة

يصف الرسم التخطيطي التالي بنية نموذج التصنيف الافتراضي للقرض باستخدام أدوات SageMaker منخفضة التعليمات البرمجية وبدون تعليمات برمجية.

البدء بمجموعة بيانات تحتوي على تفاصيل حول البيانات الافتراضية للقرض خدمة تخزين أمازون البسيطة (Amazon S3)، نستخدم SageMaker Canvas للحصول على رؤى حول البيانات. نقوم بعد ذلك بإجراء هندسة الميزات لتطبيق التحويلات مثل تشفير الميزات الفئوية، وإسقاط الميزات غير المطلوبة، والمزيد. بعد ذلك، نقوم بتخزين البيانات التي تم تنظيفها مرة أخرى في Amazon S3. نحن نستخدم مجموعة البيانات المنظفة لإنشاء نموذج تصنيف للتنبؤ بالتخلف عن سداد القروض. ثم لدينا نموذج جاهز للإنتاج للاستدلال.

المتطلبات الأساسية المسبقة

تأكد من ما يلي الشروط كاملة وأنك قمت بتمكين نماذج قماشية جاهزة للاستخدام الخيار عند إعداد مجال SageMaker. إذا قمت بالفعل بإعداد المجال الخاص بك، تحرير إعدادات المجال الخاص بك وانتقل إلى إعدادات القماش لتمكين تمكين نماذج Canvas الجاهزة للاستخدام خيار. بالإضافة إلى ذلك، إعداد و قم بإنشاء تطبيق SageMaker Canvas، ثم الطلب والتمكين الوصول إلى نموذج كلود الأنثروبي on أمازون بيدروك.

بيانات

نحن نستخدم مجموعة بيانات عامة من kaggle الذي يحتوي على معلومات حول القروض المالية. يمثل كل صف في مجموعة البيانات قرضًا واحدًا، وتوفر الأعمدة تفاصيل حول كل معاملة. قم بتنزيل مجموعة البيانات هذه وقم بتخزينها في حاوية S3 من اختيارك. يسرد الجدول التالي الحقول الموجودة في مجموعة البيانات.

اسم العمود نوع البيانات الوصف
Person_age عدد صحيح عمر الشخص الذي أخذ القرض
Person_income عدد صحيح دخل المقترض
Person_home_ownership خيط حالة ملكية المنزل (تملك أو إيجار)
Person_emp_length عشري عدد سنوات عملهم
Loan_intent خيط سبب القرض (شخصي، طبي، تعليمي، إلخ)
Loan_grade خيط درجة القرض (A–E)
Loan_int_rate عشري سعر الفائدة
Loan_amnt عدد صحيح المبلغ الإجمالي للقرض
Loan_status عدد صحيح الهدف (سواء تخلفوا أم لا)
Loan_percent_income عشري مبلغ القرض مقارنة بنسبة الدخل
Cb_person_default_on_file عدد صحيح الإعدادات الافتراضية السابقة (إن وجدت)
Cb_person_credit_history_length خيط طول تاريخهم الائتماني

قم بتبسيط عملية إعداد البيانات باستخدام SageMaker Canvas

يمكن أن يستغرق إعداد البيانات ما يصل إلى 80% من الجهد المبذول في مشاريع تعلم الآلة. يؤدي إعداد البيانات بشكل صحيح إلى أداء نموذجي أفضل وتنبؤات أكثر دقة. يسمح SageMaker Canvas باستكشاف البيانات التفاعلية وتحويلها وإعدادها دون كتابة أي تعليمات برمجية لـ SQL أو Python.

أكمل الخطوات التالية لإعداد بياناتك:

  1. في وحدة التحكم SageMaker Canvas ، اختر إعداد البيانات في جزء التنقل.
  2. على إنشاء القائمة، اختر وثيقة.
  3. في حالة اسم مجموعة البيانات، أدخل اسمًا لمجموعة البيانات الخاصة بك.
  4. اختار إنشاء.
  5. اختر Amazon S3 كمصدر للبيانات وقم بتوصيله بمجموعة البيانات.
  6. بعد تحميل مجموعة البيانات، قم بإنشاء تدفق بيانات باستخدام مجموعة البيانات تلك.
  7. قم بالتبديل إلى علامة التبويب التحليلات وقم بإنشاء ملف تقرير الرؤى وجودة البيانات.

هذه خطوة موصى بها لتحليل جودة مجموعة بيانات الإدخال. ينتج عن مخرجات هذا التقرير رؤى فورية مدعومة بالتعلم الآلي مثل انحراف البيانات والتكرارات في البيانات والقيم المفقودة وغير ذلك الكثير. تعرض لقطة الشاشة التالية نموذجًا للتقرير الذي تم إنشاؤه لمجموعة بيانات القرض.

من خلال إنشاء هذه الرؤى نيابةً عنك، توفر لك SageMaker Canvas مجموعة من المشكلات في البيانات التي تحتاج إلى معالجة في مرحلة إعداد البيانات. لاختيار أهم مشكلتين تم تحديدهما بواسطة SageMaker Canvas، تحتاج إلى تشفير الميزات الفئوية وإزالة الصفوف المكررة حتى تكون جودة النموذج الخاص بك عالية. يمكنك القيام بكلا الأمرين والمزيد في سير عمل مرئي باستخدام SageMaker Canvas.

  1. أولاً، قم بتشفير ملف loan_intent, loan_gradeو person_home_ownership
  2. يمكنك إسقاط ملف cb_person_cred_history_length لأن هذا العمود يتمتع بأقل قدر من القدرة على التنبؤ، كما هو موضح في تقرير جودة البيانات والرؤى.

    أضاف SageMaker Canvas مؤخرًا ملف الدردشة مع البيانات خيار. تستخدم هذه الميزة قوة النماذج الأساسية لتفسير استعلامات اللغة الطبيعية وإنشاء تعليمات برمجية مستندة إلى Python لتطبيق تحويلات هندسة الميزات. يتم تشغيل هذه الميزة بواسطة Amazon Bedrock، ويمكن تهيئتها للتشغيل بالكامل في VPC الخاص بك بحيث لا تترك البيانات بيئتك أبدًا.
  3. لاستخدام هذه الميزة لإزالة الصفوف المكررة، اختر علامة الجمع الموجودة بجوار عمود الإسقاط تحويل ، ثم اختر الدردشة مع البيانات.
  4. أدخل الاستعلام باللغة الطبيعية (على سبيل المثال، "إزالة الصفوف المكررة من مجموعة البيانات").
  5. راجع التحويل الذي تم إنشاؤه واختر أضف إلى الخطوات لإضافة التحول إلى التدفق.
  6. وأخيرًا، قم بتصدير مخرجات هذه التحويلات إلى Amazon S3 أو بشكل اختياري متجر ميزات Amazon SageMaker لاستخدام هذه الميزات عبر مشاريع متعددة.

يمكنك أيضًا إضافة خطوة أخرى لإنشاء وجهة Amazon S3 لمجموعة البيانات لتوسيع نطاق سير العمل لمجموعة بيانات كبيرة. يوضح الرسم التخطيطي التالي تدفق بيانات SageMaker Canvas بعد إضافة التحويلات المرئية.

لقد أكملت خطوة معالجة البيانات وهندسة الميزات بالكامل باستخدام مهام سير العمل المرئية في SageMaker Canvas. ويساعد ذلك في تقليل الوقت الذي يقضيه مهندس البيانات في التنظيف وجعل البيانات جاهزة لتطوير النموذج من أسابيع إلى أيام. الخطوة التالية هي بناء نموذج ML.

قم ببناء نموذج باستخدام SageMaker Canvas

يوفر Amazon SageMaker Canvas سير عمل شامل بدون تعليمات برمجية لإنشاء نموذج التصنيف الثنائي هذا وتحليله واختباره ونشره. أكمل الخطوات التالية:

  1. قم بإنشاء مجموعة بيانات في SageMaker Canvas.
  2. حدد إما موقع S3 الذي تم استخدامه لتصدير البيانات أو موقع S3 الموجود في وجهة مهمة SageMaker Canvas.

    أنت الآن جاهز لبناء النموذج.
  3. اختار الموديلات في جزء التنقل واختر النموذج الجديد.
  4. قم بتسمية النموذج ثم اختر التحليل التنبئي كنوع النموذج.
  5. اختر مجموعة البيانات التي تم إنشاؤها في الخطوة السابقة.

    الخطوة التالية هي تكوين نوع النموذج.
  6. اختر العمود الهدف وسيتم تعيين نوع النموذج تلقائيًا على أنه 2 فئة التنبؤ.
  7. اختر نوع البناء الخاص بك، بناء قياسي or بناء سريع.

    يعرض SageMaker Canvas وقت الإنشاء المتوقع بمجرد البدء في إنشاء النموذج. يستغرق البناء القياسي عادةً ما بين 2 إلى 4 ساعات؛ يمكنك استخدام خيار الإنشاء السريع لمجموعات البيانات الأصغر حجمًا، والذي يستغرق من 2 إلى 15 دقيقة فقط. بالنسبة لمجموعة البيانات المحددة هذه، من المفترض أن يستغرق إكمال بناء النموذج حوالي 45 دقيقة. يبقيك SageMaker Canvas على علم بتقدم عملية الإنشاء.
  8. بعد بناء النموذج، يمكنك إلقاء نظرة على أداء النموذج.

    يوفر SageMaker Canvas مقاييس مختلفة مثل الدقة والدقة ودرجة F1 اعتمادًا على نوع النموذج. تعرض لقطة الشاشة التالية الدقة وبعض المقاييس المتقدمة الأخرى لنموذج التصنيف الثنائي هذا.
  9. الخطوة التالية هي عمل تنبؤات الاختبار.
    يتيح لك SageMaker Canvas إجراء تنبؤات مجمعة على مدخلات متعددة أو تنبؤ واحد للتحقق بسرعة من جودة النموذج. تُظهر لقطة الشاشة التالية نموذجًا للاستدلال.
  10. الخطوة الأخيرة هي نشر النموذج المدرب.
    تقوم SageMaker Canvas بنشر النموذج على نقاط نهاية SageMaker، والآن لديك نموذج إنتاج جاهز للاستدلال. توضح لقطة الشاشة التالية نقطة النهاية المنشورة.

بعد نشر النموذج، يمكنك الاتصال به من خلال AWS SDK أو واجهة سطر الأوامر AWS (AWS CLI) أو قم بإجراء استدعاءات API لأي تطبيق من اختيارك للتنبؤ بثقة بمخاطر المقترض المحتمل. لمزيد من المعلومات حول اختبار النموذج الخاص بك، راجع استدعاء نقاط النهاية في الوقت الحقيقي.

تنظيف

لتجنب تكبد رسوم إضافية، تسجيل الخروج من SageMaker Canvas or احذف مجال SageMaker الذي تم إنشاؤه. بالإضافة إلى ذلك، احذف نقطة نهاية نموذج SageMaker و احذف مجموعة البيانات التي تم تحميلها إلى Amazon S3.

وفي الختام

يعمل التعلم الآلي بدون تعليمات برمجية على تسريع عملية التطوير وتبسيط النشر ولا يتطلب مهارات برمجة ويزيد من التوحيد القياسي ويقلل التكلفة. جعلت هذه الفوائد التعلم الآلي بدون كود أمرًا جذابًا لشركة Deloitte لتحسين عروض خدمات التعلم الآلي الخاصة بها، كما قامت بتقصير الجداول الزمنية لبناء نموذج التعلم الآلي بنسبة 30-40%.

تعد شركة Deloitte شركة عالمية استراتيجية تعمل على تكامل الأنظمة وتضم أكثر من 17,000 من ممارسي AWS المعتمدين في جميع أنحاء العالم. وهي تواصل رفع المستوى من خلال المشاركة في برنامج كفاءة AWS مع 25 كفاءة، بما في ذلك التعلم الآلي. تواصل مع ديلويت لبدء استخدام حلول AWS بدون تعليمات برمجية ومنخفضة التعليمات البرمجية لمؤسستك.


عن المؤلفين

تشيدا سادايابان يقود ممارسة Deloitte Cloud AI / التعلم الآلي. إنه يجلب خبرة قوية في قيادة الفكر إلى المشاركات ويزدهر في دعم أصحاب المصلحة التنفيذيين لتحقيق أهداف تحسين الأداء والتحديث عبر الصناعات باستخدام الذكاء الاصطناعي / التعلم الآلي. تشيدا هي رائدة أعمال في مجال التكنولوجيا ومنشئة مجتمع متحمسة في الأنظمة البيئية للشركات الناشئة والمطورين.

كولديب سينغ، وهو قائد عالمي رئيسي للذكاء الاصطناعي/تعلم الآلة في AWS يتمتع بخبرة تزيد عن 20 عامًا في مجال التكنولوجيا، ويجمع بمهارة بين خبرته في المبيعات وريادة الأعمال مع الفهم العميق للذكاء الاصطناعي والتعلم الآلي والأمن السيبراني. وهو يبرع في إقامة شراكات عالمية استراتيجية، وقيادة الحلول والاستراتيجيات التحويلية عبر مختلف الصناعات مع التركيز على الذكاء الاصطناعي التوليدي ومؤشرات GSI.

كاسي موثو هو مهندس حلول شريك كبير يركز على البيانات والذكاء الاصطناعي/تعلم الآلة في AWS ومقره في هيوستن، تكساس. إنه متحمس لمساعدة الشركاء والعملاء على تسريع رحلة البيانات السحابية الخاصة بهم. وهو مستشار موثوق به في هذا المجال ويتمتع بخبرة كبيرة في تصميم وبناء أعباء عمل قابلة للتطوير ومرنة وعالية الأداء في السحابة. خارج العمل، يستمتع بقضاء الوقت مع عائلته.

بقعة_صورة

أحدث المعلومات الاستخباراتية

بقعة_صورة