By إريك سيجل ، دكتوراه.، أسبوع التعلم الآلي
يؤكد أحدث استطلاع لـ KDnuggets ضجة الصناعة الرهيبة اليوم: عدد قليل جدًا من نماذج التعلم الآلي التي يتم نشرها بالفعل. في هذه المقالة ، سألخص نتائج الاستطلاع وأناقش أن هذا الفشل المتفشي لمشاريع ML يأتي من الافتقار إلى القيادة الحكيمة. سأجادل أيضًا أن MLops ليس العنصر الأساسي المفقود - بدلاً من ذلك ، يجب أن تكون ممارسة قيادة ML الفعالة هي الكلب الذي يهز ذيل تكامل النموذج.
بالنظر إلى الأحاديث المتزايدة حول فشل ML في الإطلاق ، كان هناك القليل نسبيًا من الأبحاث الصناعية الملموسة - خاصة عندما يتعلق الأمر بالمسوحات حول نشر النموذج على وجه الخصوص بدلاً من العائد على الاستثمار بشكل عام - لذلك اقترحت هذا الاستطلاع على Gregory Piatetsky و Matthew Mayo من KDnuggets. لقد ساعدوني في صياغتها وصياغتها.
النتائج قاتمة ، ولكن هناك ميل متفائل: في معظم الحالات ، العنصر الوحيد المفقود لتحقيق النشر الذي يدفع القيمة الحقيقية هو ممارسة القيادة الصحيحة - جنبًا إلى جنب مع بعض التكثيف البدائي للمسؤولين التنفيذيين. وهذا يعني أن الإثارة حول ML تستحقها. تكمن المشكلة في أن هذه الإثارة تركز حاليًا بشكل شبه كامل على التكنولوجيا الأساسية نفسها ، بدلاً من إطلاقها في الإنتاج.
سؤال الاستطلاع الأول: ما النسبة المئوية لنماذج التعلم الآلي (التي أنشأتها أنت أو زملاؤك بنية النشر) التي تم نشرها بالفعل؟
يقول غالبية علماء البيانات أن 0 إلى 20 ٪ فقط من النماذج التي تم إنشاؤها ليتم نشرها قد وصلت إلى هناك. بمعنى آخر ، يقول معظمهم أن 80٪ أو أكثر من مشاريعهم تتعطل قبل نشر نموذج ML.
يتوافق معدل النجاح المنخفض بشكل مذهل مع أبحاث الصناعة السابقة. نرى مقال توماس دافنبورت وكاتي مالون للحصول على نظرة عامة جيدة التقديم لسجل الإنجاز ، والذي يتضمن نتائج من مسح Rexer Analytics لعلماء البيانات يوضح أنه ، قبل عدة سنوات ، قال 13٪ فقط إن نماذجهم يتم نشرها دائمًا (في استطلاع عام 2020 الأخير ، انخفض هذا إلى 11٪ ، كما أخبرني كارل ريكسر). يحذو المدراء حذوهم ، مشيرين إلى أن "10٪ فقط من الشركات تحصل على فوائد مالية كبيرة من تقنيات الذكاء الاصطناعي" ، وفقًا لـ بحث من MIT Sloan Management. محلل جارتنر واحد أيضًا مقدر أن ما يقرب من 85٪ من مشاريع البيانات الضخمة تفشل. بالإضافة إلى ذلك ، "متوسط العائد على جميع استثمارات الذكاء الاصطناعي حسب الشركة هو 1.3٪ فقط" و "20٪ فقط من مشاريع الذكاء الاصطناعي منتشرة على نطاق واسع" ، وفقًا لـ مسح عام 2020 لكبار المديرين التنفيذيين بواسطة ESI ThoughtLab.
قيادة ML للإنقاذ
إليكم جذر المشكلة: نحن نصنع أساليب تعلم الآلة الأساسية التي تولد النماذج بدلاً من الشيء الذي يجب أن نكون أكثر حماسًا بشأنه - في الواقع باستخدام تلك النماذج في هذا المجال. إذا أردنا حقًا إعطاء الأولوية لنشر النموذج ، فسنقود بقوة في هذا الاتجاه من خلال التخطيط الصارم له من البداية ، قبل أن يبدأ أي عمل عملي.
اسمحوا لي بعبارة أخرى. الضجيج السائد اليوم حول قدرة تحطيم الأرقام نفسها - مع تركيز ضئيل نسبيًا على تحقيق الانتشار - يشبه أن تكون أكثر حماسًا لبناء صاروخ من إطلاقه.
الدافع وراء عالم البيانات هو "المضي قدمًا" في النمذجة في أسرع وقت ممكن. ينطبق هذا أيضًا على الوافدين الجدد ، الذين يقفزون بشكل حصري تقريبًا إلى الدورات التدريبية العملية والكتب التي تفترض أن بيانات التدريب قد تم إعدادها بالفعل. يشكل هذا سردًا خاطئًا بشكل صارخ حيث تتمثل الخطوة الأولى لمشروع ML في تحميل البيانات في برنامج النمذجة.
هذا الافتراض الخاطئ ، أن البيانات موجودة بالفعل ، هو أحد الأعراض الصارخة لمتلازمة "فقدان النقطة" الجماعية في صناعة غسل الأموال. إنه يكشف عن أننا لا ندرب الممارسين على الكرة: النشر. بعد كل شيء ، حتى قبل أن تتمكن من البدء في إعداد البيانات ، فإن متطلباتها - وعلى الأخص تعريف المتغير التابع - تعتمد بشكل كبير على مشروع جيد النطاق ومستنير واجتماعي وفي النهاية مصمم لتحقيق النشر. النشر يعني تغيير جذري للعمليات الحالية. لا يمكنك أن تفترض أن صانعي القرار سيقبلون بسهولة. فالتعاون العميق معهم يعد أكثر أهمية من إنشاء نموذج.
التعلم العميق ، بكل ما يحمله من وعود وأهمية ، لا يؤدي إلا إلى تضخيم المشكلة ، وزيادة نسبة الضجيج إلى القيمة المحققة. من المرجح أن تكون مثل هذه المشاريع تخمينية واستكشافية - أكثر في جانب البحث والتطوير بمسافة أوسع لاجتيازها قبل أي احتمال نهائي للنشر. غالبًا ما تقدم مشاريع التعلم العميق عمليات وإمكانيات جديدة ، مثل نماذج معالجة الصور التي تقترح التشخيصات للأطباء أو قيادة المركبات الذاتية. يتناقض هذا مع تطبيقات الأعمال الأكثر رسوخًا لما هي عادةً طرق نمذجة أبسط ، والتي تعمل فقط على تعزيز العمليات الحالية ، مثل اكتشاف الاحتيال وتسجيل الائتمان. علاوة على ذلك ، فإن تعقيد نماذج التعلم العميق يعني أيضًا أن تحديات التكامل من المرجح أن يتم التقليل من شأنها وليس التخطيط لها بشكل كافٍ.
ضجيج "الذكاء الاصطناعي" يحرف التركيز عن النشر العملي الأكثر شهرة. عندما تنتقل إلى السعي وراء "الذكاء" ، فإنك تتوقف عن حل مشكلة معينة بالدرجات التنبؤية. بدلاً من ذلك ، أنت تلاحق مغالطة. الذكاء هدف لا يمكن تحديده بطريقة هادفة في سياق الهندسة. انظر كتاب ريتشارد هايمان الجديد ، القيام بالذكاء الاصطناعي، الأمر الذي يفضح السرد الكاذب للذكاء الاصطناعي: ادعاءه أنه - أو على الأقل قريبًا - الحل النهائي الذي يناسب الجميع ، رصاصة فضية قادرة على حل جميع المشكلات. ولمزيد من المعلومات حول هذا ، لقد صنعت سلسلة قصيرة من مقاطع الفيديو حول سبب تكبد إضفاء الشرعية على الذكاء الاصطناعي كحقل تكلفة كبيرة للأعمال.
ممارسة القيادة الصحيحة لتعلم الآلة تجسر فجوة أكبر مما يدركه معظم الناس. إنه يشكل مسارًا قابلاً للتطبيق للنشر ، والذي يتضمن تحقيق المشاركة من قادة الأعمال الرئيسيين - الذين غالبًا ما يقدمون مدخلات تغير المفهوم الأصلي لعالم البيانات للمشروع. دون المشاركة بشكل استباقي ، سيقف هؤلاء الأشخاص عادةً في طريق النشر.
لمزيد من التعمق ، راجع مقالاتي عن قيادة ML في KD nuggets, هارفارد بيزنس ريفيوو مجلة التحليلات (INFORMS)، بالإضافة إلى دورة تعلم الآلة عبر الإنترنت (شاهد الفيديو على لماذا يحتاج علماء البيانات إلى تعلم الجانب التجاري من ML) ومسار مؤتمر التشغيل أسبوع التعلم الآلي. بالحديث عن ذلك ، فإن مضيف مسار المؤتمر ، المستشار جيمس تايلور ، هو سلطة رائدة في هذا المجال. لقد نشر العديد من المقالات حول هذا الموضوع ، مثل واحد في أساسيات تفعيل ML واحد على لماذا تكافح المنظمات من أجل أن تصبح مدفوعة بالبيانات.
المشاكل الناجمة عن عدم وجود قيادة ML
كشف سؤال الاستطلاع الثاني عن أنواع المشاكل التي تقف في طريق الانتشار.
سؤال الاستطلاع الثاني: من واقع خبرتك ، ما هو العائق الرئيسي أمام نشر النموذج؟
إن الافتقار إلى القيادة هو الذي يعيق الانتشار في أغلب الأحيان. من بين الاستجابات الثلاثة الأولى ، والتي تشكل مجتمعة 91٪ ، لم يشر سوى واحد فقط إلى فشل محتمل في النمذجة بدلاً من فشل في تخطيط المشروع: "الأداء لا يعتبر قوياً بما فيه الكفاية من قبل صانعي القرار". ومع ذلك ، يمكنك المراهنة على أن هذا غالبًا ما ينبع من الإدارة السيئة لتوقعات المشرفين حول ما إذا كانت النماذج ستكون "دقيقة للغاية" (لن يكون معظمهم) وما إذا كانت النماذج الأكثر واقعية ستكون ذات قيمة إذا تم نشرها مع ذلك (سيكون معظمها كذلك). يجب على قيادة غسل الأموال تكثيف صانعي القرار وفقًا لذلك.
تحديات الاندماج (35٪) تعكس في الواقع فشل قيادة بدلاً من فشل التكنولوجيا أو نقص MLops ، في معظم الحالات. بعد كل شيء ، مع نشر الهدف المحدد منذ بداية مشروع ML ، يجب أن يكون تقييم متطلبات التكامل الفني - والتخطيط لتحقيقها - مساويًا في الأولوية للنمذجة نفسها. قد يكون MLops جزءًا أساسيًا من هذا الإنجاز ، لكنه ليس علاجًا للنشر. عادةً ما يكون أكبر عنق الزجاجة للنشر هو الحصول على دعم من صانعي القرار البشريين ، حتى لو كانت تحديات التكامل مثيرة للإعجاب أيضًا. على أي حال ، فإن القيادة هي الأساس الذي يعالج جميع العقبات ، في حين أن MLops ليست سوى واحدة من العديد من الأدوات المتاحة للقيادة. إذا اتضح أن MLops هو المكون الرئيسي المفقود ، فذلك بسبب فشل القيادة ، وليس حجة أن MLops هو الحل الوحيد لمشاكل النشر لدينا بشكل عام.
يمكن أن تنبع مشكلات "الخصوصية / القانونية" الأقل مرتبة أيضًا من الافتقار إلى التبصر والتخطيط - على الرغم من أن مثل هذه المشكلات يمكن أن تظهر بشكل غير متوقع. نظرًا للأهمية الكبيرة والاهتمام الواسع النطاق الممنوح لهذه الأمور ، فمن الملاحظ أنها لا يتم تصنيفها في كثير من الأحيان على أنها العائق الرئيسي. من المحتمل أن مشاريع ML ببساطة لا تصل إلى ما يكفي لمواجهة هذه المشكلات ، وتتوقف في وقت سابق بسبب المشكلات الأخرى.
المزيد من الدلائل على أزمة انتشار غسل الأموال
تلقى هذا الاستطلاع 114 ردًا ، أقل بكثير من العديد من استطلاعات KDnuggets. قد يكون الأمر أن مسألة النشر لا تنطبق ببساطة على العديد من علماء البيانات ، الذين لم يصلوا بعد إلى مرحلة إنشاء نماذج تنبؤية معدة للنشر - أو الذين لم يتجهوا حتى في هذا الاتجاه ، وبدلاً من ذلك يستخدمون "وصفية" طرق التحليل بخلاف ML. ولكن قد يكون هناك أيضًا اختيار ذاتي سلبي بين أولئك الذين لا يريدون حقًا مواجهة هذا النقص في النجاح عقليًا. قد يكون الأمر محبطًا عندما تكتشف بالطريقة الصعبة ، بمرور الوقت ، أن ما يبدو أنه عرض قيمة "لا يحتاج إلى تفكير" ليس واضحًا تمامًا للقوى الموجودة ، والتي بدلاً من ذلك تخطئ في جانب الحذر في ضوء المزالق المحتملة التي يتصورونها في حالة نشر نموذج الضوء الأخضر. بعد كل شيء ، تركز KDnuggets بشكل حصري تقريبًا على العملية الفنية العملية ، ونادرًا ما تنشر مقالات تركز على نشر الأعمال. يؤلف قراءها مجتمعًا من الخبراء البارعين تقنيًا الذين يركزون أكثر على معالجة الأرقام أكثر من تفعيلها. إذا كان الأمر كذلك أن علماء البيانات المحبطين هؤلاء قد امتنعوا عن المشاركة في هذا الاستطلاع ، فإن الموقف يكون أكثر خطورة مما ينعكس في نتائج الاستطلاع.
بالنظر إلى العدد المنخفض ، لا يوجد شيء يمكن استنتاجه عبر علامات التبويب المتقاطعة. في أي حال، ها هي مجموعة البيانات الكاملة في حال كنت ترغب في الحفر.
أخيرًا ، تؤكد الردود على آخر استطلاع مكون من ثلاثة أسئلة مدى ملاءمتها:
سؤال الاستطلاع الثالث: ما هو نوع صاحب العمل الخاص بك؟
غالبية المستجيبين هم ممارسون في الصناعة ، وهو المكان الذي يهم النشر في النهاية. يمكننا أن نتوقع أن يكون لدى البائعين تحيز تجاه الإبلاغ عن فشل أقل ؛ تمكن أدواتهم من التحليل ، وفي بعض الحالات ، جانب التكامل الفني للنشر ، لكن الممارسة القيادية اللازمة لتحقيق النشر هي مسعى بشري وليس برمجيًا. إنهم لا يبيعون ذلك. لموازنة هذا التحيز المحتمل ، من غير المرجح أن يعمل الأكاديميون والطلاب على النشر الصناعي في المقام الأول. يبدو أن هذه الافتراضات تتجلى في الأرقام ، لكن الأجزاء المنفصلة صغيرة جدًا بحيث لا يمكن استخلاص النتائج.
أخيرًا ، كتب الأربعة الذين اختاروا "أخرى" للسؤال الثاني (العائق الرئيسي أمام النشر) في هذه الإدخالات غير المفاجئة:
- أغراض البحث [أشار هذا المجيب إلى "أكاديمي / بحثي" كنوع صاحب العمل]
- الكثير من الضجيج ، غالبًا ما يفشل التعلم العميق في التحقق من الواقع
- فقدان الاهتمام
- تبني
الخطوات التالية
هناك حاجة إلى مزيد من البحوث الصناعية. هذا الاستطلاع القصير يترك الكثير من عدم اليقين والكثير لاستطلاع الرأي. بعد كل شيء ، من المرجح أن تنجح بعض مشاريع تعلم الآلة الحثيثة - مثل تدريب نموذج محدث لنظام تصنيف الائتمان الحالي في بنك كبير - أكثر من المبادرات الجديدة. من الناحية المثالية ، ستتميز الاستطلاعات المستقبلية حسب مجال التطبيق ، وقطاع الصناعة ، وما إذا كانت المبادرة جديدة ، وما إذا كانت تستخدم التعلم العميق. قد نجد ، خارج أفضل الظروف ، أن معدل الفشل أعلى من ذلك.
لكني سأختتم بعبارة أكثر أهمية للحث على اتخاذ إجراء: قيادة ML جيدًا. تولى قيادة مشاريع ML نحو النشر بنفس الدقة التي تتعامل بها مع تطبيق خوارزميات ML الأساسية!
إريك سيجل ، دكتوراه ، هو مستشار بارز وأستاذ سابق في جامعة كولومبيا يعمل على ربط الجوانب التجارية والتقنية في التعلم الآلي. هو مؤسس عالم التحليلات التنبؤية و عالم التعلم العميق سلسلة المؤتمرات معًا أسبوع التعلم الآلي، والتي خدمت أكثر من 17,000 مشارك منذ عام 2009. كمدرس للدورة التدريبية الشهيرة عبر الإنترنت "قيادة وممارسة تعلم الآلة - إتقان شامل"، الحائز على جوائز التدريس كأستاذ ومتحدث شهير ، ألقى إريك أكثر من 110 عنوان رئيسي. المحرر التنفيذي لموقع أوقات التعلم الآليكتب الأكثر مبيعًا التحليلات التنبؤية: القدرة على التنبؤ بمن سينقر أو يشتري أو يكذب أو يموتالذي تم اعتماده للدورات في مئات الجامعات. ظهر إريك في العديد من القنوات الإعلامية ، بما في ذلك بلومبرغ, ناشيونال جيوغرافيكو الإذاعة الوطنية العامة، وقد نشر في نيوزويك, HBR, مدونة SciAm, وايبو, WSJ, و الأكثر من ذلك - بما في ذلك مقالات الرأي حول التحليلات والعدالة الاجتماعية. اتبعه تضمين التغريدة.
