المُقدّمة

في التعلم الآلي ، تعتبر مقايضة التباين التحيز مفهومًا أساسيًا يؤثر على أداء أي نموذج تنبؤي. يشير إلى التوازن الدقيق بين خطأ التحيز وخطأ التباين في النموذج ، حيث من المستحيل تقليل كليهما في وقت واحد. إن تحقيق التوازن الصحيح أمر بالغ الأهمية لتحقيق الأداء الأمثل للنموذج.

في هذه المقالة القصيرة ، سنحدد التحيز والتباين ، ونوضح كيف يؤثران على نموذج التعلم الآلي ، ونقدم بعض النصائح العملية حول كيفية التعامل معهم عمليًا.

فهم التحيز والتباين

قبل الغوص في العلاقة بين التحيز والتباين ، دعنا نحدد ما تمثله هذه المصطلحات في التعلم الآلي.

يشير خطأ التحيز إلى الاختلاف بين توقع النموذج والقيم الصحيحة التي يحاول التنبؤ بها (الحقيقة الأساسية). بمعنى آخر ، التحيز هو الخطأ الذي يرتكبه النموذج بسبب افتراضاته غير الصحيحة حول توزيع البيانات الأساسي. غالبًا ما تكون نماذج التحيز المرتفعة مفرطة في التبسيط ، حيث تفشل في التقاط تعقيد البيانات ، مما يؤدي إلى نقص في الملائمة.

من ناحية أخرى ، يشير خطأ التباين إلى حساسية النموذج للتقلبات الصغيرة في بيانات التدريب. تعد نماذج التباين العالي معقدة للغاية وتميل إلى احتواء الضوضاء في البيانات ، بدلاً من النمط الأساسي ، مما يؤدي إلى التخصيص الزائد. ينتج عن هذا أداء ضعيف على البيانات الجديدة غير المرئية.

يمكن أن يؤدي التحيز المرتفع إلى عدم ملاءمة النموذج ، حيث يكون النموذج أبسط من أن يلتقط تعقيد البيانات. يضع افتراضات قوية حول البيانات ويفشل في التقاط العلاقة الحقيقية بين متغيرات الإدخال والإخراج. من ناحية أخرى ، يمكن أن يؤدي التباين العالي إلى التخصيص ، حيث يكون النموذج معقدًا للغاية ويتعلم الضوضاء في البيانات بدلاً من العلاقة الأساسية بين متغيرات الإدخال والإخراج. وبالتالي ، تميل نماذج التجهيز الزائد إلى ملاءمة بيانات التدريب بشكل وثيق للغاية ولن يتم تعميمها جيدًا على البيانات الجديدة ، في حين أن النماذج غير الملائمة لا يمكنها حتى ملاءمة بيانات التدريب بدقة.

كما ذكرنا سابقًا ، يرتبط التحيز والتباين ، ونموذج أرصدة جيدة بين خطأ التحيز وخطأ التباين. إن مقايضة التباين التحيز هي عملية إيجاد التوازن الأمثل بين هذين المصدرين للخطأ. من المرجح أن يعمل النموذج ذو التحيز المنخفض والتباين المنخفض بشكل جيد في كل من التدريب والبيانات الجديدة ، مما يقلل من الخطأ الكلي.

مقايضة التحيز والتباين

إن تحقيق التوازن بين تعقيد النموذج وقدرته على التعميم على بيانات غير معروفة هو جوهر مقايضة التباين التحيز. بشكل عام ، سيكون للنموذج الأكثر تعقيدًا انحيازًا أقل ولكن تباينًا أعلى ، في حين أن النموذج الأبسط سيكون له تحيز أعلى ولكن تباين أقل.

نظرًا لأنه من المستحيل تقليل التحيز والتباين في وقت واحد ، فإن إيجاد التوازن الأمثل بينهما أمر بالغ الأهمية في بناء نموذج قوي للتعلم الآلي. على سبيل المثال ، عندما نزيد من تعقيد النموذج ، نزيد التباين أيضًا. هذا لأن النموذج الأكثر تعقيدًا من المرجح أن يلائم الضوضاء في بيانات التدريب ، مما سيؤدي إلى فرط التجهيز.

من ناحية أخرى ، إذا أبقينا النموذج بسيطًا للغاية ، فسنزيد من التحيز. هذا لأن النموذج الأبسط لن يكون قادرًا على التقاط العلاقات الأساسية في البيانات ، مما سيؤدي إلى نقص في الملائمة.

الهدف هو تدريب نموذج معقد بما يكفي لالتقاط العلاقات الأساسية في بيانات التدريب ، ولكن ليس معقدًا لدرجة أنه يلائم الضوضاء في بيانات التدريب.

المقايضة بين التحيز والتباين في الممارسة

لتشخيص أداء النموذج ، نقوم عادةً بحساب ومقارنة أخطاء التدريب والتحقق من الصحة. من الأدوات المفيدة لتصور هذا مخطط منحنيات التعلم ، والذي يعرض أداء النموذج في كل من بيانات القطار والتحقق من الصحة طوال عملية التدريب. من خلال فحص هذه المنحنيات ، يمكننا تحديد ما إذا كان النموذج مناسبًا (تباينًا مرتفعًا) ، أو غير ملائم (انحياز مرتفع) ، أو ملائم (توازن مثالي بين التحيز والتباين).

مثال على منحنيات التعلم لنموذج غير مناسب. كل من خطأ القطار وخطأ التحقق مرتفعان.

من الناحية العملية ، يشير الأداء المنخفض في كل من بيانات التدريب والتحقق من الصحة إلى أن النموذج بسيط للغاية ، مما يؤدي إلى عدم ملاءمة النموذج. من ناحية أخرى ، إذا كان أداء النموذج جيدًا على بيانات التدريب ولكن أداءه ضعيفًا على بيانات الاختبار ، فمن المحتمل أن يكون تعقيد النموذج مرتفعًا جدًا ، مما يؤدي إلى زيادة التجهيز. لمعالجة نقص الملاءمة ، يمكننا محاولة زيادة تعقيد النموذج عن طريق إضافة المزيد من الميزات أو تغيير خوارزمية التعلم أو اختيار معلمات تشعبية مختلفة. في حالة التجهيز الزائد ، يجب أن نفكر في تنظيم النموذج أو استخدام تقنيات مثل التحقق المتبادل لتحسين قدرات التعميم.

مثال على منحنيات التعلم لنموذج overfitting. ينخفض ​​خطأ القطار بينما يبدأ خطأ التحقق من الصحة في الزيادة. النموذج غير قادر على التعميم.

التنظيم هو تقنية يمكن استخدامها لتقليل خطأ التباين في نماذج التعلم الآلي ، مما يساعد على معالجة مقايضة التباين التحيز. هناك عدد من تقنيات التنظيم المختلفة ، ولكل منها مزاياها وعيوبها. تتضمن بعض تقنيات التنظيم الشائعة انحدار التلال وانحدار لاسو وتنظيم الشبكة المرنة. تساعد كل هذه التقنيات في منع فرط التخصيص عن طريق إضافة مصطلح جزائي إلى الوظيفة الموضوعية للنموذج ، مما يثبط قيم المعلمات القصوى ويشجع النماذج الأبسط.

انحدار ريدج، المعروف أيضًا باسم تنظيم L2 ، يضيف مصطلح جزائي يتناسب مع مربع معلمات النموذج. تميل هذه التقنية إلى إنتاج نماذج ذات قيم معلمات أصغر ، مما قد يؤدي إلى تقليل التباين وتحسين التعميم. ومع ذلك ، فإنه لا يقوم بتحديد الميزة ، لذلك تظل جميع الميزات في النموذج.

انحدار لاسو، أو تنظيم L1 ، يضيف مصطلح جزائي يتناسب مع القيمة المطلقة لمعلمات النموذج. يمكن أن تؤدي هذه التقنية إلى نماذج ذات قيم متفرقة متفرقة ، مما يؤدي إلى اختيار الميزة بشكل فعال عن طريق تعيين بعض المعلمات على الصفر. يمكن أن يؤدي هذا إلى نماذج أبسط يسهل تفسيرها.

تسوية صافي مرنة هو مزيج من كل من تنظيم L1 و L2 ، مما يسمح بالتوازن بين انحدار التلال والانحدار الحر. من خلال التحكم في النسبة بين فترتي العقوبة ، يمكن للشبكة المرنة أن تحقق فوائد كلتا التقنيتين ، مثل التعميم المحسن واختيار الميزة.

مثال على منحنيات التعلم لنموذج مناسب جيد.

استنتاجات

تعتبر مقايضة التباين التحيز مفهومًا مهمًا في التعلم الآلي الذي يحدد فعالية النموذج وجودة النموذج. في حين أن التحيز العالي يؤدي إلى عدم ملاءمة والتباين الكبير يؤدي إلى فرط التجهيز ، فإن إيجاد التوازن الأمثل بين الاثنين ضروري لبناء نماذج قوية تعمم جيدًا على البيانات الجديدة.

بمساعدة منحنيات التعلم ، من الممكن تحديد مشاكل فرط التجهيز أو عدم الملائمة ، ومن خلال ضبط تعقيد النموذج أو تنفيذ تقنيات التنظيم ، من الممكن تحسين الأداء في كل من بيانات التدريب والتحقق ، وكذلك بيانات الاختبار.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
• سك المستقبل مع أدرين أشلي. الوصول هنا.
• شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
• المصدر https://stackabuse.com/the-bias-variance-trade-off-in-machine-learning/