الصورة عن طريق qimono على Pixabary
نقل التعلم هو أسلوب التعلم الآلي حيث يمكن إعادة استخدام المعرفة التي تم الحصول عليها من نموذج مستخدم في مهمة واحدة ، كنقطة أساس لمهمة أخرى.
تستخدم خوارزميات التعلم الآلي البيانات التاريخية كمدخلات لها لعمل تنبؤات وإنتاج قيم مخرجات جديدة. وهي مصممة عادة للقيام بمهام منفصلة. مهمة المصدر هي مهمة يتم من خلالها نقل المعرفة إلى مهمة مستهدفة. المهمة المستهدفة هي عندما يحدث التعلم المحسن بسبب نقل المعرفة من مهمة المصدر.
أثناء نقل التعلم ، يتم استخدام المعرفة المستفادة والتقدم السريع من مهمة المصدر لتحسين التعلم والتطوير إلى مهمة مستهدفة جديدة. يستخدم تطبيق المعرفة سمات وخصائص المهمة المصدر ، والتي سيتم تطبيقها وتعيينها على المهمة المستهدفة.
ومع ذلك ، إذا أدت طريقة النقل إلى انخفاض في أداء المهمة المستهدفة الجديدة ، فإنها تسمى نقل سلبي. تتمثل إحدى التحديات الرئيسية عند العمل باستخدام أساليب التعلم التحويلية في القدرة على توفير وضمان النقل الإيجابي بين المهام ذات الصلة ، مع تجنب النقل السلبي بين المهام الأقل ارتباطًا.
ماذا ومتى وكيف يتم نقل التعلم
- ماذا ننقل؟ لفهم أجزاء المعرفة المكتسبة المراد نقلها ، نحتاج إلى معرفة أجزاء المعرفة التي تعكس بشكل أفضل كلا من المصدر والهدف. بشكل عام ، تحسين أداء ودقة المهمة المستهدفة.
- متى ننقل؟ من المهم فهم وقت النقل ، لأننا لا نريد نقل المعرفة والذي بدوره قد يزيد الأمور سوءًا ، مما يؤدي إلى النقل السلبي. هدفنا هو تحسين أداء المهمة المستهدفة ، وليس جعلها أسوأ.
- كيف ننقل؟ الآن لدينا فكرة أفضل عما نريد نقله وعندما نتمكن من الانتقال إلى العمل بتقنيات مختلفة لنقل المعرفة بكفاءة. سنتحدث أكثر عن هذا لاحقًا في المقالة.
قبل أن نتعمق في المنهجية الكامنة وراء التعلم الانتقالي ، من الجيد معرفة الأشكال المختلفة لتعلم النقل. سوف نمر بثلاثة أنواع مختلفة من سيناريوهات تعلم النقل ، بناءً على العلاقات بين المهمة المصدر والمهمة المستهدفة. فيما يلي نظرة عامة على الأنواع المختلفة لتعلم النقل:
أنواع مختلفة من نقل التعلم
تعلم التحويل الاستقرائي: في هذا النوع من التعلم بالنقل ، تكون المهمة المصدر والمهمة هي نفسها ، ومع ذلك ، لا يزال كل منهما مختلفًا عن الآخر. سيستخدم النموذج التحيزات الاستقرائية من مهمة المصدر للمساعدة في تحسين أداء المهمة المستهدفة. قد تحتوي المهمة المصدر أو لا تحتوي على بيانات مصنفة ، مما يؤدي إلى النموذج باستخدام التعلم متعدد المهام والتعلم الذاتي.
نقل التعلم غير الخاضع للإشراف: أفترض أنك تعرف ما هو التعلم غير الخاضع للإشراف ، ومع ذلك ، إذا لم تكن تعرفه ، فهذا يحدث عندما تخضع الخوارزمية للقدرة على تحديد الأنماط في مجموعات البيانات التي لم يتم تصنيفها أو تصنيفها. في هذه الحالة ، المصدر والهدف متشابهان ، ومع ذلك ، فإن المهمة مختلفة ، حيث لا يتم تصنيف كلتا البيانات في كل من المصدر والهدف. تقنيات مثل تقليل الأبعاد والتكتل معروفة جيدًا في التعلم غير الخاضع للإشراف.
التعلم التحويلي: في هذا النوع الأخير من التعلم بالنقل ، تشترك المهام المصدر والهدف في أوجه التشابه ، ومع ذلك ، فإن المجالات مختلفة. يحتوي المجال المصدر على الكثير من البيانات المصنفة ، في حين أن هناك عدم وجود بيانات مصنفة في المجال الهدف ، مما يؤدي إلى النموذج باستخدام تكييف المجال.
نقل التعلم مقابل الضبط الدقيق
يعد الضبط الدقيق خطوة اختيارية في نقل التعلم ويتم دمجه بشكل أساسي لتحسين أداء النموذج. يكمن الاختلاف بين نقل التعلم والضبط الدقيق في الاسم بالكامل.
تم بناء التعلم بالنقل على اعتماد الميزات المكتسبة من مهمة واحدة و "نقل" المعرفة المستفيدة إلى مهمة جديدة. عادةً ما يتم استخدام التعلم بالنقل في المهام التي تكون فيها مجموعة البيانات صغيرة جدًا ، لتدريب نموذج كامل النطاق من البداية. يعتمد الضبط الدقيق على إجراء تعديلات "دقيقة" على العملية من أجل الحصول على المخرجات المرغوبة لتحسين الأداء بشكل أكبر. يتم تعديل معلمات النموذج المُدرَّب أثناء الضبط الدقيق وتخصيصها بدقة وبشكل خاص ، أثناء محاولة التحقق من صحة النموذج لتحقيق النتائج المرجوة.
لماذا استخدام نقل التعلم؟
أسباب استخدام نقل التعلم:
لا تحتاج إلى الكثير من البيانات - يعد الوصول إلى البيانات دائمًا عائقًا بسبب عدم توفرها. يمكن أن يؤدي العمل بكميات غير كافية من البيانات إلى أداء منخفض. هذا هو المكان الذي يتألق فيه التعلم الانتقالي حيث يمكن بناء نموذج التعلم الآلي باستخدام مجموعة بيانات تدريب صغيرة ، نظرًا لأنه تم تدريبه مسبقًا.
توفير وقت التدريب - يصعب تدريب نماذج التعلم الآلي ويمكن أن تستغرق الكثير من الوقت ، مما يؤدي إلى عدم الكفاءة. يتطلب الأمر فترة طويلة من الوقت لتدريب شبكة عصبية عميقة من البداية على مهمة معقدة ، لذا فإن استخدام نموذج مدرب مسبقًا يوفر الوقت في بناء شبكة جديدة.
نقل إيجابيات التعلم
قاعدة أفضل: يوفر لك استخدام نموذج مدرب مسبقًا في نقل التعلم أساسًا ونقطة انطلاق أفضل ، مما يسمح لك بأداء بعض المهام دون تدريب.
معدل التعلم العالي: نظرًا لأن النموذج قد تم تدريبه بالفعل على مهمة مماثلة مسبقًا ، يتمتع النموذج بمعدل تعلم أعلى.
معدل دقة أعلى: مع قاعدة أفضل ومعدل تعليم أعلى ، يعمل النموذج بأداء أعلى ، مما ينتج عنه مخرجات أكثر دقة.
متى يتم نقل التعلم ليس ؟
يجب تجنب التعلم بالنقل عندما تختلف الأوزان المدربة من مهمة المصدر عن المهمة المستهدفة. على سبيل المثال ، إذا تم تدريب شبكتك السابقة على تصنيف القطط والكلاب وتحاول شبكتك الجديدة اكتشاف الأحذية والجوارب ، فستكون هناك مشكلة لأن الأوزان المنقولة من مصدرك إلى المهمة المستهدفة لن تتمكن من إعطائها لك أفضل النتائج. لذلك ، فإن تهيئة الشبكة بأوزان مُدربة مسبقًا تتوافق مع مخرجات مماثلة لتلك التي تتوقعها أفضل من استخدام أوزان بدون ارتباط.
ستؤدي إزالة الطبقات من نموذج مدرب مسبقًا إلى حدوث مشكلات في بنية النموذج. إذا قمت بإزالة الطبقات الأولى ، فسيكون للنموذج الخاص بك معدل تعلم منخفض حيث يتعين عليه التوفيق بين العمل مع الميزات منخفضة المستوى. تؤدي إزالة الطبقات إلى تقليل عدد المعلمات التي يمكن تدريبها ، مما قد يؤدي إلى زيادة التجهيز. تعد القدرة على استخدام الكمية الصحيحة من الطبقات أمرًا حيويًا في تقليل فرط التجهيز ، ومع ذلك ، فهذه أيضًا عملية في الوقت المناسب.
نقل سلبيات التعلم
التعلم بالنقل السلبي: كما ذكرت أعلاه ، فإن التعلم بالنقل السلبي يحدث عندما تعيق طريقة التعلم السابقة المهمة الجديدة. يحدث هذا فقط إذا كان المصدر والهدف غير متشابهين بدرجة كافية ، مما يتسبب في أن تكون الجولة الأولى من التدريب بعيدة جدًا. لا يتعين على الخوارزميات أن تتفق دائمًا مع ما نعتبره متشابهًا ، مما يجعل من الصعب فهم أساسيات ومعايير نوع التدريب الكافي.
نقل التعلم في 6 خطوات
دعونا نتعمق في فهم أفضل لكيفية تنفيذ التعلم الانتقالي والخطوات المتخذة. هناك 6 خطوات عامة تم اتخاذها في نقل التعلم وسنمر بكل منها.
- حدد مهمة المصدر: الخطوة الأولى هي تحديد نموذج مدرب مسبقًا يحتوي على وفرة من البيانات ، مع وجود علاقة بين بيانات الإدخال والإخراج مع المهمة المستهدفة التي اخترتها.
- إنشاء نموذج أساسي: إنشاء نموذج أساسي بأوزان مُدرَّبة مسبقًا. يمكن الوصول إلى الأوزان المدربة مسبقًا من خلال بنى مثل Xception. هذا هو تطوير نموذج المصدر الخاص بك ، بحيث يكون أفضل من النموذج البسيط الذي بدأنا به ، مما يضمن بعض الزيادة في معدل التعلم.
- طبقات التجميد: لتقليل تهيئة الأوزان مرة أخرى ، من الضروري تجميد الطبقات من النموذج المدرب مسبقًا. سوف يسترد المعرفة التي تم تعلمها بالفعل ويخلصك من تدريب النموذج من البداية.
base_model.trainable = خطأ
- إضافة طبقات جديدة قابلة للتدريب: ستؤدي إضافة طبقات جديدة قابلة للتدريب أعلى الطبقة المجمدة إلى تحويل الميزات القديمة إلى تنبؤات على مجموعة بيانات جديدة.
- تدريب الطبقات الجديدة: يحتوي النموذج المدرب مسبقًا على طبقة الإخراج النهائية بالفعل. احتمالية أن يكون الناتج الحالي على النموذج المدرب مسبقًا والإخراج الذي تريده من النموذج مختلفًا ، مرتفع. لذلك ، عليك تدريب النموذج بطبقة إخراج جديدة. لذلك ، فإن إضافة طبقات كثيفة جديدة وطبقة كثيفة أخيرة تتوافق مع نموذجك المتوقع ، سيحسن معدل التعلم وينتج مخرجات تريدها.
- الضبط الدقيق: يمكنك تحسين أداء النموذج الخاص بك عن طريق الضبط الدقيق ، والذي يتم عن طريق إلغاء تجميد كل النماذج الأساسية أو أجزاء منها ثم إعادة تدريب النموذج بمعدل تعلم منخفض جدًا. من الأهمية بمكان استخدام معدل تعليم منخفض في هذه المرحلة ، لأن النموذج الذي تقوم بتدريبه أكبر بكثير مما كان عليه في البداية في الجولة الأولى ، إلى جانب كونه مجموعة بيانات صغيرة. نتيجة لذلك ، فأنت معرض لخطر زيادة الوزن إذا قمت بتطبيق تحديثات كبيرة للوزن ، لذلك تريد ضبطه بطريقة تدريجية. أعد تجميع النموذج لأنك قمت بتغيير سلوك النموذج ثم أعد تدريب النموذج مرة أخرى ، ومراقبة أي ردود فعل مناسبة.
آمل أن يكون هذا المقال قد أعطاك مقدمة وفهمًا جيدًا لتعليم النقل. ترقبوا ، مقالتي التالية ستكون عن طريق تطبيق نقل التعلم للتعرف على الصور ومعالجة اللغة الطبيعية.
نيشا آريا هو عالم بيانات وكاتب تقني مستقل. وهي مهتمة بشكل خاص بتقديم المشورة المهنية في علوم البيانات أو البرامج التعليمية والمعرفة القائمة على النظرية حول علوم البيانات. إنها ترغب أيضًا في استكشاف الطرق المختلفة التي يمكن للذكاء الاصطناعي من خلالها الاستفادة من طول عمر الإنسان. متعلمة حريصة ، تسعى إلى توسيع معرفتها التقنية ومهارات الكتابة لديها ، بينما تساعد في توجيه الآخرين.
المصدر: https://www.kdnuggets.com/2022/01/transfer-learning.html
