- 10 أكتوبر 2021
- فاسيليس فرينيوتيس
- . لا تعليق
كان الأسبوعان الماضيان مشغولين للغاية في "PyTorch Land" حيث إننا نستعد بشكل محموم لإصدار PyTorch v1.10 و TorchVision v0.11. في هذا الإصدار الثاني من السلسلة، سأغطي بعض الميزات القادمة المضمنة حاليًا في فرع إصدار TorchVision.
تنصل: على الرغم من أن الإصدار القادم مليء بالعديد من التحسينات والتحسينات على الأخطاء / الاختبار / التوثيق ، فإنني هنا أسلط الضوء على ميزات "مواجهة للمستخدم" الجديدة في المجالات التي أهتم بها شخصيًا. بعد كتابة منشور المدونة ، لاحظت أيضًا تحيزًا تجاه الميزات التي راجعتها أو كتبتها أو تابعت تطورها عن كثب. إن تغطية (أو عدم تغطية) ميزة ما لا يقول شيئًا عن أهميتها. الآراء المعبر عنها هي بلدي فقط.
نماذج جديدة
الإصدار الجديد مليء بطرازات جديدة:
- أضاف Kai Zhang تطبيقًا لـ هندسة RegNet جنبًا إلى جنب مع الأوزان المدربة مسبقًا لـ 14 متغيرات التي تستنسخ عن كثب الورق الأصلي.
- لقد أضفت مؤخرًا تطبيقًا لبرنامج هندسة EfficientNet جنبًا إلى جنب مع الأوزان المدربة مسبقًا للمتغيرات B0-B7 المقدمة من Luke Melas-Kyriazi و Ross Wightman.
التعزيزات الجديدة للبيانات
تمت إضافة بعض تقنيات زيادة البيانات الجديدة إلى الإصدار الأخير:
- ساهم صموئيل جبرائيل زيادة تافهة، إستراتيجية جديدة بسيطة ولكنها فعالة للغاية ويبدو أنها توفر نتائج متفوقة لـ AutoAugment.
- لقد أضفت ال RandAugment طريقة في الزيادات التلقائية.
- لقد قدمت تطبيقًا لـ Mixup و CutMix يتحول في المراجع. سيتم نقل هذه في تحويلات في الإصدار التالي بمجرد الانتهاء من واجهة برمجة التطبيقات الخاصة بهم.
عوامل التشغيل والطبقات الجديدة
تم تضمين عدد من العوامل والطبقات الجديدة:
المراجع / وصفات التدريب
على الرغم من أن تحسين البرامج النصية المرجعية هو جهد مستمر ، فإليك بعض الميزات الجديدة المضمنة في الإصدار القادم:
- أضاف Prabhat Roy دعمًا لـ خط المتوسط المتحرك الآسي. في وصفة التصنيف لدينا.
- لقد قمت بتحديث مراجعنا لدعم تجانس التسمية، والذي تم تقديمه مؤخرًا بواسطة Joel Schlosser و Thomas J. Fan على PyTorch core.
- لقد قمت بتضمين خيار الأداء تعلم معدل الإحماء، باستخدام أحدث جداول LR التي طورتها Ilqar Ramazanli.
تحسينات أخرى
فيما يلي بعض التحسينات الأخرى الملحوظة التي تمت إضافتها في الإصدار:
- قام ألكساندر سواري وفرانشيسكو ماسا بتطوير المنفعة القائمة على العملات الأجنبية مما يسمح باستخراج ميزات وسيطة عشوائية من بنيات النموذج.
- أضاف نيكيتا شولجا دعمًا لـ كودا 11.3 إلى TorchVision.
- قام Zhongkai Zhu بإصلاح ملف قضايا التبعية JPEG lib (تسببت هذه المشكلة في حدوث مشكلات كبيرة للعديد من مستخدمينا).
قيد التقدم والمتابعة
هناك الكثير من الميزات الجديدة المثيرة قيد التطوير والتي لم تنجح في هذا الإصدار. وهنا عدد قليل:
- لقد قمت أنا وموتو هيرا وبارميت سينغ باتيا بصياغة RFC الذي يقترح آلية جديدة لـ إصدار النموذج وللتعامل مع البيانات الوصفية المرتبطة بالأوزان المدربة مسبقًا. سيمكننا ذلك من دعم الأوزان المتعددة المدربة مسبقًا لكل نموذج وإرفاق المعلومات المرتبطة مثل الملصقات والمعالجة المسبقة ، وما إلى ذلك بالنماذج.
- أنا أعمل حاليًا على استخدام العناصر الأولية المضافة بواسطة "وشملت بطاريات"من أجل تحسين دقة ملفات نماذج مدربة مسبقًا. الهدف هو تحقيق أفضل النتائج في فئتها للنماذج المدربة مسبقًا الأكثر شيوعًا التي تقدمها TorchVision.
- يعمل Philip Meier و Francisco Massa على نموذج أولي مثير لجهاز TorchVision الجديد بيانات و التحويلات API.
- يعمل Prabhat Roy على توسيع PyTorch Core's
AveragedModelفئة لدعم متوسط المخازن المؤقتة بالإضافة إلى المعلمات. يتم الإبلاغ عن عدم وجود هذه الميزة بشكل شائع على أنه خطأ وإرادة تمكين العديد من مكتبات المصب وأطر لإزالة تطبيقات EMA المخصصة الخاصة بهم. - أديتيا أوك كتب فائدة والذي يسمح بالتآمر على النتائج من نماذج Keypoint على الصور الأصلية (لم تصل الميزة إلى الإصدار لأننا غمرناها ولم نتمكن من مراجعتها في الوقت المناسب)
- أنا أقوم ببناء النموذج الأولي FX- فائدة الذي يهدف إلى اكتشاف الاتصالات المتبقية في بنى نموذجية عشوائية وتعديل الشبكة لإضافة كتل تنظيم (مثل
StochasticDepth).
أخيرًا ، هناك بعض الميزات الجديدة في الأعمال المتراكمة لدينا (ستتوفر العروض التقديمية قريبًا):
آمل أن تكون قد وجدت الملخص أعلاه مثيرًا للاهتمام. نرحب بشدة بأي أفكار حول كيفية تكييف تنسيق سلسلة المدونات. اضربني لينكدين: or تويتر.
من نحن فاسيليس فرينيوتيس
اسمي فاسيليس فرينيوتيس. أنا عالم بيانات ، ومهندس برمجيات ، ومؤلف إطار عمل التعلم الآلي Datumbox ومهتم فخور. اكتشف المزيد
أفلاطون. Web3 مُعاد تصوره. تضخيم ذكاء البيانات.
انقر هنا للوصول.
