تستهلك أنظمة التعلم الآلي الحديثة كميات هائلة من الطاقة. في الواقع ، تشير التقديرات إلى أن تدريب نموذج كبير يمكن أن يولد قدرًا كبيرًا من ثاني أكسيد الكربون مثل إجمالي عمر خمس سيارات. يمكن أن يتفاقم التأثير مع ظهور التعلم الآلي في إعدادات التعلم الموزعة والمتحدة ، حيث من المتوقع أن تدرب مليارات الأجهزة نماذج التعلم الآلي على أساس منتظم.

في محاولة لتعلم التأثير ، قام باحثون في جامعة كاليفورنيا وريفرسايد وجامعة ولاية أوهايو المتقدمة إطار عمل تعليمي متحد مُحسَّن للشبكات ذات قيود الطاقة الشديدة. يزعمون أنه قابل للتطوير وعملي على حد سواء لأنه يمكن تطبيقه على مجموعة من إعدادات التعلم الآلي في البيئات المتصلة بالشبكة ، وأنه يقدم تحسينات "كبيرة" في الأداء.

تأثيرات الذكاء الاصطناعي وتدريب نموذج التعلم الآلي على البيئة تظهر بشكل متزايد. خبير أخلاقي سابق في Google AI تيمنيت جبرو شارك مؤخرًا في تأليف ملف ورقة على نماذج اللغة الكبيرة التي ناقشت المخاطر الملحة ، بما في ذلك البصمة الكربونية. وفي يونيو 2020 ، أصدر باحثون في جامعة ماساتشوستس في أمهيرست تقريرًا يقدر أن مقدار الطاقة المطلوبة للتدريب والبحث في نموذج معين يتضمن انبعاثات تقريبًا 626,000 رطل من ثاني أكسيد الكربون، أي ما يعادل ما يقرب من 5 أضعاف انبعاثات متوسط ​​عمر السيارة الأمريكية.

في التعلم الآلي ، يستلزم التعلم الموحد تدريب خوارزميات عبر أجهزة العميل التي تحتفظ بعينات البيانات دون تبادل تلك العينات. يمكن استخدام خادم مركزي لتنظيم جولات من التدريب للخوارزمية والعمل كساعة مرجعية ، أو قد يكون الترتيب من نظير إلى نظير. بغض النظر ، يتم تدريب الخوارزميات المحلية على عينات البيانات المحلية ويتم تبادل الأوزان - المعلمات القابلة للتعلم للخوارزميات - بين الخوارزميات عند بعض التردد لإنشاء نموذج عالمي. أولية دراسات أظهرت أن هذا الإعداد يمكن أن يؤدي إلى خفض انبعاثات الكربون مقارنة بالتعلم التقليدي.

عند تصميم إطار العمل الخاص بهم ، افترض الباحثون في هذه الورقة الجديدة أن العملاء لديهم قوة متقطعة ويمكنهم المشاركة في عملية التدريب فقط عندما يكون لديهم القوة المتاحة. يتكون حلهم من ثلاثة مكونات: (1) جدولة العميل ، (2) التدريب المحلي للعملاء ، و (3) تحديثات النموذج على الخادم. يتم تنفيذ جدولة العميل محليًا بحيث يقرر كل عميل ما إذا كان سيشارك في التدريب بناءً على تقدير الطاقة المتاحة. خلال مرحلة التدريب المحلي ، يقوم العملاء الذين يختارون المشاركة في التدريب بتحديث النموذج العالمي باستخدام مجموعات البيانات المحلية الخاصة بهم وإرسال تحديثاتهم إلى الخادم. عند استلام التحديثات المحلية ، يقوم الخادم بتحديث النموذج العالمي للجولة التالية من التدريب.

عبر العديد من التجارب ، قارن الباحثون أداء إطار عملهم مع إعدادات التعلم الموحدة التقليدية المعيارية. كان المعيار الأول هو السيناريو الذي يشارك فيه عملاء التعلم الفيدرالي في التدريب بمجرد أن يكون لديهم القوة الكافية. وفي الوقت نفسه ، فإن المعيار الثاني يتعامل مع الخادم الذي ينتظر العملاء للحصول على القوة الكافية للمشاركة في التدريب قبل بدء جولة تدريبية.

يزعم الباحثون أن إطار عملهم تفوق بشكل كبير على المعيارين من حيث الدقة. إنهم يأملون في أن يكون ذلك بمثابة خطوة أولى نحو تقنيات التعلم الفيدرالي المستدامة ويفتح اتجاهات البحث في بناء أنظمة تدريب على التعلم الآلي على نطاق واسع بأقل آثار بيئية.