Modern makine öğrenimi sistemleri büyük miktarda enerji tüketir. Aslında, büyük bir modelin eğitiminin, beş arabanın toplam ömrü kadar karbondioksit üretebileceği tahmin ediliyor. Milyarlarca cihazın makine öğrenimi modellerini düzenli olarak eğitmesinin beklendiği dağıtılmış ve birleştirilmiş öğrenme ortamlarında makine öğreniminin ortaya çıkmasıyla bu etki daha da kötüleşebilir.

Etkiyi ölçmek amacıyla Kaliforniya Üniversitesi, Riverside ve Ohio Eyalet Üniversitesi'ndeki araştırmacılar gelişmiş Ciddi güç kısıtlamalarına sahip ağlar için optimize edilmiş birleştirilmiş öğrenme çerçevesi. Ağa bağlı ortamlardaki çeşitli makine öğrenimi ayarlarına uygulanabilmesi ve "önemli" performans iyileştirmeleri sağlaması açısından hem ölçeklenebilir hem de pratik olduğunu iddia ediyorlar.

Yapay zeka ve makine öğrenimi modeli eğitiminin etkileri Çevrede giderek gün yüzüne çıkıyor. Eski Google AI etikçisi Timnit Gebrü yakın zamanda bir kâğıt karbon ayak izi dahil acil riskleri tartışan büyük dil modelleri üzerine. Ve Haziran 2020'de, Amherst'teki Massachusetts Üniversitesi'ndeki araştırmacılar, belirli bir modeli eğitmek ve araştırmak için gereken güç miktarının yaklaşık olarak emisyonları içerdiğini tahmin eden bir rapor yayınladılar. 626,000 pound karbondioksit, ortalama bir ABD otomobilinin ömür boyu emisyonlarının yaklaşık 5 katına eşittir.

Makine öğreniminde, birleşik öğrenme, veri örneklerini bu örnekleri değiştirmeden tutan istemci aygıtları arasında eğitim algoritmalarını gerektirir. Algoritmaya yönelik eğitim turlarını düzenlemek ve referans saati görevi görmek için merkezi bir sunucu kullanılabilir veya düzenleme eşler arası olabilir. Her ne olursa olsun, yerel algoritmalar yerel veri örnekleri üzerinde eğitilir ve ağırlıklar (algoritmaların öğrenilebilir parametreleri) küresel bir model oluşturmak için belirli frekanslarda algoritmalar arasında değiştirilir. Ön hazırlık çalışmalar bu kurulumun geleneksel öğrenmeye kıyasla daha düşük karbon emisyonlarına yol açabileceğini gösterdi.

Bu yeni makalenin araştırmacıları, çerçevelerini tasarlarken, müşterilerin aralıklı güce sahip olduğunu ve yalnızca güç mevcut olduğunda eğitim sürecine katılabileceklerini varsaydı. Çözümleri üç bileşenden oluşuyor: (1) istemci planlama, (2) istemcilerde yerel eğitim ve (3) sunucudaki model güncellemeleri. Müşteri planlaması, her müşterinin mevcut güç tahminine dayalı olarak eğitime katılıp katılmayacağına karar vereceği şekilde yerel olarak gerçekleştirilir. Yerel eğitim aşamasında eğitime katılmayı seçen istemciler, yerel veri kümelerini kullanarak global modeli günceller ve güncellemelerini sunucuya gönderir. Yerel güncellemeleri aldıktan sonra sunucu, bir sonraki eğitim turu için genel modeli günceller.

Çeşitli deneylerde araştırmacılar, çerçevelerinin performansını geleneksel birleşik öğrenme ortamlarıyla karşılaştırdılar. İlk kıyaslama, birleşik öğrenme müşterilerinin yeterli güce sahip olur olmaz eğitime katıldıkları bir senaryoydu. Bu arada ikinci kıyaslama, bir eğitim turu başlatmadan önce müşterilerin eğitime katılmak için yeterli güce sahip olmasını bekleyen bir sunucuyla ilgiliydi.

Araştırmacılar, çerçevelerinin doğruluk açısından iki kriterden önemli ölçüde daha iyi performans gösterdiğini iddia ediyor. Bunun sürdürülebilir birleşik öğrenme tekniklerine doğru bir ilk adım olmasını ve çevresel ayak izi minimum düzeyde olan büyük ölçekli makine öğrenimi eğitim sistemleri oluşturma konusunda araştırma yönlendirmelerini açmasını umuyorlar.