Les systèmes d'apprentissage automatique modernes consomment d'énormes quantités d'énergie. En fait, on estime que la formation d'un grand modèle peut générer autant de dioxyde de carbone que la durée de vie totale de cinq voitures. L'impact pourrait s'aggraver avec l'émergence de l'apprentissage automatique dans des environnements d'apprentissage distribué et fédéré, où des milliards d'appareils devraient former régulièrement des modèles d'apprentissage automatique.

Dans un effort pour en tirer parti, des chercheurs de l'Université de Californie, de Riverside et de l'Ohio State University développé un cadre d'apprentissage fédéré optimisé pour les réseaux à fortes contraintes de puissance. Ils affirment qu'il est à la fois évolutif et pratique en ce qu'il peut être appliqué à une gamme de paramètres d'apprentissage automatique dans des environnements en réseau, et qu'il offre des améliorations de performances «significatives».

Les effets de l'IA et de la formation aux modèles d'apprentissage automatique sur l'environnement sont de plus en plus visibles. Ancien éthicien de l'IA de Google Timnit Gebru a récemment co-écrit un papier sur de grands modèles linguistiques qui traitaient des risques urgents, y compris l'empreinte carbone. Et en juin 2020, des chercheurs de l'Université du Massachusetts à Amherst ont publié un rapport estimant que la quantité d'énergie requise pour la formation et la recherche d'un certain modèle implique des émissions d'environ 626,000 livres de dioxyde de carbone, ce qui équivaut à près de 5 fois les émissions à vie d'une voiture américaine moyenne.

Dans l'apprentissage automatique, l'apprentissage fédéré implique des algorithmes d'entraînement sur des appareils clients qui contiennent des échantillons de données sans échanger ces échantillons. Un serveur centralisé peut être utilisé pour orchestrer des cycles de formation pour l'algorithme et agir comme une horloge de référence, ou l'agencement peut être d'égal à égal. Quoi qu'il en soit, les algorithmes locaux sont entraînés sur des échantillons de données locaux et les poids - les paramètres apprenables des algorithmes - sont échangés entre les algorithmes à une certaine fréquence pour générer un modèle global. Préliminaire et le cannabis ont montré que cette configuration peut conduire à une réduction des émissions de carbone par rapport à l'apprentissage traditionnel.

En concevant leur cadre, les chercheurs de ce nouvel article ont supposé que les clients ont un pouvoir intermittent et ne peuvent participer au processus de formation que lorsqu'ils ont de l'énergie disponible. Leur solution se compose de trois composants: (1) la planification des clients, (2) la formation locale chez les clients et (3) les mises à jour des modèles sur le serveur. La planification du client est effectuée localement de sorte que chaque client décide de participer ou non à la formation sur la base d'une estimation de la puissance disponible. Pendant la phase de formation locale, les clients qui choisissent de participer à la formation mettent à jour le modèle global à l'aide de leurs ensembles de données locaux et envoient leurs mises à jour au serveur. À la réception des mises à jour locales, le serveur met à jour le modèle global pour le prochain cycle de formation.

À travers plusieurs expériences, les chercheurs ont comparé les performances de leur framework avec des paramètres d'apprentissage fédérés conventionnels de référence. Le premier point de référence était un scénario dans lequel les clients de l'apprentissage fédéré participaient à la formation dès qu'ils avaient suffisamment de pouvoir. Le deuxième benchmark, quant à lui, concernait un serveur qui attendait que les clients aient suffisamment de puissance pour participer à la formation avant de lancer une ronde de formation.

Les chercheurs affirment que leur cadre a largement surpassé les deux critères en termes de précision. Ils espèrent qu'il servira de premier pas vers des techniques d'apprentissage fédéré durables et ouvrira des directions de recherche dans la construction de systèmes de formation à l'apprentissage automatique à grande échelle avec une empreinte environnementale minimale.