二酸化炭素、メタン、亜酸化窒素のレベルは過去800,000万年間で最高となっている。 温室効果ガスは、他の要因とともに、20 世紀半ば以来観察されている地球温暖化を促進した可能性があります。 機械学習モデルも、環境の悪化傾向に間接的に貢献しています。 それは、大量の計算リソースとエネルギーを必要とするためです。モデルは、年間 200 テラワット時を使用すると推定されるデータセンター内の専用ハードウェア アクセラレータで、数千時間にわたって定期的にトレーニングされます。 (米国の平均的な家庭は年間約 10,000 キロワット時を消費しますが、これは全体のほんの一部です。)

この状況を受けて、ケンブリッジ大学、オックスフォード大学、ユニバーシティ・カレッジ・ロンドン、アヴィニョン大学、サムスンの研究者らは、AI モデルをトレーニングするためのよりエネルギー効率の高いアプローチを調査するようになりました。 新しく発表された論文では、多数のマシンにわたるモデルのトレーニングを含むフェデレーテッド ラーニングが、従来の学習と比較して二酸化炭素排出量の削減につながるかどうかを調査しています。 彼らの調査結果は、連合学習は場合によっては遅いにもかかわらず、量的に環境に優しい効果があることを示唆しています。

AIと機械学習モデルのトレーニングの効果 環境について ますます明るみに出ています。 元GoogleAI倫理学者 ティムニットゲブル 最近共著 紙 カーボンフットプリントを含む緊急のリスクを議論した大規模な言語モデルについて。 そして2020年XNUMX月、マサチューセッツ大学アマースト校の研究者は、特定のモデルのトレーニングと検索に必要な電力量には、およその排出量が含まれると推定するレポートを発表しました。 626,000ポンドの二酸化炭素、平均的な米国車の生涯排出量のほぼ5倍に相当します。

機械学習では、フェデレーテッド ラーニングでは、データ サンプルを交換することなく、データ サンプルを保持するさまざまなデバイス間でアルゴリズムをトレーニングする必要があります。 集中サーバーを使用してアルゴリズムのステップを調整し、基準クロックとして機能することも、ピアツーピアで配置することもできます。 いずれにしても、ローカル アルゴリズムはローカル データ サンプルでトレーニングされ、重み (アルゴリズムの学習可能なパラメーター) がアルゴリズム間で一定の頻度で交換されて、グローバル モデルが生成されます。

上: 異なる設定で、集中学習と連合学習の両方が目標精度に達した場合の二酸化炭素排出量をグラム単位で表します (低いほど良い)。

連合学習セットアップの二酸化炭素排出量を測定するために、新しい論文の共著者は、単一の GPU と CPU、および 2 つのチップセット (Nvidia Tegra XXNUMX と Jetson Xavier) を備えたサーバーを使用して、画像分類モデルと音声認識モデルの XNUMX つのモデルをトレーニングしました。 NX。 彼らは、チップセットとサーバーが設置されている国によってエネルギー使用量がどのように異なるかを考慮して、トレーニング中のサーバーとチップセットの電力消費量を記録しました。

研究者らは、国によって二酸化炭素排出係数に差はあるものの、連合学習の方が集中型トレーニングよりも確実に「クリーン」であることを発見しました。 たとえば、フランスでフェデレーテッド ラーニングを使用してオープンソース画像データセット CIFAR10 でトレーニングすると、中国での一元的なトレーニングと比較して二酸化炭素が 1.8​​.4.4 グラムから XNUMX グラム節約されます。 ImageNet のような大規模なデータセットの場合、フランスのフェデレーテッド ラーニング セットアップは中国や米国の集中型セットアップよりも排出量が少なく、研究者が使用した音声データセットでは、フェデレーテッド ラーニングはどの国の集中型トレーニングよりも効率的です。

研究者らは、フェデレーテッド ラーニングには、データセンターの冷却ニーズの一部により、環境面での利点があると説明しています。 雑誌に掲載された最近の論文によると 科学, データセンターの効率性の進歩は、データ需要の増大にほぼ追いついていますが、データセンターで消費されるエネルギーの総量は、過去 1 年間の世界のエネルギー使用量の約 18% を占めています。 これは米国の住宅XNUMX万戸にほぼ相当する。

研究者らは、さまざまな要因によってフェデレーテッド ラーニングの効率が他の方法よりも低下する可能性があるため、フェデレーテッド ラーニングは特効薬ではないと警告しています。 高度に分散されたデータベースはトレーニング時間を延長し、二酸化炭素排出量の増加につながる可能性があります。 ワークロード、モデル アーキテクチャ、ハードウェア効率も影響します。 Wi-Fi 経由のデータ転送であっても、モデルのサイズ、データセットのサイズ、トレーニング中にデバイスが消費するエネルギーによっては、二酸化炭素排出量に大きく影響する可能性があります。

それでも研究者らは、AIモデルを最適化する際に二酸化炭素排出率を考慮することで、良好なパフォーマンスを維持しながら汚染を削減できる可能性があると主張している。 これに向けて、データサイエンティストには排出量を最小限に抑えるアルゴリズムを設計するよう求め、デバイスメーカーにはエネルギー消費に関する透明性を高めるよう求めている。

「フェデレーテッド・ラーニングは…プライバシー保護のために政府や市民社会から発せられる新たな法的要求や政策に従う必要がある企業によって世界規模で導入され始めている」と研究者らは書いている。 「フェデレーテッドの二酸化炭素排出量を定量化し、フェデレーテッド設定の適切な設計がこれらの排出量の削減につながることを実証することで、フェデレーテッド ラーニング展開への重要な指標として放出された二酸化炭素を統合することを奨励します。」