최신 기계 학습 시스템은 엄청난 양의 에너지를 소비합니다. 실제로 대형 모델을 학습하면 자동차 XNUMX 대의 총 수명만큼 많은 이산화탄소를 생성 할 수있는 것으로 추정됩니다. 수십억 대의 장치가 정기적으로 기계 학습 모델을 훈련시킬 것으로 예상되는 분산 및 연합 학습 환경에서 기계 학습의 출현으로 영향이 더욱 악화 될 수 있습니다.

영향을 배우기 위해 캘리포니아 대학, 리버 사이드 및 오하이오 주립 대학의 연구원들은 개발 전력 제약이 심한 네트워크에 최적화 된 연합 학습 프레임 워크. 그들은 네트워크 환경의 다양한 머신 러닝 설정에 적용 할 수 있고 "상당한"성능 향상을 제공한다는 점에서 확장 가능하고 실용적이라고 주장합니다.

AI 및 기계 학습 모델 학습의 효과 환경에 점점 더 밝아지고 있습니다. 전 Google AI 윤리 학자 팀니트 게브루 최근에 공동 작성 종이 탄소 발자국을 포함하여 긴급한 위험을 논의한 대규모 언어 모델에서. 그리고 2020 년 XNUMX 월, Amherst에있는 매사추세츠 대학의 연구원들은 특정 모델을 훈련하고 검색하는 데 필요한 전력의 양이 대략적으로 배출되는 것을 추정하는 보고서를 발표했습니다. 626,000 파운드의 이산화탄소, 이는 평균 미국 자동차의 수명의 거의 5 배에 해당합니다.

기계 학습에서 연합 학습은 해당 샘플을 교환하지 않고 데이터 샘플을 보유하는 클라이언트 장치에서 학습 알고리즘을 수반합니다. 중앙 집중식 서버를 사용하여 알고리즘에 대한 교육 라운드를 조정하고 참조 클럭으로 작동하거나 배열이 피어 투 피어 일 수 있습니다. 그럼에도 불구하고 로컬 알고리즘은 로컬 데이터 샘플에서 훈련되고 가중치 (알고리즘의 학습 가능한 매개 변수)는 전역 모델을 생성하기 위해 알고리즘간에 교환됩니다. 예비 연구 이 설정은 전통적인 학습에 비해 탄소 배출을 낮출 수 있음을 보여주었습니다.

프레임 워크를 설계 할 때이 새로운 논문의 연구자들은 클라이언트가 간헐적 인 힘을 가지고 있고 사용 가능한 힘이있을 때만 훈련 과정에 참여할 수 있다고 가정했습니다. 그들의 솔루션은 (1) 클라이언트 스케줄링, (2) 클라이언트의 로컬 교육, (3) 서버의 모델 업데이트의 세 가지 구성 요소로 구성됩니다. 클라이언트 스케줄링은 각 클라이언트가 가용 전력 추정을 기반으로 교육에 참여할지 여부를 결정하도록 로컬에서 수행됩니다. 로컬 교육 단계에서 교육에 참여하기로 선택한 클라이언트는 로컬 데이터 세트를 사용하여 글로벌 모델을 업데이트하고 업데이트를 서버로 보냅니다. 로컬 업데이트를 수신하면 서버는 다음 교육 라운드를 위해 글로벌 모델을 업데이트합니다.

여러 실험에서 연구원들은 프레임 워크의 성능을 기존의 통합 학습 설정 벤치 마크와 비교했습니다. 첫 번째 벤치 마크는 연합 학습 클라이언트가 충분한 권한을 확보하자마자 교육에 참여하는 시나리오였습니다. 한편 두 번째 벤치 마크는 교육 라운드를 시작하기 전에 클라이언트가 교육에 참여할 수있는 충분한 권한을 갖기를 기다리는 서버를 다루었습니다.

연구자들은 그들의 프레임 워크가 정확도 측면에서 두 벤치 마크보다 훨씬 우수한 성능을 보였다고 주장합니다. 그들은 이것이 지속 가능한 연합 학습 기술을 향한 첫 번째 단계로 작용하고 최소한의 환경 발자국으로 대규모 기계 학습 훈련 시스템을 구축하는 연구 방향을 제시하기를 희망합니다.