제퍼넷 로고

AI 녹화: 애플리케이션을 더욱 지속 가능하게 만드는 7가지 전략 – KDnuggets

시간

AI 녹화: 애플리케이션을 더욱 지속 가능하게 만드는 7가지 전략
편집자별 이미지
 

AI 애플리케이션은 전례 없는 속도로 발전을 촉진할 수 있는 비교할 수 없는 계산 능력을 보유하고 있습니다. 그럼에도 불구하고 이러한 도구는 운영을 위해 에너지 집약적인 데이터 센터에 크게 의존하므로 탄소 배출량에 크게 기여하는 에너지 민감도가 부족합니다. 놀랍게도 이러한 AI 애플리케이션은 이미 상당한 규모를 차지하고 있습니다. 2.5 ~ 3.7 전 세계 온실가스 배출량이 항공 산업의 배출량을 능가하는 비율입니다.

불행하게도 이러한 탄소 배출량은 빠른 속도로 증가하고 있습니다.

현재 시급한 요구 사항은 "측정할 수 없는 것은 관리할 수 없다"는 Peter Drucker의 지혜가 강조한 것처럼 기계 학습 애플리케이션의 탄소 배출량을 측정하는 것입니다. 현재 AI가 환경에 미치는 영향을 정량화하는 데에는 명확성이 상당히 부족하여 정확한 수치를 알 수 없습니다.

AI 업계 리더들은 탄소 배출량을 측정하는 것 외에도 이를 최적화하는 데 적극적으로 집중해야 합니다. 이러한 이중 접근 방식은 AI 애플리케이션을 둘러싼 환경 문제를 해결하고 보다 지속 가능한 발전 경로를 보장하는 데 필수적입니다.

기계 학습의 사용이 증가하려면 더 많은 데이터 센터가 필요하며, 그 중 다수는 전력이 부족하여 상당한 탄소 배출량을 발생시킵니다. 데이터 센터의 전 세계 전력 사용량은 0.9 %의 1.3 2021 인치

A 2021 연구 이 사용량은 1.86년까지 2030%로 증가할 것으로 추산됩니다. 그림 데이터센터로 인한 에너지 수요 증가 추세를 나타냄
 

AI 녹화: 애플리케이션을 더욱 지속 가능하게 만드는 7가지 전략
© 데이터센터 에너지 소비 추이 및 이용 비중
 

특히, 에너지 소비가 높을수록 탄소 배출량도 높아집니다. 데이터 센터는 처리 중에 과열되어 결함이 발생할 수 있으며 과열로 인해 작동이 중단될 수도 있습니다. 따라서 추가 에너지가 필요한 냉각이 필요합니다. 약 40 비율 데이터 센터에서 소비하는 전기 중 냉방에 사용되는 전력입니다. 

AI 사용의 증가하는 발자국을 고려할 때 이러한 도구의 탄소 집약도를 고려해야 합니다. 현재 이 주제에 대한 연구는 일부 모델에 대한 분석에 국한되어 있으며 해당 모델의 다양성을 적절하게 다루지 못하고 있습니다.

다음은 AI 시스템의 탄소 강도를 계산하기 위한 진화된 방법론과 몇 가지 효과적인 도구입니다.

소프트웨어 탄소 강도(SCI) 표준 AI 시스템의 탄소 강도를 추정하는 효과적인 접근 방식입니다. 귀속적 탄소 회계 접근법을 사용하는 기존 방법론과 달리 결과 계산 접근법을 사용합니다.

결과적 접근 방식은 추가 단위를 생성하기로 한 결정과 같은 개입이나 결정으로 인해 발생하는 배출량의 한계 변화를 계산하려고 시도합니다. 반면, 기여는 회계 평균 집약도 데이터 또는 배출량의 정적 목록을 의미합니다. 

A 종이 Jesse Doge 외의 "클라우드 인스턴스에서 AI의 탄소 강도 측정"에 대해 더 많은 정보에 입각한 연구를 가져오기 위해 이 방법론을 사용했습니다. 상당한 양의 AI 모델 훈련이 클라우드 컴퓨팅 인스턴스에서 수행되므로 AI 모델의 탄소 배출량을 계산하는 유효한 프레임워크가 될 수 있습니다. 이 논문은 다음과 같은 추정을 위해 SCI 공식을 개선합니다. 

AI 녹화: 애플리케이션을 더욱 지속 가능하게 만드는 7가지 전략

이는 다음에서 정제됩니다.

AI 녹화: 애플리케이션을 더욱 지속 가능하게 만드는 7가지 전략

AI 녹화: 애플리케이션을 더욱 지속 가능하게 만드는 7가지 전략 그 유래 AI 녹화: 애플리케이션을 더욱 지속 가능하게 만드는 7가지 전략

여기서

E: 주로 ML 하드웨어에 특화된 그래픽 처리 장치인 GPU 등 소프트웨어 시스템에서 소비되는 에너지입니다. 

I: 데이터 센터에 전력을 공급하는 그리드의 위치 기반 한계 탄소 배출량입니다. 

M: 하드웨어의 사용, 제작, 폐기 과정에서 배출되는 탄소인 내장형 또는 구체화형 탄소입니다. 

R: 기능 단위. 이 경우 하나의 기계 학습 훈련 작업입니다. 

C= O+M, 여기서 O는 E*I와 같습니다. 

이 문서에서는 공식을 사용하여 단일 클라우드 인스턴스의 전기 사용량을 추정합니다. 딥 러닝 기반 ML 시스템에서 주요 전력 소비는 이 공식에 포함된 GPU로 인해 발생합니다. 그들은 이 공식의 적용을 실험하기 위해 Intel Xeon E12-5 v2630 CPU(3GHz) 2.4개와 256GB RAM(16x16GB DIMM)을 갖춘 상용 서버에서 단일 NVIDIA TITAN X GPU(XNUMXGB)를 사용하여 BERT 기반 모델을 훈련했습니다. 다음 그림은 이 실험의 결과를 보여줍니다.
 
 

AI 녹화: 애플리케이션을 더욱 지속 가능하게 만드는 7가지 전략
© 에너지 소비 및 서버 구성 요소 간의 분할
 

GPU는 에너지 소비의 74%를 차지합니다. 논문 작성자는 여전히 과소평가했다고 주장하지만 GPU를 포함하는 것은 올바른 방향으로 나아가는 단계입니다. 이는 기존 추정 기법의 초점이 아니며, 이는 탄소 배출량의 주요 기여자가 추정에서 간과되고 있음을 의미합니다. 분명히 SCI는 탄소 강도에 대한 보다 건전하고 신뢰할 수 있는 계산을 제공합니다.

AI 모델 교육은 클라우드 컴퓨팅 인스턴스에서 수행되는 경우가 많습니다. 클라우드를 사용하면 유연하고 액세스 가능하며 비용 효율적이기 때문입니다. 클라우드 컴퓨팅은 AI 모델을 대규모로 배포하고 교육하기 위한 인프라와 리소스를 제공합니다. 이것이 클라우드 컴퓨팅에 대한 모델 훈련이 점차 증가하는 이유입니다. 

완화 노력에 적합한 영역을 식별하려면 클라우드 컴퓨팅 인스턴스의 실시간 탄소 강도를 측정하는 것이 중요합니다. 에너지 단위당 시간 기반 및 위치별 한계 배출량을 계산하면 다음과 같이 운영 탄소 배출량을 계산하는 데 도움이 될 수 있습니다. 2022 용지

An 오픈 소스 도구인 CCF(Cloud Carbon Footprint) 소프트웨어를 사용하여 클라우드 인스턴스의 영향을 계산할 수도 있습니다. 

AI 시스템의 탄소 집약도를 최적화하는 7가지 방법은 다음과 같습니다.

1. 더 훌륭하고 효율적인 코드 작성

최적화된 코드는 다음과 같이 에너지 소비를 줄일 수 있습니다. 30 비율 메모리 및 프로세서 사용량 감소를 통해. 탄소 효율적인 코드를 작성하려면 더 빠른 실행을 위해 알고리즘을 최적화하고, 불필요한 계산을 줄이고, 더 적은 전력으로 작업을 수행하기 위해 에너지 효율적인 하드웨어를 선택해야 합니다.

개발자는 프로파일링 도구를 사용하여 코드에서 성능 병목 현상과 최적화 영역을 식별할 수 있습니다. 이 프로세스를 통해 더욱 에너지 효율적인 소프트웨어를 만들 수 있습니다. 또한 사용 가능한 리소스에 적응하고 에너지 효율적인 실행 경로의 우선 순위를 지정하도록 코드를 설계하는 에너지 인식 프로그래밍 기술 구현을 고려하세요.

2. 보다 효율적인 모델을 선택하세요

올바른 알고리즘과 데이터 구조를 선택하는 것이 중요합니다. 개발자는 계산 복잡성과 그에 따른 에너지 소비를 최소화하는 알고리즘을 선택해야 합니다. 더 복잡한 모델이 3~5%만 개선되지만 학습하는 데 2~3배 더 많은 시간이 걸리는 경우 그런 다음 더 간단하고 빠른 모델을 선택하세요.

모델 증류는 대규모 모델을 더 작은 버전으로 압축하여 필수 지식을 유지하면서 더 효율적으로 만드는 또 다른 기술입니다. 이는 큰 모델을 모방하도록 작은 모델을 훈련하거나 신경망에서 불필요한 연결을 제거함으로써 달성할 수 있습니다.

3. 모델 매개변수 조정

모델 성능(예: 정확도)과 에너지 소비의 균형을 맞추는 이중 목표 최적화를 사용하여 모델의 하이퍼파라미터를 조정합니다. 이 이중 목표 접근 방식은 서로를 위해 하나를 희생하지 않도록 보장하여 모델을 더욱 효율적으로 만듭니다.

다음과 같은 기술을 활용합니다. 매개변수 효율적인 미세 조정 (PEFT)의 목표는 기존 미세 조정과 유사한 성능을 달성하지만 훈련 가능한 매개변수 수를 줄이는 것입니다. 이 접근 방식에는 사전 훈련된 LLM(대형 언어 모델)의 대부분을 고정 상태로 유지하면서 모델 매개변수의 작은 하위 집합을 미세 조정하는 작업이 포함되어 있어 계산 리소스와 에너지 소비가 크게 줄어듭니다.

4. 데이터를 압축하고 저에너지 스토리지를 사용하세요.

전송되는 데이터의 양을 줄이기 위해 데이터 압축 기술을 구현합니다. 압축된 데이터는 전송하는 데 더 적은 에너지가 필요하며 디스크에서 더 적은 공간을 차지합니다. 모델 제공 단계에서 캐시를 사용하면 온라인 저장소 계층에 대한 호출을 줄이는 데 도움이 될 수 있습니다. 

또한 올바른 스토리지 기술을 선택하면 상당한 이점을 얻을 수 있습니다. 예를 들어. AWS Glacier는 효율적인 데이터 보관 솔루션이며, 데이터에 자주 액세스할 필요가 없는 경우 S3를 사용하는 것보다 더 지속 가능한 접근 방식이 될 수 있습니다.

5. 청정 에너지에 대한 모델 교육

모델 훈련을 위해 클라우드 서비스를 사용하는 경우 계산을 수행할 지역을 선택할 수 있습니다. 이 목적을 위해 재생 가능 에너지원을 사용하는 지역을 선택하면 배출량을 최대로 줄일 수 있습니다. 30 시간. AWS 블로그 게시물 비즈니스 최적화와 지속 가능성 목표 간의 균형을 설명합니다. 

또 다른 옵션은 모델을 실행할 적절한 시간을 선택하는 것입니다. 하루 중 특정 시간에; 에너지는 더 깨끗하며 이러한 데이터는 다음과 같은 유료 서비스를 통해 얻을 수 있습니다. 전기 지도, 다양한 지역의 전기 탄소 강도에 관한 실시간 데이터 및 미래 예측에 대한 액세스를 제공합니다.

6. 모델 훈련을 위해 전문 데이터 센터 및 하드웨어를 사용하십시오. 

보다 효율적인 데이터 센터와 하드웨어를 선택하면 탄소 집약도가 크게 달라질 수 있습니다. ML 관련 데이터 센터 및 하드웨어는 다음과 같습니다. 1.4-2 일반 것보다 에너지 효율이 2~5배 더 높습니다. 

7. AWS Lambda, Azure Functions와 같은 서버리스 배포 사용

기존 배포에서는 서버가 항상 켜져 있어야 하며 이는 연중무휴 에너지 소비를 의미합니다. AWS Lambda 및 Azure Functions와 같은 서버리스 배포는 최소한의 탄소 집약도로 잘 작동합니다. 

AI 부문은 비즈니스와 일상 생활의 모든 측면에 스며들어 기하급수적인 성장을 경험하고 있습니다. 그러나 이러한 확장에는 비용이 발생합니다. 즉, 지구 온도 상승을 단 1°C로 제한하려는 목표에서 더 멀어지게 만드는 급증하는 탄소 발자국입니다.

이 탄소 발자국은 단지 현재의 관심사가 아닙니다. 그 영향은 여러 세대에 걸쳐 확장될 수 있으며, 그 생성에 대해 책임을 지지 않는 사람들에게도 영향을 미칠 수 있습니다. 따라서 AI 관련 탄소 배출을 완화하고 AI의 잠재력을 활용하기 위한 지속 가능한 방법을 모색하기 위한 결단력 있는 조치를 취하는 것이 필수적입니다. AI의 이점이 환경과 미래 세대의 웰빙을 희생하지 않도록 하는 것이 중요합니다.
 
 

안쿠 르 굽타 지속 가능성, 운송, 통신 및 인프라 영역에 걸쳐 XNUMX년의 경험을 보유한 엔지니어링 리더입니다. 현재 Uber에서 엔지니어링 관리자로 재직하고 있습니다. 그는 Uber의 차량 플랫폼 발전을 주도하는 데 중추적인 역할을 하며, 최첨단 전기 자동차와 커넥티드 차량의 통합을 통해 배출가스 제로 미래를 향해 나아가는 데 앞장서고 있습니다.

spot_img

최신 인텔리전스

spot_img