후원 기사
업계에서 AI의 사용이 확대되면서 기계 학습(ML), 딥 러닝, 심지어 대규모 언어 모델까지 포함하는 더욱 복잡한 접근 방식이 가속화되고 있습니다. 이러한 발전을 통해 엣지에서 사용될 것으로 예상되는 엄청난 양의 데이터를 엿볼 수 있습니다. 현재는 신경망 운영을 가속화하는 방법에 초점이 맞춰져 있지만 마이크론은 엣지에서 AI에 맞게 정제된 메모리와 스토리지를 만드는 데 주력하고 있습니다.
합성 데이터란 무엇입니까?
XNUMXD덴탈의 IDC 예측 2025년에는 175개가 될 것입니다. 제타 바이트 (1제타바이트 = 1억 테라바이트)의 새로운 데이터가 전 세계적으로 생성됩니다. 이러한 양은 가늠하기 어렵지만 AI의 발전으로 인해 데이터가 부족한 시스템의 한계는 계속해서 높아질 것입니다.
실제로 계속 증가하는 AI 모델은 직접 측정이나 물리적 이미지에서 얻은 실제 물리적 데이터의 양으로 인해 억제되었습니다. 쉽게 사용할 수 있는 오렌지 이미지 10,000개의 샘플이 있으면 오렌지를 쉽게 식별할 수 있습니다. 그러나 비교할 특정 장면이 필요한 경우(예: 무작위 군중 대 조직적인 행진 또는 구운 쿠키 대 완벽한 쿠키의 변칙) 기준을 생성할 모든 변형 샘플이 없으면 정확한 결과를 확인하기 어려울 수 있습니다. 모델.
업계에서는 점점 더 많이 사용하고 있습니다. 합성 데이터. 합성 데이터는 예를 들어 동일한 이미지의 통계적 현실을 제공하는 시뮬레이션 모델을 기반으로 인위적으로 생성됩니다. 이러한 접근 방식은 물리적 이미지의 기준이 고유하고 웹에서 유효한 모델 표현을 제공할 만큼 충분한 "위젯"을 찾을 수 없는 산업용 비전 시스템에서 특히 그렇습니다.
물론, 문제는 이러한 새로운 형태의 데이터가 어디에 위치할 것인가입니다. 확실히, 생성된 모든 새로운 데이터 세트는 클라우드에 저장되어야 하며, 보다 고유한 표현을 위해 데이터를 분석해야 하는 위치인 엣지에 더 가깝게 저장해야 합니다.
모델 복잡성과 메모리 벽
알고리즘 효율성과 AI 모델 성능 간의 최적의 균형을 찾는 것은 데이터 특성 및 볼륨, 리소스 가용성, 전력 소비, 워크로드 요구 사항 등과 같은 요소에 따라 달라지기 때문에 복잡한 작업입니다.
AI 모델은 매개변수 수로 특징지을 수 있는 복잡한 알고리즘입니다. 매개변수 수가 많을수록 결과가 더 정확해집니다. 업계는 구현이 쉽고 네트워크 성능의 기준이 되었기 때문에 ResNet50과 같은 공통 기준 모델로 시작했습니다. 그러나 해당 모델은 제한된 데이터 세트와 제한된 애플리케이션에 초점을 맞췄습니다. 이러한 변압기가 진화함에 따라 변압기의 진화로 인해 매개변수가 증가한 것을 알 수 있습니다. 메모리 대역폭. 이 결과는 명백한 부담입니다. 모델이 처리할 수 있는 데이터의 양에 관계없이 모델과 매개변수에 사용할 수 있는 메모리 및 스토리지의 대역폭에 의해 제한됩니다.
빠른 비교를 위해 임베디드 AI 시스템의 성능을 초당 작업이 있습니다. (상의). 여기서는 100 TOPS 미만의 AI 에지 장치에는 약 225GB/s가 필요할 수 있고 100 TOPS 이상의 AI 에지 장치에는 451GB/s의 메모리 대역폭이 필요할 수 있음을 알 수 있습니다(표 1).
따라서 해당 모델을 최적화하는 한 가지 방법은 가장 낮은 전력 소비를 제공하는 고성능 메모리를 고려하는 것입니다.
메모리는 새로운 표준으로 진화하여 AI 가속 솔루션을 따라가고 있습니다. 예를 들어, LPDDR4/4X(저전력 DDR4 DRAM) 및 LPDDR5/5X(저전력 DDR5 DRAM) 솔루션은 이전 기술에 비해 성능이 크게 향상되었습니다.
LPDDR4는 핀당 최대 4.2GT/s(핀당 초당 기가 전송)를 실행할 수 있으며 최대 x64 버스 폭을 지원할 수 있습니다. LPDDR5X는 LPDDR50에 비해 성능이 4% 향상되어 핀당 최대 8.5GT/s의 성능을 제공합니다. 또한 LPDDR5는 LPDDR20X보다 4% 향상된 전력 효율성을 제공합니다(출처: Micron). 이는 AI 엣지 사용 사례를 확대하는 데 필요한 요구 사항을 지원할 수 있는 중요한 개발입니다.
스토리지 고려 사항은 무엇입니까?
컴퓨팅 리소스가 처리 장치의 원시 TOP 또는 메모리 아키텍처의 대역폭에 의해 제한된다고 생각하는 것만으로는 충분하지 않습니다. ML 모델이 더욱 정교해짐에 따라 모델의 매개변수 수도 기하급수적으로 늘어나고 있습니다.
기계 학습 모델과 데이터 세트는 더 나은 모델 효율성을 달성하기 위해 확장되므로 고성능 내장형 스토리지도 필요합니다. 5.1Gb/s의 e.MMC 3.2과 같은 일반적인 관리형 NAND 솔루션은 코드 가져오기뿐만 아니라 원격 데이터 저장에도 이상적입니다. 또한 UFS 3.1과 같은 솔루션은 23.2배 빠른 속도(XNUMXGb/s)로 실행되어 보다 복잡한 모델을 허용합니다.
또한 새로운 아키텍처는 일반적으로 클라우드나 IT 인프라에 국한되어 있던 기능을 엣지로 밀어넣고 있습니다. 예를 들어 엣지 솔루션은 제한된 운영 데이터와 IT/클라우드 도메인 사이에 에어 갭을 제공하는 보안 계층을 구현합니다. 엣지의 AI는 저장된 데이터 분류, 태그 지정, 검색과 같은 지능형 자동화도 지원합니다.
3D TLC NAND를 지원하는 NVMe SSD와 같은 메모리 스토리지 개발은 다양한 엣지 워크로드에 높은 성능을 제공합니다. 예를 들어 Micron의 7450 NVMe SSD는 대부분의 엣지 및 데이터 센터 워크로드에 이상적인 176레이어 NAND 기술을 사용합니다. 2ms의 QoS(서비스 품질) 대기 시간을 제공하므로 SQL Server 플랫폼의 성능 요구 사항에 이상적입니다. 그것은 또한 제공합니다 FIPS 140-3 레벨 2 과 TAA 준수 미국 연방 정부 조달 요구 사항에 대한 것입니다.
성장하는 AI 엣지 프로세서 생태계
Allied Market Research는 AI 엣지 프로세서 시장이 9.6년까지 2030억 달러 규모로 성장할 것으로 추정합니다. 4 하지만 흥미롭게도 이 새로운 AI 프로세서 스타트업 집단은 공간과 전력이 제한된 엣지 애플리케이션에 적합한 ASIC 및 독점 ASSP를 개발하고 있습니다. 이러한 새로운 칩셋은 메모리 및 스토리지 솔루션과 관련하여 성능과 전력의 균형도 필요합니다.
또한 AI 칩셋 공급업체는 1U 솔루션에 설치할 수 있고 AI/ML 추론에서 비디오 처리에 이르기까지 모든 워크로드를 가속화할 수 있는 스토리지 서버와 함께 위치할 수 있는 엔터프라이즈 및 데이터 센터 표준 폼 팩터(EDSFF) 가속기 카드를 개발했습니다. — 동일한 모듈을 사용합니다.
적합한 메모리 및 스토리지 파트너를 어떻게 찾나요?
AI는 더 이상 과장된 표현이 아니라 모든 분야에서 구현되고 있는 현실입니다. 한 연구에서는, 업계의 89% 이미 전략을 갖고 있거나 향후 2년 이내에 엣지 AI에 관한 전략을 갖게 될 것입니다.5
그러나 AI를 구현하는 것은 간단한 작업이 아니며 올바른 기술과 구성 요소가 모든 변화를 가져올 것입니다. 메모리와 스토리지 분야 모두에서 최신 기술로 구성된 Micron의 포트폴리오는 다음을 통해 산업 고객을 위한 길을 선도합니다. IQ 가치 제안. AI 엣지 시스템을 설계하고 있다면 Micron이 귀하의 제품을 그 어느 때보다 빠르게 시장에 출시할 수 있도록 도와주세요. 현지 Micron 대리점이나 Micron 제품 유통업체에 문의하세요(www.micron.com).
아래 또는 X를 통해 이 기사에 댓글을 달아주세요. @IoTNow_
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://www.iot-now.com/2024/02/07/141978-ai-at-the-edge-future-of-memory-and-storage-in-accelerating-intelligence/
