수년간의 개발 끝에 Meta는 마침내 올해 의미 있는 방식으로 자체 개발한 AI 가속기를 출시할 예정입니다.

Facebook 제국은 이번 주 MTIA(Meta Training Inference Accelerator) 칩 제품군으로 Nvidia H100 및 AMD MI300X GPU 배포를 보완하겠다는 의지를 확인했습니다. 구체적으로 Meta는 추론 최적화 프로세서를 배포할 예정입니다. 코드네임은 아르테미스(Artemis)로 알려짐, 실리콘 밸리 거대 기업의 1세대 부품을 기반으로 함 조롱을당한 작년에.

Meta 대변인은 "우리는 MTIA를 통해 사내 실리콘 노력에서 이룩한 진전에 대해 기쁘게 생각하며 2024년에 추론 변형을 프로덕션에 배포하기 시작할 예정입니다."라고 말했습니다. 등록 목요일에.

“우리는 내부적으로 개발한 가속기가 메타 특정 워크로드에서 최적의 성능과 효율성 조합을 제공하는 데 있어 상용 GPU를 매우 보완할 것이라고 생각합니다.”라고 담당자는 계속 말했습니다. 세부? 아니요. 대변인은 "올해 말에 향후 MTIA 계획에 대한 더 많은 업데이트를 공유할 수 있기를 기대합니다"라고 말했습니다.

우리는 이를 추론을 위한 1세대 연구실 전용 버전에 이어 2세대 추론 중심 칩이 널리 출시된다는 의미로 받아들이고 있으며, 주로 훈련이나 훈련 및 추론을 위해 의도된 부품에 대해 나중에 알아낼 수도 있습니다.

Meta는 AI 워크로드 배포가 증가함에 따라 Nvidia와 AMD의 최고의 고객 중 하나가 되었으며, 기계 학습 소프트웨어를 최대한 빠르게 실행하기 위해 특수 실리콘의 필요성과 사용이 증가했습니다. 따라서 자체 맞춤형 프로세서를 개발하기로 한 Instagram 거대 기업의 결정은 그리 놀라운 것은 아닙니다.

사실 거대 기업은 표면적으로는 실제 배포 측면에서 맞춤형 AI 실리콘 파티에 비해 상대적으로 늦습니다. Amazon과 Google은 몇 년 동안 자체 개발 구성 요소를 사용하여 추천 모델 및 고객 ML 코드와 같은 내부 기계 학습 시스템을 가속화해 왔습니다. 한편 마이크로소프트는 지난해 자체 개발한 가속기를 공개했다.

그러나 Meta가 대규모로 MTIA 추론 칩을 출시한다는 사실 외에도 소셜 네트워크는 정확한 아키텍처나 사내 실리콘을 위해 예약한 작업 부하, AMD 및 Nvidia의 GPU로 오프로드하는 작업 부하를 공개하지 않았습니다.

Meta는 보다 동적이고 진화하는 애플리케이션을 위해 GPU 리소스를 확보하기 위해 맞춤형 ASIC에서 확립된 모델을 실행할 가능성이 높습니다. 우리는 Meta가 데이터를 오프로드하고 집약적인 비디오 워크로드를 계산하도록 설계된 맞춤형 가속기를 사용하여 이 경로를 진행하는 것을 본 적이 있습니다.

기본 디자인에 관해서 SemiAnalytic의 업계 관찰자들은 새로운 칩이 Meta의 1세대 부품 아키텍처를 밀접하게 기반으로 한다고 말합니다.

디딤돌

2023년간의 개발 끝에 1년 초에 발표된 Meta의 MTIA vXNUMX 부품입니다. 다음 플랫폼 바라 보았다 지난 봄, 딥러닝 추천 모델을 염두에 두고 특별히 설계되었습니다.

7세대 칩은 RISC-V CPU 클러스터를 중심으로 구축되었으며 TSMC의 128nm 공정을 사용하여 제조되었습니다. 내부적으로 이 구성 요소는 각각 128개의 RV CPU 코어가 장착된 처리 요소의 5xXNUMX 매트릭스를 사용했으며 그 중 하나에는 벡터 수학 확장이 장착되어 있습니다. 이 코어는 넉넉한 XNUMXMB의 온칩 SRAM과 최대 XNUMXGB의 LPDDRXNUMX 메모리를 제공합니다.

Meta가 작년에 주장한 대로 이 칩은 800MHz로 실행되었으며 INT102.4 성능의 초당 8조 작업 또는 절반 정밀도(FP51.2)에서 16teraFLOPS를 기록했습니다. 이에 비해 Nvidia의 H100은 거의 8페타플롭스의 스파스 FP25 성능을 제공할 수 있습니다. Nvidia나 AMD의 GPU만큼 강력하지는 않지만 이 칩에는 전력 소비라는 한 가지 주요 이점이 있었습니다. 칩 자체의 열 설계 전력은 XNUMX와트에 불과했습니다.

에 따르면 반분석Meta의 최신 칩은 향상된 코어를 자랑하며 TSMC의 CoWoS(칩 ​​온 웨이퍼 온 기판) 기술을 사용하여 패키징된 고대역폭 메모리용으로 LPDDR5를 교환합니다.

또 다른 주목할만한 차이점은 Meta의 2세대 칩이 실제로 데이터 센터 인프라 전반에 걸쳐 광범위하게 배포된다는 것입니다. Facebook의 거대 기업에 따르면 1세대 부품은 생산 광고 모델을 실행하는 데 사용되었지만 결코 연구실을 떠나지 않았습니다.

인공일반지능을 쫓는다

맞춤형 부품은 제쳐두고 Facebook과 Instagram 부모가 버렸습니다. 수십억 기존 CPU 플랫폼에 적합하지 않은 모든 방식의 작업을 가속화하기 위해 최근 몇 년 동안 GPU에 엄청난 돈을 투자했습니다. 그러나 GPT-4 및 Meta의 자체 Llama 2와 같은 대규모 언어 모델의 등장으로 인해 환경이 바뀌고 대규모 GPU 클러스터 배포가 주도되었습니다.

Meta가 운영하는 규모에서 이러한 추세로 인해 인프라에 대한 급격한 변화가 필요했습니다. 재 설계하다 대규모 AI 배포와 관련된 막대한 전력 및 냉각 요구 사항을 지원하기 위해 여러 데이터 센터를 운영하고 있습니다.

그리고 Meta의 배포는 회사가 메타버스에서 개발 인공 일반 지능의. 아마도 AI에 대한 작업은 메타버스 등을 형성하는 데 도움이 될 것입니다.

CEO인 Mark Zuckerberg에 따르면 Meta는 올해에만 Nvidia H350,000을 100대나 배치할 계획입니다.

이 사업은 또한 AMD의 새로운 제품을 배치할 계획을 발표했습니다. 시작 데이터센터의 MI300X GPU. Zuckerberg는 그의 회사가 600,000개의 H100에 해당하는 컴퓨팅 성능으로 올해를 마감할 것이라고 주장했습니다. 따라서 Meta의 MTIA 칩은 조만간 GPU를 대체하지 않을 것입니다. ®

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://go.theregister.com/feed/www.theregister.com/2024/02/02/meta_ai_chips/