칩 제조업체는 동일하거나 더 낮은 전력에서 성능을 크게 향상시키기 위해 혁신적인 기술과 혁신적인 기술을 모두 활용하고 있으며, 이는 제조 중심 설계에서 반도체 설계자가 주도하는 설계로 근본적인 전환을 의미합니다.
과거에는 대부분의 칩에 하나 또는 두 개의 첨단 기술이 포함되어 있었는데, 이는 주로 XNUMX년마다 각각의 새로운 프로세스 노드에서 기대되는 리소그래피 개선에 보조를 맞추는 것이었습니다. 이러한 개선은 시간이 지남에 따라 예측 가능하지만 눈에 띄지 않는 이익을 요구하는 업계 로드맵을 기반으로 했습니다. 이제 대규모 언어 모델과 더 많은 센서로 인해 데이터가 폭발적으로 증가하고 자체 칩을 설계하는 시스템 회사 간의 경쟁이 심화되고 AI와 관련된 국제 경쟁이 커지면서 칩 설계의 최첨단에서 규칙이 상당히 극적으로 변화하고 있습니다. 이제 점진적인 개선은 처리 성능의 엄청난 도약과 결합되고 있으며 이를 통해 완전히 새로운 수준의 컴퓨팅 기능과 분석이 가능해지지만 동시에 완전히 새로운 절충안도 필요합니다.
이러한 변화의 중심에는 고도로 맞춤화된 칩 아키텍처가 있으며, 일부는 가장 발전된 프로세스 노드에서 개발된 칩렛을 포함합니다. 병렬 처리는 거의 기본이며 특정 데이터 유형 및 작업을 목표로 하는 가속기도 마찬가지입니다. 경우에 따라 이러한 미니 시스템은 데이터 센터에 경쟁 우위를 제공하기 때문에 상업적으로 판매되지 않습니다. 그러나 여기에는 대기 시간을 줄이기 위한 처리 코어나 가속기, 메모리 내 또는 메모리 근처 컴퓨팅 기술뿐만 아니라 다양한 캐싱 방식, 함께 패키지된 광학 장치 및 훨씬 빠른 상호 연결과 같은 기타 상용 기술도 포함될 수 있습니다. 이러한 개발 중 다수는 수년 동안 연구 중이거나 방치되어 왔으며 이제 완전히 배포되고 있습니다.
Google Research의 엔지니어링 펠로우이자 ML 시스템 부사장인 Amin Vahdat는 최근 Hot Chips 2023 컨퍼런스의 프레젠테이션에서 오늘날의 칩이 XNUMX년 전에는 상상할 수 없었던 문제를 해결할 수 있으며 머신러닝이 "점점 더 많은 부분을 차지할 것"이라고 언급했습니다. 계산 주기의 일부”입니다.
Vahdat는 "우리는 시스템 설계를 보는 방식을 바꿔야 합니다."라고 말했습니다. “지난 1년, 10년, 50년 동안 컴퓨팅 수요의 증가는 놀랍습니다. [알고리즘] 희소성 측면에서 많은 혁신이 이루어지고 있지만 [아래 그림 60]을 보면 XNUMX배나 됩니다. 모델당 매개변수 수는 XNUMX년 동안 지속됩니다. 그리고 우리는 계산 비용이 매개변수 수에 따라 초선형적으로 증가한다는 것도 알고 있습니다. 따라서 이러한 과제를 해결하기 위해 구축해야 하는 컴퓨팅 인프라의 종류가 바뀌어야 합니다. 범용 컴퓨팅에서 이 작업을 수행하려고 한다면 현재의 위치에 도달하지 못할 것이라는 점에 유의하는 것이 중요합니다. 지난 XNUMX~XNUMX년 동안 우리가 개발해 온 기존의 컴퓨팅 지혜는 사라졌습니다.”
그림 1: ML 컴퓨팅에 대한 수요 증가. 출처: Google Research/2023년 핫 칩
그러나 이것이 오래된 문제가 사라지는 것을 의미하지는 않습니다. 전력 및 열 방출은 설계 팀의 지속적인 골치거리이며, 처리 속도와 양이 증가함에 따라 해결하기가 더욱 어려워집니다. 열 밀도가 더 높고 칩이 열을 발산할 수 없기 때문에 약 3GHz 이후에는 클록 주파수를 높이는 것만으로는 더 이상 간단한 옵션이 아닙니다. 그리고 희소 데이터 모델과 하드웨어-소프트웨어 공동 설계는 다양한 처리 요소에서 실행되는 소프트웨어의 효율성과 컴퓨팅 주기당 더 많은 처리 능력을 다루지만, 더 이상 와트당 성능을 향상시키기 위해 전환할 수 있는 단일 손잡이가 없습니다.
메모리 혁신
그러나 소형 및 중형 손잡이가 많이 있으며, 그 중 일부는 경제적인 이유가 없었기 때문에 생산 시스템에 사용된 적이 없습니다. 데이터의 증가와 아키텍처 혁신으로의 전환으로 인해 이러한 경제 상황은 극적으로 변화했으며, 이는 올해 Hot Chips 컨퍼런스에서 쉽게 드러났습니다.
옵션 중에는 인메모리/니어메모리 처리와 데이터 소스에 더 가까운 처리가 있습니다. 여기서 문제는 대량의 데이터를 이동하려면 상당한 시스템 리소스(대역폭, 전력, 시간)가 필요하며 이는 컴퓨팅에 직접적인 경제적 영향을 미친다는 것입니다. 일반적으로 수집되고 처리되는 데이터의 대부분은 쓸모가 없습니다. 예를 들어, 자동차나 보안 시스템의 비디오 피드에 있는 관련 데이터는 XNUMX~XNUMX초만 지속되는 반면, 데이터를 정렬하려면 몇 시간이 걸릴 수 있습니다. 소스에 더 가깝게 데이터를 사전 처리하고 AI를 사용하여 관심 있는 데이터를 식별한다는 것은 추가 처리 및 저장을 위해 극히 일부만 전송하면 된다는 것을 의미합니다.
삼성의 김진현 수석 엔지니어는 “대부분의 에너지 소비는 데이터 이동에서 발생합니다.”라고 말했습니다. 그는 효율성을 향상하고 성능을 향상시킬 수 있는 세 가지 솔루션을 지적했습니다.
- HBM을 사용하여 극한의 대역폭과 전력을 위한 인메모리 처리;
- LPDDR을 활용하여 고용량을 요구하는 저전력 기기를 인메모리 처리하고,
- 적당한 비용으로 최대의 용량을 제공하기 위해 CXL을 사용한 근거리 메모리 처리.
그림 2: 데이터 이동에 따른 리소스 비용. 출처: 삼성/핫칩스 2023
인메모리 처리는 최근까지 별다른 움직임 없이 수년 동안 진행되어 왔습니다. 대규모 언어 모델은 경제성을 크게 변화시켜 이제 훨씬 더 흥미로워졌으며 대규모 메모리 공급업체에서도 이러한 특징을 잃지 않았습니다.
이 개념을 새롭게 개선한 것은 인메모리 가속입니다. 이는 신속하게 처리해야 하는 데이터 양이 폭발적으로 늘어나고 있는 AI/ML용 MAC(곱셈 및 누적) 기능에 특히 유용합니다. GPT-3(Generative Pre-Trained Transformer 3) 및 GPT4를 사용하면 데이터를 로드하는 데에도 막대한 대역폭이 필요합니다. 성능과 처리량을 최대화하면서 이를 효율적으로 수행하는 방법, 대규모 언어 모델에서 매개변수 수의 급속한 증가를 처리하기 위해 확장하는 방법, 향후 변화를 수용할 수 있는 유연성을 구축하는 방법을 포함하여 이와 관련된 여러 가지 과제가 있습니다.
SK 하이닉스 아메리카의 권용귀 수석 기술 센싱 매니저는 Hot Chips 2023 프레젠테이션에서 “처음에 우리가 가졌던 사고방식은 가속기로서의 메모리입니다.”라고 말했습니다. “첫 번째 목표는 효율적인 확장을 가능하게 하는 것이었습니다. 하지만 고성능을 갖는 것도 중요합니다. 마지막으로, 시스템 구조 오버헤드를 최소화하면서도 유연성을 위해 소프트웨어 스택을 허용하면서 프로그래밍이 용이하도록 시스템 아키텍처를 설계했습니다.
그림 3: MAC 및 활성화 작업은 뱅크에서 가져온 가중치 행렬 데이터와 글로벌 버퍼에서 가져온 벡터 데이터를 사용하여 모든 뱅크에서 병렬로 수행될 수 있습니다. MAC 및 활성화 함수 결과는 각각 MAC_REG 및 AF_REG라는 래치에 저장됩니다. 출처: SK하이닉스/핫칩스 2023
CPU 개선
메모리를 변경하면 이동해야 하는 데이터의 양을 줄이는 데 도움이 되지만 이는 퍼즐의 한 조각일 뿐입니다. 다음 과제는 주요 처리 요소의 속도를 높이는 것입니다. 이를 수행하는 한 가지 방법은 기본적으로 다음 작업이 무엇인지 예측하는 분기 예측입니다. 인터넷 검색 엔진과 거의 비슷합니다. 그러나 병렬화된 아키텍처와 마찬가지로 성능과 효율성을 극대화하려면 다양한 처리 요소를 유휴 시간 없이 완전히 작동하도록 유지하는 것이 핵심입니다.
Arm은 브랜치 가져오기를 분리하는 Neoverse V2 디자인을 통해 이 개념에 새로운 변화를 가져왔습니다. 그 결과 정지를 최소화하여 효율성을 높이고 잘못된 예측으로부터 더 빠르게 복구할 수 있습니다. Arm의 수석 CPU 설계자인 Magnus Bruce는 “동적 피드 메커니즘을 통해 코어가 공격성을 조절하고 시스템 정체를 사전에 방지할 수 있습니다.”라고 말했습니다. "이러한 기본 개념 덕분에 잘못된 예측을 빠르게 복구할 수 있도록 짧은 파이프라인을 유지하면서 기계의 폭과 깊이를 확장할 수 있습니다."
그림 4: Neoverse V2 코어의 파이프라인 개략도. 출처: Arm/핫 칩 2023
여기서 다른 점은 전체 시스템 개선이 대대적인 변경이 아닌 여러 지점의 아키텍처 조정을 통해 이루어진다는 것입니다. 예를 들어, 분기 예측기와 가져오기를 분할하면 분기 대상 버퍼를 두 수준으로 분할하여 50% 더 많은 항목을 처리할 수 있습니다. 또한 예측기에 저장된 기록이 2배로 늘어나고 가져오기 대기열의 항목 수가 2배로 늘어나 실제 성능이 크게 향상됩니다. 이를 효과적으로 수행하기 위해 아키텍처는 L1 캐시도 두 배로 늘려 한 번 사용한 데이터 블록 예측과 여러 번 사용한 데이터 블록 예측을 분리합니다. 다양한 개선 사항을 추가하여 Neoverse VXNUMX는 시스템에서 수행하는 역할에 따라 VXNUMX의 성능을 최대 두 배까지 보여줍니다.
한편 AMD의 차세대 Zen 4 코어는 마이크로아키텍처 개선으로 인해 사이클당 명령이 약 14% 증가하고 프로세스 스케일링으로 인해 동일한 전압에서 16nm에서 5% 더 높은 주파수를 제공하며 마이크로 아키텍처 및 물리적 디자인 개선.
Arm과 마찬가지로 AMD는 분기 예측 및 가져오기 개선에 중점을 두고 있습니다. AMD 동료이자 Zen 4의 수석 설계자인 Kai Troester는 더 많은 분기, 주기당 더 많은 분기 예측, 더 많은 항목과 항목당 더 많은 작업을 허용하는 더 큰 운영 캐시로 인해 분기 예측 정확도가 향상되었다고 말했습니다. 또한 코어당 L3 캐시를 3MB까지 늘리는 96D V 캐시를 추가하고 512비트 데이터 경로에서 두 개의 연속 사이클을 사용하여 256비트 작업을 지원합니다. 간단히 말해서, 디자인은 데이터 파이프의 크기를 늘리고 가능할 때마다 데이터가 이동해야 하는 거리를 단축합니다.
그림 5: 다이당 컴퓨팅 코어 수가 4배이고 분할된 L4 캐시를 갖춘 Zen 3c를 포함하는 Zen 2023의 두 가지 구현입니다. 출처: AMD/핫 칩 XNUMX
플랫폼 아키텍처
시스템 측면의 주요 추세 중 하나는 도메인 특정성을 높이는 것입니다. 이는 모든 애플리케이션에서 작동하는 범용 프로세서를 개발하는 기존 모델에 큰 혼란을 가져왔습니다. 이제 과제는 본질적으로 대량 맞춤화를 제공하는 방법이며, 이를 위한 두 가지 주요 접근 방식이 있습니다. 하드웨어나 프로그래밍 가능한 논리를 통해 프로그래밍 기능을 추가하는 것과 상호 교환 가능한 부품을 위한 플랫폼을 개발하는 것입니다.
Intel은 Embedded Multi-die Interconnect Bridge를 활용하여 고속 I/O, 프로세서 코어 및 메모리를 연결하는 고급 패키지에 칩렛을 통합하기 위한 프레임워크를 공개했습니다. 인텔의 목표는 고객을 만족시킬 수 있을 만큼 충분한 맞춤화 및 성능을 제공하면서도 완전히 맞춤화된 아키텍처보다 훨씬 더 빠르게 해당 시스템을 예측 가능한 결과로 제공하는 것이었습니다.
Intel 동료이자 수석 Xeon 설계자인 Chris Gianos는 "이것은 멀티 다이 아키텍처가 될 것입니다."라고 말했습니다. “우리는 이러한 칩렛으로 구축할 수 있는 구조에 많은 유연성을 갖고 있습니다. 모두 상호 운용되며 제품 코어를 구체적으로 최적화할 수 있는 차원 중 하나를 제공합니다. 그리고 우리는 E-코어(초효율)인 칩렛과 P-코어(고성능)인 칩렛을 만들 것입니다.”
Intel은 또한 다양한 구성 요소를 연결하는 모듈식 메시 패브릭은 물론 DDR 또는 MCR 메모리와 CXL을 통해 연결되는 메모리를 지원하는 공통 컨트롤러도 만들었습니다.
그림 6: Intel의 맞춤형 칩렛 아키텍처. 주황색 상자는 메모리 채널을 나타냅니다. 출처: 인텔/핫 칩 2023
신경 프로세서, 광학 상호 연결
새로운 접근 방식과 기술 목록은 Hot Chips 컨퍼런스에서도 전례가 없습니다. 이는 업계가 면적과 비용을 계속 주시하면서 전력을 늘리고 전력을 줄이는 새로운 방법을 얼마나 광범위하게 찾고 있는지를 보여줍니다. PPAC는 여전히 초점이지만 다양한 애플리케이션과 사용 사례에 대한 장단점은 매우 다를 수 있습니다.
IBM 펠로우인 Dharmendra Modha는 "AI의 OpEx와 CapEx는 지속 불가능해지고 있습니다. 아키텍처가 무어의 법칙을 능가합니다"라고 덧붙였습니다.
AI/ML 애플리케이션에 있어서도 중요한 것은 정밀도입니다. IBM의 설계에는 혼합 정밀도를 허용하는 벡터 행렬 곱셈기와 FP16 정밀도를 갖춘 벡터 계산 단위 및 활성화 함수 단위가 포함되어 있습니다. 또한 처리는 메모리에서 몇 마이크론 떨어진 곳에서 수행됩니다. “데이터에 의존하는 조건부 분기는 없습니다.”라고 그는 말했습니다. "캐시 누락, 지연, 추측 실행이 없습니다."
그림 7: IBM의 North Pole 칩은 서로 얽힌 컴퓨팅(빨간색)과 메모리(파란색)를 보여줍니다. 출처: IBM/핫칩스 2023
복잡한 칩의 주요 과제는 메모리와 프로세서 사이뿐만 아니라 칩 전체에서 데이터를 이동하는 것입니다. 네트워크 온 칩(Network-on-Chip) 및 기타 상호 연결 패브릭은 이 프로세스를 단순화합니다. 실리콘 포토닉스는 특히 고속 네트워킹 칩에 오랫동안 사용되어 왔으며 포토닉스는 랙의 서버 사이에서 역할을 합니다. 그러나 칩 수준으로 이동할지 여부와 시기는 여전히 불확실합니다. 그럼에도 불구하고 이 분야에 대한 작업은 계속되고 있으며 칩 업계 전반에 걸친 수많은 인터뷰를 바탕으로 포토닉스는 많은 회사의 관심을 끌고 있습니다.
Lightelligence의 엔지니어링 부사장인 Maurice Steinman은 그의 회사가 상당히 낮은 전력으로 GPU보다 100배 빠른 특수 목적의 포토닉스 기반 가속기를 개발했다고 말했습니다. 이 회사는 또한 전자가 아닌 광자를 사용하여 칩렛을 연결하기 위한 매체로 실리콘 인터포저를 사용하는 광학 네트워크 온 칩을 개발했습니다.
“순수한 전기 솔루션의 과제는 거리에 따른 감쇠로 인해 가장 가까운 이웃 간의 통신만 수행하는 것이 실제로 현실화된다는 것입니다.”라고 Steinman은 말했습니다. “[칩의] 왼쪽 상단에 오른쪽 하단과 통신해야 하는 결과가 있는 경우 많은 홉을 통과해야 합니다. 이는 리소스 할당을 담당하는 소프트웨어 구성 요소에 문제를 야기합니다. 왜냐하면 혼잡을 피하기 위해 몇 가지 체스 동작을 미리 생각해야 하기 때문입니다.”
그림 8: 랜드 그리드 어레이(LGA) 기판을 사용하는 광자 집적 회로(PIC), 전자 집적 회로(EIC)를 보여주는 칩상의 광 네트워크. 출처: Lightelligence/핫 칩 2023
지속 가능성, 신뢰성 및 미래
이러한 모든 변화로 인해 두 가지 다른 문제가 나타났습니다. 하나는 지속가능성이다. 더 많은 칩으로 더 많은 데이터가 처리됨에 따라 탄소 배출량을 줄이는 것은 물론 에너지 소비에도 문제가 생길 것입니다. 더 효율적인 장치가 많다고 해서 반드시 총 전력을 덜 사용하는 것은 아니며 모든 장치를 제조하는 데 에너지가 필요합니다.
데이터센터는 한동안 우려의 대상이었습니다. 2년 전 일반적으로 합의된 통계에 따르면 데이터 센터는 지구상에서 생산되는 모든 전기의 3~2%를 소비했습니다. 미국 에너지 효율 및 재생 에너지국(US Office of Energy Efficiency and Renewable Energy)에 따르면 데이터 센터는 미국 전체 전기 사용량의 약 XNUMX%를 차지합니다. 다양한 녹색 에너지원이 있고 태양광 패널과 풍차 블레이드를 제조하고 재활용하는 데 에너지가 필요하기 때문에 이 수치가 항상 정확하지는 않습니다. 그러나 동일한 속도로 추적되지 않더라도 소비되는 에너지의 양은 데이터와 함께 계속해서 증가할 것이라는 점은 분명합니다.
Hot Chips 및 기타 컨퍼런스의 많은 프레젠테이션에서는 지속 가능성을 목표로 삼고 있습니다. 기본 데이터가 다를 수 있지만 이것이 이제 많은 칩 제조업체의 기업 의무라는 사실은 중요합니다.
해결되지 않은 두 번째 문제는 신뢰성입니다. 새로운 칩 설계의 대부분은 이전 세대의 칩보다 훨씬 더 복잡합니다. 과거에는 얼마나 많은 트랜지스터를 기판에 집어넣을 수 있는지와 칩이 녹는 것을 방지하는 방법이 주요 문제였습니다. 오늘날 데이터 경로와 파티션이 너무 많아서 열 방출은 많은 요인 중 하나일 뿐입니다. 그리고 점점 더 많은 양의 데이터가 분할, 처리, 재집계 및 분석됨에 따라 결과의 정확성과 일관성을 확인하고 보장하기가 더 어려워질 수 있습니다. 특히 장치의 수명이 다르고 예상치 못한 방식으로 상호 작용할 경우 더욱 그렇습니다.
또한 Google Research의 수석 연구원이자 수석 부사장인 Jeff Dean에 따르면 모델은 단일 형식에서 이미지, 텍스트, 사운드, 비디오 등 다양한 형식으로, 밀도가 높은 모델에서 희소 모델로 전환되고 있습니다. 그는 “전력, 지속 가능성, 신뢰성이 정말 중요합니다.”라고 말하면서 AI 및 CO 훈련에 관한 많은 데이터가 존재한다는 점을 지적했습니다.2 배출은 오해의 소지가 있습니다. "올바른 데이터를 사용하면 상황이 그렇게 심각하지는 않습니다.">
결론
순전히 기술적인 관점에서 볼 때 칩 아키텍처의 전력, 성능 및 면적/비용 향상은 과거의 이점과는 크게 다릅니다. 혁신은 어디에서나 일어나고 있으며 로드맵에서는 지속적인 성능 향상, 계산당 에너지 소비 감소, 총 소유 비용 절감을 목표로 하고 있습니다.
수년 동안 건축가가 PPAC 방정식을 극적으로 개선할 수 있다는 추측이 있었습니다. Hot Chips 2023은 이러한 개선 사항이 포함된 실제 구현을 엿볼 수 있는 기회를 제공했습니다. 혁신은 분명히 건축가에게 넘겨졌습니다. 이제 가장 큰 질문은 다음에 무엇이 올 것인지, 이 기술이 어떻게 적용될 것인지, 그리고 이러한 변화가 어떤 다른 가능성을 열어줄 것인지입니다. 이런 종류의 컴퓨팅 파워라면 무엇이든 가능할 것 같습니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 차트프라임. ChartPrime으로 트레이딩 게임을 향상시키십시오. 여기에서 액세스하십시오.
- BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
- 출처: https://semiengineering.com/sweeping-changes-for-leading-edge-chip-architectures/
