화요일 암스테르담에서 열린 Cisco Live에서 엔터프라이즈 네트워킹의 거물은 요즘 모두가 좋아하는 유행어인 AL/ML에 맞춰 Nvidia와 협력하여 일련의 하드웨어 및 소프트웨어 플랫폼을 발표했습니다.

협업의 주요 초점은 표준 이더넷을 사용하여 AI 시스템을 더 쉽게 배포하고 관리할 수 있도록 만드는 것입니다. 이는 CCNA 및/또는 CCNP 인증서를 얻는 데 어려움을 겪은 모든 사람들이 높이 평가할 것이라고 확신합니다.

AI 클러스터를 구동하는 GPU가 대화를 지배하는 경향이 있지만 지원에 필요한 고성능, 저지연 네트워크는 상당히 복잡할 수 있습니다. 최신 GPU 노드가 빠른 200Gb/s, 400Gb/s 및 곧 800Gb/s 네트워킹의 이점을 크게 누리는 것은 사실이지만 이는 특히 교육과 관련하여 방정식의 일부일 뿐입니다. 이러한 워크로드는 GPU가 XNUMX개 또는 XNUMX개 포함된 여러 서버에 분산되어야 하는 경우가 많기 때문에 지연 시간이 추가되면 훈련 시간이 연장될 수 있습니다.

이 때문에 Nvidia의 InfiniBand는 계속해서 AI 네트워킹 배포를 지배하고 있습니다. Dell'Oro Group의 기업 분석가 Sameh Boujelbene과의 최근 인터뷰에서 예상 배포의 약 90%가 이더넷이 아닌 Nvidia/Mellanox의 InfiniBand를 사용하고 있습니다.

그렇다고 이더넷이 관심을 끌지 못하고 있다는 말은 아닙니다. 딥 패킷 버퍼를 갖춘 smartNIC 및 AI 최적화 스위치 ASIC과 같은 새로운 기술은 패킷 손실을 억제하여 이더넷이 최소한 InfiniBand처럼 작동하도록 만들었습니다.

예를 들어 Cisco의 Silicon One G200 스위치 ASIC은 바라 보았다 지난 여름, 고급 혼잡 관리, 패킷 스프레이 기술, 링크 장애 조치 등 AI 네트워크에 유용한 여러 기능을 자랑했습니다. 그러나 이러한 기능은 Cisco에만 국한된 것이 아니며 Nvidia와 Broadcom은 최근 몇 년 동안 유사한 기능을 갖춘 스위치를 발표했습니다.

Dell'Oro는 AI 네트워크에서 이더넷의 역할이 20년까지 약 2027포인트의 수익 점유율을 차지할 것으로 예측합니다. 그 이유 중 하나는 업계가 이더넷에 대해 잘 알고 있기 때문입니다. AI 배포에는 여전히 특정 조정이 필요할 수 있지만 기업은 이미 이더넷 인프라를 배포하고 관리하는 방법을 알고 있습니다.

이 사실만으로도 Cisco와 같은 네트워킹 공급업체와의 협력은 Nvidia에게 매력적인 전망이 됩니다. Nvidia의 자체 InfiniBand 또는 Spectrum 이더넷 스위치 판매가 줄어들 수 있지만, 완전히 별도의 네트워크 스택을 배포하는 것을 꺼렸던 기업의 손에 더 많은 GPU를 제공할 수 있는 능력이 보상됩니다.

Cisco는 엔터프라이즈 AI 측면에서 활약합니다.

이러한 노력을 지원하기 위해 Cisco와 Nvidia는 호환성을 보장하고 AI 배포를 지원하는 네트워킹, 스토리지 및 컴퓨팅 인프라 배포에 대한 지식 격차를 해결하는 데 도움이 되는 참조 디자인과 시스템을 출시했습니다.

이러한 참조 디자인은 Pure Storage, NetApp, Red Hat의 키트를 포함하여 기업이 이미 투자했을 가능성이 있는 플랫폼을 대상으로 합니다. 당연히 Cisco의 GPU 가속 시스템을 추진하는 역할도 합니다. 여기에는 FlexPod 및 FlashStack 프레임워크를 AI 추론 워크로드에 적용하기 위한 참조 설계 및 자동화 스크립트가 포함됩니다. 특히 소규모 도메인 특정 모델에 대한 추론은 다음과 같습니다. 기대하는 실행하고 훈련하는 데 상대적으로 비용이 적게 들기 때문에 많은 기업 AI 배포의 대부분을 차지합니다.

FlashStack AI Cisco Verified Design(CVD)은 본질적으로 다음을 위한 플레이북입니다. 방법 Pure Storage의 플래시 스토리지 어레이와 함께 Cisco의 네트워킹 및 GPU 가속 UCS 시스템을 배포하십시오. FlexPod AI(CVD)는 따라 비슷한 패턴이지만 Pure를 NetApp의 스토리지 플랫폼으로 바꿉니다. Cisco는 이러한 기능이 이번 달 말에 출시될 준비가 되어 있으며 앞으로 더 많은 Nvidia 지원 CVD가 출시될 것이라고 밝혔습니다.

Cisco의 UCS 컴퓨팅 플랫폼에 관해 말하자면, 네트워킹 계획은 Nvidia의 최신 GPU를 장착할 수 있는 X-시리즈 블레이드 시스템의 엣지 중심 버전도 출시했습니다.

X 다이렉트 섀시 풍모 듀얼 또는 쿼드 소켓 컴퓨팅 블레이드 또는 GPU 컴퓨팅을 위한 PCIe 확장 노드의 조합으로 채울 수 있는 8개의 슬롯. 추가 X-Fabric 모듈을 사용하여 시스템의 GPU 용량을 확장할 수도 있습니다.

그러나 Nvidia의 가장 강력한 SXM 모듈을 사용하는 Supermicro, Dell, HPE 등에서 본 많은 GPU 노드와 달리 Cisco의 UCS X Direct 시스템은 더 낮은 TDP PCIe 기반 GPU만 지원하는 것으로 보입니다.

데이터 시트에 따르면 각 서버에는 서버당 최대 6개의 컴팩트 GPU 또는 최대 2개의 듀얼 슬롯, 전체 길이, 전체 높이 GPU를 장착할 수 있습니다.

이는 수백 기가바이트의 GPU 메모리를 소비하는 대규모 언어 모델을 실행하려는 사람들에게는 제한이 될 것입니다. 그러나 에지에서의 데이터 전처리와 같은 소규모 추론 워크로드를 실행하는 데는 아마도 더 적합할 것입니다.

Cisco는 제조, 의료 및 소규모 데이터 센터를 운영하는 플랫폼을 목표로 하고 있습니다. ®

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://go.theregister.com/feed/www.theregister.com/2024/02/08/cisco_nvidia_expand_collab/