CEO 인터뷰: Neurophos의 Patrick T. Bowen - Semiwiki

패트릭 T. 보웬 뉴로포스

Patrick은 물리학과 메타물질에 대한 배경 지식을 갖춘 기업가입니다. Patrick은 Neurophos 아키텍처의 미래에 대한 비전을 설정하고 특히 메타물질 설계 분야의 연구 개발 팀을 지휘합니다. 그는 취리히 공과대학에서 마이크로 나노 시스템 석사 학위를 취득했고, 듀크 대학교에서 David Smith 교수 밑에서 전기 공학 박사 학위를 받았습니다. 졸업 후 Patrick은 Smith 교수와 함께 Metacept를 공동 창립했습니다. Metacept는 세계 최고의 메타물질 상용화 센터이자 컨설팅 회사입니다.

뉴로포스에 대해 알려주세요. 어떤 문제를 해결하고 있나요?
우리는 인간 두뇌의 계산 능력을 인공지능에 접목시키기 위해 존재한다고 말합니다. 2009년에 GPU는 CPU보다 인터넷에서 고양이를 훨씬 더 잘 인식한다는 사실이 밝혀졌지만 GPU는 AI 워크로드의 미래에 대한 해답이 아닙니다. 신경망에서 GPU가 CPU보다 나은 것처럼, GPU보다 몇 배나 더 나은 아키텍처가 있을 수 있습니다. Neurophos는 GPU 다음으로 AI에 등장할 제품입니다.

일반적으로 AI 대규모 언어 모델은 그 잠재력을 완전히 실현할 만큼 충분한 컴퓨팅 성능이 없었기 때문에 제한적이었습니다. 사람들은 주로 교육 측면에 중점을 두었습니다. 배포에 대해 생각하기도 전에 유용한 것을 교육해야 했기 때문입니다. 이러한 노력은 대규모 AI 모델의 놀라운 힘을 부각시켰으며, 그 증거를 통해 사람들은 AI를 대규모로 배포하는 방법에 집중하기 시작했습니다. 이러한 AI 모델의 성능은 매일 수백만 명의 사용자가 이를 사용할 수 있음을 의미합니다. 사용자당 에너지 비용은 얼마나 됩니까? 추론당 컴퓨팅 비용은 얼마입니까? 추론당 비용이 충분히 저렴하지 않다면 AI를 배포하려는 기업에게는 매우 제한적인 사항이 될 수 있습니다.

에너지 효율성도 해결해야 할 큰 문제이다. 6킬로와트를 소모하는 서버가 있고 100배 더 빠르게 이동하고 싶지만 근본적인 에너지 효율성은 전혀 고려하지 않으면 6킬로와트 서버가 갑자기 600킬로와트 서버가 됩니다. 어느 시점에서 당신은 벽에 부딪혔습니다. 당신은 단순히 너무 많은 전력을 소비하고 있고 칩에서 열을 충분히 빨리 빨아들일 수 없습니다. 물론 그 위에 기후 변화 문제도 있습니다. AI가 소비하는 에너지는 얼마나 되나요? 데이터 센터를 시원하게 유지하기 위해 얼마나 많은 추가 에너지를 낭비하고 있습니까? 따라서 누군가는 먼저 에너지 효율성 문제를 해결해야 하며, 그런 다음 애플리케이션의 요구 사항을 충족할 수 있을 만큼 빠르게 진행할 수 있습니다.

사람들은 AI가 존재한 거의 오랫동안 AI에 광학 컴퓨팅을 사용할 것을 제안해 왔습니다. 오늘날 우리가 작업하고 있는 많은 아이디어는 80년대의 오래된 아이디어이기도 합니다. 예를 들어, 유명한 "메타물질 투명 망토"에 대한 원래 방정식과 음의 굴절률과 같은 다른 것들은 60년대와 80년대 러시아 물리학자들에게까지 거슬러 올라갑니다. 그것은 일종의 생각이었지만 David Smith와 John Pendry 경에 의해 실제로 재창조되었습니다.

마찬가지로, 일반적으로 사람들이 "텐서 프로세서"라고 말할 때 의미하는 수축기 배열은 70년대 후반의 오래된 아이디어입니다. 양자 컴퓨팅은 80년대의 오래된 아이디어를 오늘날 부활시켰습니다. 광학처리 역시 80년대의 오래된 아이디어지만, 당시에는 이를 구현할 수 있는 기술이 없었습니다. 그래서 Neurophos를 통해 우리는 광 트랜지스터를 재창조하여 오래 전부터 멋진 광 컴퓨팅 아이디어를 구현하는 데 필요한 기본 하드웨어를 처음부터 다시 만들었습니다.

고객이 Nvidia의 GPU 사용에서 귀사의 기술 사용으로 전환하게 만드는 요인은 무엇입니까?
따라서 대부분의 고객이 실제로 관심을 갖는 가장 중요한 것은 추론 지표당 비용입니다. 이것이 비즈니스 모델을 실제로 성패시키거나 파괴하는 것이기 때문입니다. 우리는 동일한 전력 범위 내에서 최첨단 GPU에 비해 컴퓨팅 속도를 100배 향상시킬 수 있는 솔루션을 통해 이러한 문제를 해결하고 있습니다.

환경 문제는 사람들이 관심을 갖는 부분이기도 하며, 우리는 가장 중요한 소스 중 하나인 데이터 센터에서 직접 에너지 소비를 크게 줄일 수 있는 매우 실제적인 솔루션을 제공하고 있습니다.

편안하게 앉아서 이것이 어떻게 확장되는지 생각해 보면… 누군가가 우리이든 다른 사람이든 여기에서 솔루션을 제공해야 합니다. 칩 패키징의 대역폭은 대략 면적의 제곱근에 비례하고, 칩 패키징의 전력 소비는 일반적으로 면적에 비례합니다. 이로 인해 우리가 시스템을 만들고 패키징하려는 방식이 온갖 종류로 왜곡되었습니다.

패키징은 일반적으로 AI에 있어서 정말 혁명적인 것 중 하나입니다. 처음에는 비용과 다양한 기술 노드의 칩렛을 혼합할 수 있는 능력, 그리고 무엇보다도 DRAM 칩과 통합할 수 있기 때문에 메모리 액세스 속도와 대역폭에 관한 것이었습니다. 하지만 이제는 거기에 점점 더 많은 칩을 넣고 있습니다!

아날로그 컴퓨팅 접근 방식을 사용하면 컴퓨팅에 대한 전력 소비가 면적에 비례하는 대신 면적의 제곱근으로 복원됩니다. 이제 컴퓨팅 및 전력 소비가 확장되는 방식도 동일합니다. 당신은 그것들을 균형으로 가져오고 있습니다.

우리는 실제로 이러한 확장 법칙을 적용할 수 있을 만큼 충분히 높은 컴퓨팅 밀도로 확장할 수 있는 아날로그 인메모리 컴퓨팅에 대한 유일한 접근 방식을 개발했다고 믿습니다.

현재 고객이 어떻게 Neurophos와 소통할 수 있습니까?
우리는 개발 파트너 프로그램을 만들고 사람들이 PyTorch 코드를 직접 로드하고 컴파일할 수 있는 하드웨어의 소프트웨어 모델을 제공하고 있습니다. 이는 처리량 및 대기 시간 측정항목과 초당 인스턴스 수 등을 고객에게 제공합니다. 또한 시스템 처리량에 대한 병목 현상에 대한 데이터를 다시 제공하므로 고객의 작업 부하에 실제로 중요한 방식으로 전체 시스템을 설계할 수 있습니다.

어떤 새로운 기능/기술을 개발하고 있나요?
학자들은 Neurophos에서 우리가 만들고 있는 것과 같은 메타표면이 있다면 무엇을 할 수 있을지 오랫동안 꿈꿔왔습니다. 거기에는 많은 이론적 논문이 있지만... 실제로 그것을 만든 사람은 아무도 없습니다. 우리는 그것을 한 첫 번째 사람입니다. 내 생각에 흥미로운 응용 프로그램의 대부분은 실제로 정적 표면이 아닌 동적 표면을 위한 것이며 Metacept, Duke 및 Lumotive와 같은 자매 회사에서 저와 전 세계가 매우 흥미로울 것이라고 생각하는 다른 작업이 진행되고 있습니다. .

SC 인큐베이터에 합류한 이유는 무엇이며 Neurophos가 향후 24개월 동안 조직과 협력하는 목표는 무엇입니까?

Silicon Catalyst는 높은 입학 기준을 갖춘 유명한 반도체 스타트업 액셀러레이터가 되었습니다. 우리는 그들을 파트너로 맞이하게 되어 기쁘게 생각합니다. 하드웨어 스타트업은 데모/프로토타입 비용과 엔지니어링 사이클 시간이 더 높기 때문에 소프트웨어 스타트업에 비해 큰 불리함을 갖고 있으며, 이는 EDA 도구 및 마스크 비용과 엔지니어링 팀의 규모가 엄청나게 큰 반도체 스타트업의 경우 더욱 그렇습니다. 종자 단계 회사에게는 비용이 많이 듭니다. Silicon Catalyst는 개발 비용을 절감하고 출시 기간을 단축하는 데 상당한 도움을 주는 매우 놀라운 파트너 생태계를 형성했습니다.