Analysis 양자 컴퓨팅은 이제 10년이 넘게 남아 있지만 업계 전문가에 따르면 양자 컴퓨팅은 AI의 끝없는 식욕을 억제하는 비결을 갖고 있을 수 있습니다.

매달 더 크고 매개변수 밀도가 높은 모델이 나타나고 AI 배포 규모도 함께 확장됩니다. Meta와 같은 하이퍼스케일러들은 올해에만 배포 수십만 개의 가속기. OpenAI 창립자인 샘 알트만(Sam Altman)은 여전히 확신 AI를 더욱 발전시키려면 기하급수적으로 더 많은 컴퓨팅이 필요합니다.

따라서 최근 채용을 통해 OpenAI가 등장한 것은 놀라운 일이 아닙니다. 겠지 혹시라도 발생할 수 있는 상황에 대비해 양자 컴퓨팅에 대한 투자를 헤지해야 합니다. 지난 주, AI 거물은 PsiQuantum의 전직 양자 시스템 설계자인 Ben Bartlett를 합류시켰습니다.

우리는 Bartlett이 AI 트렌드세터에서 무엇을 할 것인지 자세히 알아보기 위해 Open AI에 연락했지만 아직 답변을 받지 못했습니다. 그러나 그의 바이오 그의 연구 중 상당 부분이 양자 물리학, 기계 학습 및 나노포토닉스 사이의 교차점에 초점을 맞추고 있기 때문에 몇 가지 힌트를 제공하며 "기본적으로 유용한 계산을 수행하도록 속이는 광자를 위한 작은 경주 트랙을 설계하는 것으로 구성되어 있습니다."

그렇다면 OpenAI가 양자물리학자에게 정확히 무엇을 원할 수 있을까요? 음, 양자 최적화를 사용하여 훈련 데이터 세트를 합리화하거나 양자 처리 장치(QPU)를 사용하여 복잡한 그래프 데이터베이스를 오프로드하는 것부터 광학 장치를 사용하여 현대 반도체 패키징의 한계를 뛰어넘는 확장에 이르기까지 몇 가지 가능성이 있습니다.

신경망은 또 다른 최적화 문제일 뿐입니다

D-Wave의 Murray Thom은 양자 컴퓨팅이 대규모 AI 모델 훈련의 효율성을 획기적으로 향상시켜 더 적은 매개변수를 사용하여 모델에서 더 정확한 답을 도출할 수 있게 해준다고 말합니다. 등록.

GPT-4에는 1조 개가 넘는 매개변수가 있다는 소문이 있는데, 이것이 왜 매력적일 수 있는지 알기는 어렵지 않습니다. 양자화 및 기타 압축 전략을 사용하지 않고 AI 모델은 FP8 또는 Int8 정밀도와 더 높은 정밀도로 실행될 때 XNUMX억 매개변수마다 약 XNUMXGB의 메모리가 필요합니다.

수조 개의 매개변수 모델은 단일 AI 서버가 효율적으로 수용할 수 있는 한계에 가까워지고 있습니다. 더 큰 모델을 지원하기 위해 여러 서버를 함께 연결할 수 있지만 상자를 그대로 두면 성능이 저하됩니다.

그리고 바로 오늘입니다. 그리고 Altman이 옳다면 이러한 모델은 점점 더 커지고 널리 퍼질 것입니다. 따라서 OpenAI가 매개변수 수를 의미 있게 늘리지 않고도 모델의 기능을 향상시킬 수 있는 모든 기술은 OpenAI에게 유리할 수 있습니다.

D-Wave 소프트웨어 및 알고리즘 부문 부사장인 Trevor Lanting은 "모델을 훈련할 때 모델에 들어가는 매개변수의 수가 실제로 모델 훈련의 비용과 복잡성을 결정합니다."라고 말합니다. 등록.

이 문제를 해결하기 위해 개발자는 종종 특정 모델 교육에 가장 중요하다고 생각되는 기능을 하위 선택하여 필요한 매개 변수 수를 줄인다고 그는 설명합니다.

그러나 D-Wave는 기존 시스템을 사용하여 이를 시도하기보다는 양자 최적화 알고리즘이 어떤 기능을 포함하거나 제외할지 결정하는 데 더 효과적일 수 있다는 사례를 제시합니다.

익숙하지 않다면 경로 찾기나 물류에서 흔히 볼 수 있는 최적화 문제는 지금까지 양자 컴퓨팅의 가장 유망한 응용 프로그램 중 하나로 입증되었습니다.

"우리의 양자 컴퓨터가 정말 잘하는 것은 누군가에게 특정 일정이 할당되거나 특정 배송이 할당되는 등 일이 일어나고 있거나 일어나지 않는 일을 최적화하는 것입니다."라고 Thom은 말했습니다. "이러한 결정이 독립적이라면 괜찮을 것입니다. 기존 컴퓨터에서는 쉽게 할 수 있지만 실제로는 풀의 다른 리소스에 영향을 미치고 일종의 네트워크 효과가 있습니다."

즉, 현실 세계는 지저분하다. 도로에 여러 대의 차량이 있을 수 있고, 도로 폐쇄, 기상 상황 등이 있을 수 있습니다. 기존 컴퓨터와 비교할 때 양자 컴퓨터 고유의 고유한 특성을 통해 이러한 요소를 동시에 탐색하여 최상의 경로를 식별할 수 있습니다.

이것은 "뉴런이 발사되거나 발사되지 않는 신경망과 완전히 유사하며, 뉴런과 뉴런은 다른 뉴런의 발사를 자극하거나 억제하는 시냅스 연결을 가지고 있습니다"라고 Thom은 설명합니다.

이는 양자 알고리즘을 사용하여 특정 요구 사항에 맞게 AI 교육 데이터 세트를 최적화할 수 있으며, 이를 통해 교육을 받으면 더 간결하고 정확한 모델이 생성된다고 Lanting은 주장했습니다.

양자 샘플링 및 오프로드

장기적으로 D-Wave와 다른 사람들은 교육 프로세스에 QPU를 더 깊이 구현하는 방법을 찾고 있습니다.

이러한 사용 사례 중 하나는 샘플링에 양자 컴퓨팅을 적용하는 것입니다. 샘플링은 LLM과 같은 AI 모델이 확률 분포를 기반으로 다음 단어, 더 구체적으로 토큰이 무엇인지 결정하는 방법을 나타냅니다. 이것이 바로 LLM이 단지 스테로이드를 사용하면 자동 완성된다는 농담이 자주 들리는 이유입니다.

“하드웨어는 샘플 생성에 매우 뛰어나며 분포를 조정할 수 있으므로 해당 샘플의 가중치를 조정할 수 있습니다. 그리고 우리가 탐구하고 있는 것은 이것이 실제로 어닐링 양자 컴퓨팅을 훈련 워크로드에 더 직접적이고 직접적으로 삽입할 수 있는 좋은 방법인가 하는 것입니다.”라고 Lanting은 설명했습니다.

프랑스의 양자 컴퓨팅 스타트업인 Pasqal은 신경망에서 일반적으로 발견되는 그래프 구조의 데이터 세트를 오프로드하기 위해 양자 컴퓨팅을 적용하는 방법을 고민해 왔습니다.

Pasqal 공동 CEO인 Loïc Henriet는 인터뷰에서 "기계 학습에서는 그래프가 복잡한 개체이기 때문에 데이터를 고전적으로 표현하는 간단한 방법이 없습니다."라고 설명했습니다. 등록. "그래프 구조의 데이터를 비교적 자연스럽게 양자 역학에 삽입할 수 있으며, 이는 이러한 데이터 조각을 처리하는 몇 가지 새로운 방법을 제공합니다."

그러나 이것이 달성되기 전에 양자 시스템은 훨씬 더 크고 훨씬 더 빨라져야 할 것이라고 Henriet은 설명했습니다.

“대규모 데이터 세트는 현재로서는 실용적이지 않습니다.”라고 그는 말했습니다. “이것이 바로 우리가 큐비트 수를 늘리는 이유입니다. 반복률. 큐비트가 많을수록 더 많은 데이터를 삽입할 수 있기 때문입니다.”

양자 그래프 신경망이 실행 가능해지기까지 얼마나 기다려야 하는지 말하기는 어렵습니다. Pasqal은 이미 10,000큐비트 시스템을 보유하고 있습니다. 작품 속에서. 불행하게도 연구에 따르면 오류 수정 큐비트가 10,000개 이상, 즉 약 백만 개의 물리적 큐비트가 필요할 것으로 나타났습니다. 경쟁 최신 GPU를 사용합니다.

실리콘 포토닉스 플레이?

이국적인 양자 AI 사용 사례를 제외하고 Bartlett이 전문가가 된 OpenAI가 추구할 수 있는 다른 기술이 있습니다.

특히 Bartlett의 전 고용주인 PsiQuantum은 실리콘 포토닉스 기반 시스템을 개발해 왔습니다. 이는 그의 고용이 OpenAI와 관련이 있을 수 있음을 시사합니다. 신고 맞춤형 AI 가속기를 개발합니다.

Ayar Labs, Lightmatter 및 Celestial AI를 포함한 몇몇 실리콘 포토닉스 스타트업은 기계 학습 성능을 제한하는 요인이 된 대역폭 제한을 극복하기 위한 수단으로 이 기술을 추진했습니다.

여기서 아이디어는 순수한 전기 신호를 사용하는 것보다 빛을 사용하여 훨씬 더 먼 거리에 걸쳐 훨씬 더 많은 데이터를 전송할 수 있다는 것입니다. 이러한 설계 중 다수에서 빛은 실제로 실리콘에 에칭된 도파관을 통해 전달되는데, 이는 "광자를 위한 작은 경주 트랙 설계"와 매우 흡사합니다.

가벼운 문제 생각 이 기술을 사용하면 칩에서 나가는 데이터에 대한 대역폭 페널티를 발생시키지 않고 여러 가속기가 하나로 작동할 수 있습니다. 그 사이 천상의 모습은 기회 가속기 다이 바로 옆에 모듈을 함께 패키징할 필요가 없으므로 GPU에서 사용할 수 있는 고대역폭 메모리의 양을 크게 늘릴 수 있습니다. 이 두 가지 기능 모두 대규모로 AI 시스템을 사용하는 회사에 매력적일 것입니다.

OpenAI가 궁극적으로 양자 AI를 추구할지 실리콘 포토닉스를 추구할지 여부는 아직 알 수 없지만, 창업자가 장거리 투자를 하는 데 익숙하지 않은 회사의 경우 Altman이 지원하는 가장 이상한 것은 아닐 것입니다. ®

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/