안에 기술 논문 AI 응용 프로그램 용 광학 컴퓨팅 하드웨어를 개발하는 신생 기업 LightOn의 과학자 인 Preprint 서버 Arxiv.org에 게시 된 AI 모델 교육을 가속화 할 수있는 최초의 광학 보조 프로세서 중 하나라고 설명합니다. 인기있는 실험에서 MNIST 데이터 세트 필기 처리 된 자릿수, 보조 프로세서 (광학 처리 장치)는 95.8 %의 정확도로 숫자를 인식하도록 모델을 훈련시키는 데 도움이되었으며, 그래픽 카드에서 훈련 할 때 97.6 %의 정확도를 달성했습니다.

LightOn 칩의 토대 인 포토 닉 집적 회로는 전자 제품에 비해 많은 이점을 약속합니다. 빛은 전기보다 열이 적게 발생하고 주변 온도, 전자기장 및 기타 소음의 변화에 ​​덜 민감하기 때문에 제한된 양의 에너지 만 필요합니다. 대기 시간 광자 디자인 전력 소비 수준이 "10,000 배"낮을 때 실리콘 등가물에 비해 최대 100 배 향상되었으며, 최신 전자 칩에 비해 특정 모델 워크로드가 XNUMX 배 빠르게 실행되는 것으로 측정되었습니다.

이 논문에 따르면 LightOn 연구원들은 DFA (직접 피드백 정렬)라는 기술과 연계하여 오프 축 홀로그래피 (참조와 대상 빔 사이의 작은 각도)를 포함하도록 수정 된 사내 광학 칩을 사용했습니다. 머신 러닝에서 DFA는 모델의 오류율에 대한 랜덤 예측을 학습 신호로 사용하므로 모델을 구성하는 각 레이어가 다른 레이어와 독립적으로 업데이트 될 수 있습니다.

전형적인 AI 모델은 하나 이상의 고밀도 층에 연결된 "뉴런"(수학적 함수)으로 구성됩니다. 뉴런을 따라 전송되는 신호는 연결의 시냅스 강도 (가중치)를 조정하며, 이런 방식으로 데이터에서 특성을 추출하고 예측을 학습합니다. 일반적으로 역 전파 (오류의 역 전파)는 신호를 전송하고 다양한 조정을 수행하는 데 사용되지만 역전 파는 레이어의 비동기 처리를 방지합니다. 레이어의 조정은 모델의 다른 곳에서 데이터에 의존하여 비 효율성을 유발합니다.

더 빠른 광학 기반의 DFA 방식을 추구하기 위해 LightOn 연구원들은 빛을 공간적으로 변조하도록 설계된 구성 요소를 사용하여 광선에 벡터라고하는 수치 표현을 칩에 인코딩했습니다. 빔은 확산기를 통해 전파되어 빔의 강도와 함께 카메라가 감지 한 추론 패턴 (반점)을 초래합니다. 이를 통해 칩은 이론적으로 XNUMX 억 개가 넘는 매개 변수로 임의의 모델 오류 예측을 전달할 수있게되었으며,이 맥락에서 문제에 대한 모델의 기술을 정의하는 모델 내부의 구성 변수를 나타냅니다.

실험 동안, 공동 저자는 1,024 에포크에 대해 10 개의 뉴런을 포함하는 모델을 훈련 시켰으며, 이는 MNIST의 각 샘플이 파라미터를 10 회 업데이트 할 기회를 가졌음을 의미합니다. 1.5 kHz에서 실행되는 LightOn의 보조 프로세서는 초당 1,500 개의 랜덤 프로젝션을 수행하여 약 30 와트의 전력을 소비합니다. 이는 평균 그래픽 카드보다 전력 효율이 훨씬 높습니다.

연구자들은 다른 홀로그래피 방식으로 전환하면 XNUMX 조 개가 넘는 매개 변수를 포함한 계산을 수행 할 수있을 것이지만이를 향후 연구에 맡길 것이라고 가정합니다. “신경망이 커지고 복잡해지고 데이터가 고갈됨에 따라 교육 비용이 치 솟고 있습니다. “현재 사용 가능한 구성 요소의 최적화와 향후 구성 요소의 개발로 성능이 향상 될 것으로 기대합니다. DFA를 더 잘 이해하면이 액셀러레이터의 응용 범위를 넓히는 데 도움이됩니다.”

표준 서버 나 워크 스테이션에 연결되도록 설계된 LightOn의 하드웨어는 광학 처리의 한계에 영향을받지 않습니다. 빠른 광전 회로는 빠른 메모리가 필요하며, 레이저, 변조기 및 광 결합기를 포함한 모든 구성 요소를 소형 칩 웨이퍼에 패키징해야합니다. 또한 광학 영역에서 어떤 종류의 비선형 연산 (예측을 가능하게하는 모델의 기본 빌딩 블록)을 실행할 수 있는지에 대한 의문이 남아 있습니다.

그 이유는 아마도 인텔 LightOn 자체는 동일한 다이에서 실리콘과 광학 회로를 결합하여 모델의 일부가 광학적으로 실행되고 일부가 전자적으로 실행되는 하이브리드 방식을 추구하고 있습니다. 그들은 혼자가 아닙니다 — 스타트 업 빛의 우아함 지금까지 가속기에서 컴퓨터 비전을 사용하여 필기 숫자를 인식하는 MNIST 벤치 마크 기계 학습 모델을 시연했습니다. 과 가벼운 문제신흥 광학 칩 시장의 일부를 경쟁하는 XNUMX 개의 다른 신생 기업인 Optalysis 및 Fathom Computing은 자체 칩을 위해 수천만 벤처 자본을 모았다.

출처 : http://feedproxy.google.com/~r/venturebeat/SZYF/~3/0PGj7NeZ8MQ/