일상 생활에서 우리 모두는 인지 여부와 관계없이 이미지 신호 처리(ISP)의 이점을 누리고 있습니다. ISP는 이미징 장치에서 캡처한 이미지 데이터를 처리하는 기술입니다. 여기에는 왜곡을 수정하고, 노이즈를 제거하고, 밝기와 대비를 조정하고, 기능을 향상하여 원시 이미지 데이터를 사용 가능한 이미지로 변환하는 일련의 알고리즘이 포함됩니다. 따라서 ISP 자체는 새로운 것이 아닙니다.
그러나 새로운 점은 인공 지능(AI)을 활용하여 ISP를 강화하여 기존 ISP보다 더 나은 결과를 얻을 수 있다는 것입니다. 첫째, 디지털 사진 분야에서 AI는 ISP 기능을 크게 향상시킬 수 있습니다. 전통적인 ISP는 이미지 처리에 효과적이지만 AI는 이를 한 단계 더 높일 수 있습니다. 예를 들어 AI는 특히 저조도 조건에서 이미지의 선명도를 개선하여 노이즈 감소에 도움을 줄 수 있습니다. 또한 AI 알고리즘은 이미지의 다양한 장면이나 물체를 인식하여 밝기, 대비 및 채도와 같은 다양한 매개변수를 자동으로 조정하여 최적의 결과를 얻을 수 있습니다.
자율 주행 차량의 세계에서 AI로 강화된 ISP는 실시간 이미지를 처리하여 차량 주변을 더 잘 이해하고 의사 결정을 도울 수 있습니다. 기존의 ISP는 다양한 조명 조건이나 고속 물체 감지로 어려움을 겪을 수 있지만 AI는 이러한 측면을 개선하여 잠재적인 위험에 대응하는 차량의 능력을 향상하고 전반적인 도로 안전을 개선할 수 있습니다.
마지막으로 감시 및 보안 영역에서 AI로 강화된 ISP는 CCTV 영상의 이미지를 보다 효과적으로 처리할 수 있습니다. AI는 의심스러운 활동을 감지하고 얼굴을 인식하거나 방치된 물체를 식별하여 실시간 경고를 제공하고 전반적인 보안 조치를 강화할 수 있습니다.
그러나 AI 기반 ISP를 구현하는 방법은 무엇입니까? 말처럼 쉽지 않습니다. 극복해야 할 과제가 많습니다. AI 알고리즘은 빠르게 발전하고 있으며 프로그래밍 가능한 AI-ISP 솔루션이 필요합니다. AI 모델에는 많은 계산 능력이 필요합니다. 개별적으로 개발된 ISP와 NPU를 결합하는 기존 기술은 처리를 위해 이미지의 전체 프레임을 저장하기 위해 많은 메모리를 필요로 하는 경우가 많습니다. DDR-SDRAM 액세스는 많은 전력을 소비합니다. 그리고 이 느슨하게 결합된 프레임 기반 솔루션은 프레임에서 측정되는 대기 시간을 도입할 것이며, 이는 많은 애플리케이션에서 허용되지 않습니다.
오늘날의 애플리케이션에 필요한 것은 대기 시간이 짧고 전력 소모가 적은 실시간 처리입니다. DDR이 없는 솔루션을 만드는 것은 시스템 전력 요구 사항을 크게 줄여주기 때문에 훨씬 더 매력적입니다. 물론 NPU는 AI 기반 ISP 솔루션의 핵심이다. 그러나 DDR이 없는 짧은 대기 시간, 저전력 AI-ISP 솔루션에 도달하려면 더 많은 것이 있습니다. 이것은 최근 Embedded Vision Summit 컨퍼런스에서 Mankit Lo가 발표한 주제였습니다. VeriSilicon의 NPU IP 개발 수석 설계자인 Mankit은 해결해야 할 다양한 측면을 통해 청중을 안내했습니다.
솔루션 요구 사항
ISP 요구 사항
ISP용 기존 하드웨어에는 파이프라인 단계에 이미징 시스템의 잠재적 아티팩트를 수정하기 위한 많은 모듈이 있습니다. AI-ISP를 수행하려면 선택한 ISP는 고객이 교체하거나 개선할 모듈을 선택하고 선택할 수 있도록 충분히 유연해야 합니다.
NPU 요구 사항
ISP 작업은 연산량이 많고 집약적이므로 작업은 일반적으로 많은 NPU 코어에서 실행되도록 분할됩니다. NPU 코어로 들어가는 입력 측에는 이미지가 많이 겹칩니다. 신경망 내부의 3×3 컨볼루션 레이어의 경우에도 몇 개의 픽셀에 대한 중첩 요구 사항으로 인해 전체 네트워크 수준에서 엄청난 중첩이 발생할 수 있습니다. 시스템의 메모리, 전력 및 컴퓨팅 요구를 줄이려면 중복을 최소화해야 합니다. 그 방법은 레이어 수준의 오버랩 공유를 통해서입니다.
필요한 것은 래스터 라인을 처리할 수 있고 ISP 처리 파이프라인의 일부가 되어 DDR이 없는 솔루션, 낮은 대기 시간 및 저전력 솔루션을 만드는 NPU입니다. NPU는 변화하는 AI 네트워크 모델 환경을 처리하고 매우 우수한 성능을 제공하도록 프로그래밍할 수 있어야 합니다. 또한 레이어별 오버랩 공유를 지원할 수 있어야 이미지 입력 측에서 오버랩이 필요하지 않습니다.
VeriSilicon 제공
VeriSilicon은 AI-ISP 주제에 따라 ISP, NPU 및 FLEXA-PSI 인터페이스를 제공하여 이러한 IP를 원활하게 연결합니다. VeriSilicon AI-ISP 솔루션의 블록 다이어그램을 참조하십시오.
고객은 맞춤형 AI 알고리즘을 믹스에 추가하기만 하면 고유한 솔루션을 완성할 수 있습니다. VeriSilicon은 노이즈 감소, 디모자이크, 얼굴 감지 및 장면 감지 등과 같은 다양한 유형의 감지와 같은 ISP와 관련된 알고리즘도 제공할 수 있습니다.
여기에서 지금 확인해 보세요. VeriSilicon의 NPU IP 제품에 대해 자세히 알아보십시오.
여기에서 지금 확인해 보세요. VeriSilicon의 ISP IP 제공에 대해 자세히 알아보십시오.
VeriSilicon은 맞춤형 실리콘 서비스와 다양한 시장을 위한 매우 광범위한 IP 포트폴리오를 제공합니다. 자세한 내용은 VeriSilicon.com
또한 읽기 :
스마트 의료 애플리케이션을 위한 VeriSilicon의 VeriHealth 칩 설계 플랫폼
VeriSilicon의 AI-ISP, 기존 컴퓨터 비전 기술의 한계 돌파
다음을 통해이 게시물 공유 :
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
- PREIPO®로 PRE-IPO 회사의 주식을 사고 팔 수 있습니다. 여기에서 액세스하십시오.
- 출처: https://semiwiki.com/artificial-intelligence/329794-real-time-ai-driven-image-signal-processing-with-reduced-memory-footprint-and-processing-latency/
