In ons dagelijks leven profiteren we allemaal van beeldsignaalverwerking (ISP), of iedereen het nu beseft of niet. ISP is de techniek voor het verwerken van beeldgegevens die zijn vastgelegd door een beeldapparaat. Het omvat een reeks algoritmen die onbewerkte beeldgegevens omzetten in een bruikbaar beeld door te corrigeren voor vervormingen, ruis te verwijderen, helderheid en contrast aan te passen en functies te verbeteren. ISP op zichzelf is dus niet iets nieuws.

Wat echter nieuw is, is het gebruik van kunstmatige intelligentie (AI) om ISP te verbeteren om betere resultaten te behalen dan traditionele ISP's. Ten eerste kan AI op het gebied van digitale fotografie de ISP-mogelijkheden aanzienlijk verbeteren. Traditionele ISP's zijn effectief in het verwerken van afbeeldingen, maar AI kan dit naar een hoger niveau tillen. AI kan bijvoorbeeld helpen bij het verminderen van ruis, waardoor de helderheid van het beeld wordt verbeterd, vooral bij weinig licht. Bovendien kunnen AI-algoritmen verschillende scènes of objecten in het beeld herkennen, waardoor automatische aanpassingen aan verschillende parameters zoals helderheid, contrast en verzadiging mogelijk zijn voor optimale resultaten.

In de wereld van autonome voertuigen kunnen AI-verbeterde ISP's real-time beelden verwerken om de omgeving van het voertuig beter te begrijpen, wat helpt bij het nemen van beslissingen. Traditionele ISP's kunnen worstelen met verschillende lichtomstandigheden of objectdetectie bij hoge snelheden, maar AI kan deze aspecten verbeteren, het vermogen van het voertuig om te reageren op potentiële gevaren verbeteren en de algehele verkeersveiligheid verbeteren.

Ten slotte kunnen AI-verbeterde ISP's op het gebied van bewaking en beveiliging beelden van CCTV-beelden effectiever verwerken. AI kan helpen bij het detecteren van verdachte activiteiten, het herkennen van gezichten of het identificeren van objecten die onbeheerd zijn achtergelaten, waardoor realtime waarschuwingen worden gegeven en de algemene beveiligingsmaatregelen worden verbeterd.

Maar hoe ISP op basis van AI te implementeren? Het is makkelijker gezegd dan gedaan. Er zijn veel uitdagingen te overwinnen. AI-algoritmen ontwikkelen zich snel, waardoor een AI-ISP-oplossing programmeerbaar moet zijn. AI-modellen vereisen veel rekenkracht. Conventionele technieken die afzonderlijk ontwikkelde ISP en NPU combineren, vereisen vaak veel geheugen om volledige frames met afbeeldingen op te slaan voor verwerking. Toegang tot DDR-SDRAM's verbruikt veel stroom. En deze losjes gekoppelde, op frames gebaseerde oplossing zal latenties introduceren die worden gemeten in frames, wat voor veel toepassingen onaanvaardbaar is.

Wat nodig is voor de toepassingen van vandaag, is real-time verwerking met een lage latentie en een laag stroomverbruik. Het is zelfs nog aantrekkelijker om de oplossing DDR-loos te maken, omdat hierdoor de stroomvereisten van het systeem aanzienlijk worden verminderd. Natuurlijk zijn NPU's de sleutel tot een op AI gebaseerde ISP-oplossing. Maar er komt veel meer bij kijken om tot een DDR-loze, low latency, low power AI-ISP-oplossing te komen. Dit was het onderwerp van de presentatie van Mankit Lo op de recente Embedded Vision Summit-conferentie. Mankit, die de Chief Architect, NPU IP Development bij VeriSilicon is, leidde het publiek door de verschillende aspecten die moeten worden aangepakt.

Oplossingsvereisten

ISP-vereisten

In traditionele hardware voor ISP zijn er veel modules in de pijplijnfasen om de mogelijke artefacten van het beeldvormingssysteem te corrigeren. Om AI-ISP uit te voeren, moet de gekozen ISP flexibel genoeg zijn om de klant in staat te stellen de modules te kiezen en te kiezen die hij wil vervangen of verbeteren.

NPU-vereisten

Omdat ISP-taken rekenkundig enorm en intensief zijn, wordt de taak meestal gepartitioneerd om op veel NPU-kernen te worden uitgevoerd. Er is veel beeldoverlap aan de invoerzijde die de NPU-kernen binnengaat. Zelfs voor een 3×3 convolutielaag binnen het neurale netwerk kan de overlappende vereiste van slechts een paar pixels resulteren in een enorme overlap op het hele netwerkniveau. De overlapping moet worden geminimaliseerd om het geheugen, de kracht en de computervraag op het systeem te verminderen. De manier om dit te doen is door overlappingen op laagniveau te delen.

Wat nodig is, is een NPU die rasterlijnen aankan en onderdeel wordt van de ISP-verwerkingspijplijn, waardoor de oplossing DDR-loos, lage latentie en laag stroomverbruik wordt. De NPU moet programmeerbaar zijn om een ​​veranderend AI-netwerkmodellandschap aan te kunnen en zeer goede prestaties te leveren. Het moet ook Per Layer Overlap Sharing kunnen ondersteunen, wat ertoe leidt dat er geen overlap nodig is aan de beeldinvoerzijde.

VeriSilicon-aanbiedingen

Specifiek voor het onderwerp AI-ISP biedt VeriSilicon ISP, NPU en de FLEXA-PSI-interface om deze IP's naadloos met elkaar te verbinden. Raadpleeg het blokschema van een VeriSilicon AI-ISP-oplossing.

De klanten hoeven alleen hun aangepaste AI-algoritmen aan de mix toe te voegen om hun unieke oplossing te voltooien. VeriSilicon kan ook algoritmen bieden die betrekking hebben op de ISP, zoals ruisonderdrukking, demosaicing en verschillende soorten detectie zoals gezichtsdetectie en scènedetectie, enz.

Klik hier voor meer informatie over het NPU IP-aanbod van VeriSilicon.

Klik hier voor meer informatie over het ISP IP-aanbod van VeriSilicon.

VeriSilicon biedt op maat gemaakte siliciumdiensten en een zeer breed IP-portfolio voor veel verschillende markten. Meer informatie op VeriSilicon.com

Lees ook:

VeriSilicon's VeriHealth-chipontwerpplatform voor slimme zorgtoepassingen

VeriSilicon's AI-ISP doorbreekt de grenzen van traditionele computervisietechnologieën

Deel dit bericht via:

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
• De toekomst slaan met Adryenn Ashley. Toegang hier.
• Koop en verkoop aandelen in PRE-IPO-bedrijven met PREIPO®. Toegang hier.
• Bron: https://semiwiki.com/artificial-intelligence/329794-real-time-ai-driven-image-signal-processing-with-reduced-memory-footprint-and-processing-latency/