Zephyrnet-logo

WEBINAR: een ideale neurale verwerkingsengine voor implementaties die altijd aanvoelen - Semiwiki

Datum:

Always-sensing camera's zijn een relatief nieuwe methode voor gebruikers om te communiceren met hun smartphones, huishoudelijke apparaten en andere consumentenapparaten. Net als altijd luisterende audio-gebaseerde Siri en Alexa, zorgen camera's die altijd voelen voor een naadloze, meer natuurlijke gebruikerservaring. Camerasubsystemen die altijd waarnemen, vereisen echter gespecialiseerde verwerking vanwege de hoeveelheid en complexiteit van de gegenereerde gegevens.

Option 1

Maar hoe kunnen altijd-gevoelige subsystemen zo worden ontworpen dat ze voldoen aan de strenge eisen op het gebied van stroom, latentie en privacy van de gebruiker? Ondanks voortdurende verbeteringen in de energieopslagdichtheid stellen apparaten van de volgende generatie altijd hogere eisen aan batterijen. Zelfs apparaten die op de muur worden aangesloten, worden onder de loep genomen, waarbij consumenten, bedrijven en overheden een lager stroomverbruik eisen. Latentie is ook een grote factor; voor de beste gebruikerservaring moeten apparaten onmiddellijk reageren op gebruikersinvoer, en altijd-gevoelige systemen kunnen niet concurreren met andere processen die onnodige latentie en trage redenen toevoegen. Privacy en gegevensbeveiliging zijn ook belangrijke zorgen; altijd-detecterende systemen moeten worden ontworpen om gegevens van de camera veilig vast te leggen en te verwerken zonder deze op te slaan of bloot te stellen.

Dus hoe kan always-sensing worden ingeschakeld op een kracht-, latentie- en privacyvriendelijke methode? Hoewel veel bestaande Application Processors (AP's) NPU's in zich hebben, zijn die NPU's niet het ideale voertuig voor altijd waarnemen. Een typisch AP is een mix van heterogene rekenkernen, waaronder CPU's, ISP's, GPU/DSP's en NPU's. Elke processor is ontworpen voor specifiek computergebruik en mogelijk grote verwerkingsbelastingen. Een typische NPU voor algemeen gebruik kan bijvoorbeeld 5-10 TOPS aan prestaties leveren, met een typisch stroomverbruik van ongeveer 4 TOPS/W en ongeveer 40% gebruik. Het is echter inefficiënt omdat het enigszins overontworpen moet zijn om de werklast in het slechtste geval aan te kunnen.

Altijd-detecterende neurale netwerken zijn speciaal gemaakt om minimale verwerking te vereisen, meestal gemeten in GOPS - GOPS is een duizendste van TOPS. Hoewel de NPU in een bestaand AP in staat is om AI-verwerking altijd te detecteren, is dit om verschillende redenen niet de juiste keuze. Ten eerste zal het stroomverbruik aanzienlijk zijn, wat een niet-starter is voor een functie die altijd aan staat, aangezien dit zich direct vertaalt in een kortere levensduur van de batterij. Ten tweede, aangezien op AP gebaseerde NPU doorgaans bezig is met andere taken, kunnen andere processen de latentie verhogen en een negatieve invloed hebben op de gebruikerservaring. Ten slotte sluiten privacykwesties het gebruik van de applicatieprocessor in wezen uit. De reden hiervoor is dat de cameragegevens die altijd detecteren, moeten worden geïsoleerd van de rest van het systeem en niet in het apparaat mogen worden opgeslagen of vanaf het apparaat moeten worden verzonden. Dit is nodig om de blootstelling van die gegevens te beperken en de kans te verkleinen dat een kwaadwillende partij de gegevens steelt.

De oplossing is dus een speciale NPU die speciaal is ontworpen en geïmplementeerd om altijd-detecterende netwerken te verwerken met een absoluut minimum aan ruimte, vermogen en latentie: de Kleine NPU.

Option 2

In dit webinar, Expedera en SemiWiki onderzoeken hoe een speciaal, altijd gevoelig subsysteem met een speciale LittleNPU kan voorzien in de behoeften op het gebied van stroom, latentie en privacy en tegelijkertijd een ongelooflijke gebruikerservaring biedt.

REGISTREER HIER

Georganiseerd door
Sharad Chole, hoofdwetenschapper en medeoprichter van Expedera

Over dit gesprek
Altijd-gevoelige camera's zijn in opkomst in smartphones, huishoudelijke apparaten en andere consumentenapparaten, net zoals de altijd luisterende Siri of Google stemassistenten. Always-on-technologieën zorgen voor een meer natuurlijke en naadloze gebruikerservaring, waardoor functies zoals automatische vergrendeling en ontgrendeling van het apparaat of aanpassing van het scherm op basis van de blik van de gebruiker mogelijk zijn. Cameragegevens hebben echter zorgen over kwaliteit, rijkdom en privacy, waarvoor gespecialiseerde verwerking van kunstmatige intelligentie (AI) vereist is. Bestaande systeemprocessors zijn echter niet geschikt voor altijd gevoelige toepassingen.

Zonder zorgvuldige aandacht voor het ontwerp van de Neural Processing Unit (NPU), zal een altijd waarnemend subsysteem buitensporig veel stroom verbruiken, last hebben van buitensporige latentie of de privacy van de gebruiker in gevaar brengen, wat allemaal leidt tot een onbevredigende gebruikerservaring. Om altijd gevoelige gegevens op een kracht-, latentie- en privacyvriendelijke manier te verwerken, wenden OEM's zich tot gespecialiseerde "LittleNPU" AI-processors. In dit webinar verkennen we de architectuur van always-sensing, bespreken we use cases en geven we tips over hoe OEM's, chipmakers en systeemarchitecten met succes een NPU kunnen evalueren, specificeren en implementeren in een always-on camera-subsysteem .

Over Expedera
Expedera biedt schaalbare neural engine halfgeleider IP die grote verbeteringen in prestaties, kracht en latentie mogelijk maakt, terwijl de kosten en complexiteit in AI-inferentietoepassingen worden verminderd. Expedera's oplossingen zijn gevalideerd door derden en leveren superieure prestaties en zijn schaalbaar voor een breed scala aan toepassingen, van edge-nodes en smartphones tot auto's en datacenters. Expedera's Origin™ deep learning-acceleratorproducten zijn eenvoudig te integreren, gemakkelijk schaalbaar en kunnen worden aangepast aan de toepassingsvereisten. Het hoofdkantoor van het bedrijf is gevestigd in Santa Clara, Californië. Bezoek expedera. com
Lees ook:

Diep nadenken over compute-in-memory in AI-inferentie

Gebiedsgeoptimaliseerde AI-inferentie voor kostengevoelige toepassingen

Ultra-efficiënte heterogene SoC's voor zelfrijden op niveau 5

Interview met CEO: Da Chuang van Expedera

Deel dit bericht via:

spot_img

Laatste intelligentie

spot_img