Kunstmatige intelligentie wordt ingezet in een aantal nieuwe toepassingen, van het verbeteren van de prestaties en het verminderen van het vermogen in een breed scala van eindapparaten tot het opsporen van onregelmatigheden in gegevensverplaatsing om veiligheidsredenen.

Hoewel de meeste mensen bekend zijn met het gebruik van machine learning en diepgaand leren om onderscheid te maken tussen katten en honden, laten opkomende toepassingen zien hoe deze mogelijkheid anders kan worden gebruikt. Gegevensprioritering en -partitionering kunnen bijvoorbeeld worden gebruikt om het vermogen en de prestaties van een chip of systeem te optimaliseren zonder menselijke tussenkomst. En verschillende smaken van AI kunnen worden gebruikt in de ontwerp- en productiestromen om fouten of gebreken op te sporen die mensen niet kunnen opvangen. Maar al deze nieuwe componenten en functies maken het ontwerpen van chips ook complexer, zelfs op meer volwassen knooppunten, omdat kansen eindige antwoorden vervangen en het aantal variabelen toeneemt.

"Als je AI naar de edge verplaatst, begint de edge op het datacenter te lijken", zegt Frank Ferro, senior director product management bij Rambus. “Er is de basisband, die veel van dezelfde verwerkingsfunctie vervult. En ook wat betreft de geheugenvereisten, zien we dat veel 5G-klanten geen bandbreedte meer hebben en kijken naar HBM aan de rand van het netwerk. Maar in plaats van naar de cloud te gaan, is er meer configureerbaarheid in het netwerk en kun je de workloads beheren. Het is erg belangrijk om die workloads in evenwicht te houden.”

Toch is niets in de AI-wereld eenvoudig, zoals AI-chipontwerpers hebben geleerd. "In een AI-ontwerp zijn er veel vragen die moeten worden beantwoord", zegt Ron Lowman, strategisch marketingmanager bij Synopsys. “Welk algoritme probeer je te verwerken? Wat is je energiebudget? Welke nauwkeurigheid probeer je te bereiken? In een toepassing voor beeldherkenning hebt u mogelijk geen 32-bits drijvende-kommaprocessor nodig. Een goedkopere 16-bits beeldchip kan prima werken. Als een nauwkeurigheid van 92% alles is wat u nodig heeft, kan een goedkope chip uw totale budget verlagen. Als u weet wat u wilt bereiken, heeft de IP-aanpak veel voordelen. U kunt de juiste AI-processors, het juiste type geheugen (SRAM of DDR) I/O en beveiliging selecteren. Het selecteren van de juiste IP is belangrijk, maar het doen van modellering en benchmarking zal ontwikkelaars ook helpen de AI-oplossingen te optimaliseren en fouten te verminderen.”

Ontwerpuitdagingen kunnen heel snel oplopen voor geavanceerde chips, en meer variabelen vereisen betere modellen, meer processtappen en meer tijd. "Je begint met een zeer complex idee van wat de chip gaat doen, en dan kijk je of er verschillende vereisten zijn voor verschillende delen van de chip", zegt Roland Jancke, hoofd ontwerpmethodologie. Fraunhofer IIS ' Engineering van de afdeling Adaptive Systems. “Vroeger ontwierp je gewoon iets, ontwikkelde het, plakte het op en keek of het werkt of niet. Dat is niet meer haalbaar. Je hebt echt een geïntegreerd proces nodig. Vanaf het allereerste begin moet u nadenken over wat mogelijke faalwijzen zijn. En je moet zelfs in het begin beginnen met misschien eindige-elementenmethoden voor simulatie, wat in het verleden meestal niet is gedaan, waar je begint met zeer ruwe modellen met functionaliteit die je wilt integreren. Dus als je een MATLAB-model hebt, weerspiegelt dat niet de fysieke interactie tussen de verschillende delen van de chip. Je moet vroeg in het ontwikkelingsproces verschillende modellen integreren - fysieke modellen, functionele modellen - om te zien of je concept functioneel genoeg zal zijn."

Dat wordt moeilijker met meer bewegende stukken, vooral wanneer die stukken zijn aangepast of semi-aangepast voor specifieke gegevenstypen en gebruiksscenario's. Maar het voordeel is dat betere algoritmen en rekenelementen het ook mogelijk maken meer gegevens te verwerken binnen een veel kleinere footprint en met veel minder kracht dan in eerdere implementaties. Dat maakt het op zijn beurt mogelijk de verwerking veel dichter bij de gegevensbronnen te laten plaatsvinden, waar het kan worden gebruikt om te bepalen welke gegevens belangrijk zijn, waar die gegevens op een bepaald moment moeten worden verwerkt en welke gegevens kunnen worden weggegooid.

Een omslagpunt
De meeste van deze veranderingen zijn op zichzelf incrementeel en evolutionair, maar gezamenlijk maken ze het mogelijk om conclusies te trekken en te trainen over de rand, waar een spectrum van heterogene architecturen begint te ontstaan. Door gebruik te maken van verschillende soorten neurale netwerken, kan de verwerking worden versneld voor gerichte doeleinden, met verschillende niveaus van nauwkeurigheid en precisie voor verschillende toepassingen.

Fig. 1: Het complexe AI-proces kan worden onderverdeeld in AI Stacks. Bron: McKinsey & Co.

Voor alle AI-chips die complexe algoritmische en berekeningen uitvoeren, zijn er verschillende belangrijke vereisten. Ten eerste moeten ze gegevens parallel kunnen verwerken, met behulp van meerdere rekenelementen en brede gegevenspaden om de latentie te verminderen. In veel gevallen gaat het ook om gelokaliseerd geheugen in de buurt van computerelementen, evenals geheugen met hoge bandbreedte. Ten tweede moeten deze apparaten worden geoptimaliseerd voor grootte, kosten en energiebudgetten, waarvoor vaak architecturen met hoge doorvoer nodig zijn die zijn aangepast aan de geprojecteerde workloads. Dat vereist op zijn beurt een aantal afwegingen, die moeten worden afgewogen voor het specifieke gebruik. En ten derde omvatten deze architecturen vaak een mix van processors om complexe datastromen en energiebeheerschema's te beheren, waaronder CPU's, GPU's, FPGA's, eFPGA's, DSP's, NPU's, TPU's en IPU's.

"Bij het ontwerp moeten ontwikkelaars rekening houden met de vereisten van training, inferencing, laag stroomverbruik, connectiviteit en beveiliging", zegt Danny Watson, hoofdsoftwareproductmarketingmanager voor Infineon's IoT, Wireless en Compute Business Unit: "Deze aanpak maakt nieuwe use-cases mogelijk die lokale snelle beslissingen vereisen, terwijl het stroombudget van de hedendaagse IoT-producten wordt gehaald." Watson merkte op dat het verzamelen van de juiste gegevens de sleutel is, zodat applicaties daarvan kunnen profiteren, waardoor ze technologische verbeteringen kunnen toepassen.

AI overal.
Voor chipbedrijven is dit allemaal erg belangrijk. Volgens de laatste verslag door Precedence Research zal de AI-markt als geheel groeien van $ 87 miljard in 2021 tot meer dan $ 1.6 biljoen in 2030. Dat omvat zowel datacenters als edge-apparaten, maar het groeitempo is aanzienlijk. AI is tegenwoordig zo'n hot veld dat bijna elk groot technologiebedrijf investeert in AI-chips of deze maakt. Ze omvatten Apple, AMD, Arm, Baidu, Google, Graphcore, Huawei, IBM, Intel, Meta, NVIDIA, Qualcomm, Samsung en TSMC. De lijst gaat maar door.

Deze markt bestond vijf jaar geleden amper en tien jaar geleden dachten de meeste bedrijven in termen van cloudcomputing en high-speed gateways. Maar naarmate nieuwe apparaten worden uitgerold met meer sensoren - of dat nu auto's, smartphones of zelfs apparaten zijn met een bepaald niveau van intelligentie erin - worden er zoveel gegevens gegenereerd dat er architecturen moeten worden ontworpen rond de invoer, verwerking, beweging en opslag van die gegevens. Dat kan op meerdere niveaus.

"In AI-toepassingen worden verschillende technieken ingezet", zegt Paul Graykowski, senior technisch marketingmanager bij Arteris-IP. “Een recente klant heeft een complexe meerkanaals ADAS SoC ontwikkeld die vier kanalen met sensorgegevens kan verwerken, elk met zijn eigen speciale reken- en AI-engine om de gegevens te verwerken. Op dezelfde manier zullen nieuwe AI-chiparchitecturen blijven veranderen om te voldoen aan de vereisten van nieuwe toepassingen.”

Van groot naar klein
De tijd tot resultaat is meestal evenredig met de afstand, en kortere afstanden betekenen betere prestaties en minder vermogen. Dus hoewel enorme datasets nog moeten worden gekraakt door hyperscale datacenters, is er een gezamenlijke inspanning van de chipindustrie om meer verwerking stroomafwaarts te verplaatsen, of dat nu machine learning, deep learning of een andere AI-variant is.

Cerebras is het uithangbord in de wereld van diep leren, waar snelheid cruciaal is, op de voet gevolgd door nauwkeurigheid van resultaten. Natalia Vassilieva, directeur productbeheer bij Cerebras, meldde dat GlaxoSmithKline de efficiëntie van het ontdekken van geneesmiddelen heeft verhoogd door zijn apparaat op wafelschaal te gebruiken in zijn Epigenomic Language Models. In één scenario was GlaxoSmithKline in staat om de diepe neurale netwerkgebaseerde virtuele screeningtijd voor een grote bibliotheek van verbindingen te verminderen van 183 dagen, draaiend op een GPU-cluster, tot 3.5 dagen op het Cerebras-apparaat. Die "chip" heeft meer dan 2.6 biljoen transistors, 850,000 AI-geoptimaliseerde kernen, 40 GB on-chip geheugen en een geheugenbandbreedte van 20 PB per seconde (één petabyte is gelijk aan 1,024 terabyte). Het verbruikt ook 23 kW aan stroom en maakt gebruik van interne vloeistofkoeling met gesloten lus, direct-to-chip.

Graphcore koos voor een andere aanpak door de introductie van een intelligence processing unit (IPU)-technologie. Door gebruik te maken van multiple-instructie, multiple-data (MIMD) parallellisme en lokaal gedistribueerd geheugen, kan de IPU 22.4 PFLOPS leveren (1 petaflop per seconde is gelijk aan 1000 teraflop per seconde), terwijl alleen luchtkoeling nodig is. Bovendien heeft de IPU een theoretische rekenkundige doorvoer van maximaal 31.1 TFLOPS in enkele precisie. Het is veel sneller dan de 100 TFLOPS van de A624. In een test uitgevoerd door Twitter presteerde de IPU beter dan de GPU.

Fig. 2: De IPU-technologie, die profiteert van meervoudige instructie, meervoudig data (MIMD) parallellisme en lokaal gedistribueerd geheugen, presteert beter dan GPU. Bron: Graphcore

AI kan ook klein worden. Slimme dingen op basis van AI, ook wel bekend als de kunstmatige intelligentie van dingen (AIoT)/embedded AI, floreren. Volgens Waardeert rapporten, zal edge AI-hardware groeien van $ 7 miljard in 2020 tot $ 39 miljard in 2030. AI heeft intelligentie toegevoegd aan edge computing, netwerkeindpunten en mobiele apparaten. Naast het IoT gebruiken steeds meer applicaties embedded AI. Onder hun aantal bevinden zich wearables, slimme huizen en slimme afstandsbedieningen, waaronder enkele die spraakherkenning gebruiken. Ook vertrouwen op embedded AI zijn AR/VR-gaming, slimme autopanelen, object- en bewegingsdetectie, thuiszorg, meteruitlezing, slimme fabrieken, slimme steden, industriële automatisering en slimme gebouwen, inclusief controle en energiebeheer. De lijst gaat maar door, alleen beperkt door iemands verbeeldingskracht.

"AI zal IoT-computing efficiënter maken met de mogelijkheid om gegevens lokaal sneller te verwerken", zegt Suhas Mitra, productmarketingdirecteur voor Tensilica AI-producten bij Cadans. "Dit omvat een betere responstijd en kleinere latenties, aangezien de gegenereerde gegevens ook onmiddellijk op het edge-apparaat worden verwerkt. Het uitvoeren van AI edge-verwerking zal betrouwbaarder zijn, omdat het niet altijd mogelijk is om constant een enorme hoeveelheid gegevens via een live draadloze of bekabelde verbinding naar de cloud te sturen. Het verlicht ook de druk van het opslaan en verwerken van enorme hoeveelheden gegevens in de cloud, die persoonlijke en gevoelige informatie kunnen bevatten. Privacyzorgen over het verzenden van gebruikersinformatie naar de cloud kunnen het onmogelijk maken om gegevens te upstreamen, ongeacht toestemming. Door meer edge-computing te doen, verlengt u de levensduur van de batterij, omdat een deel van de compute minder cycli op het edge-platform vereist bij gebruik van AI-benaderingen. Hierdoor wordt er minder energie verbruikt en is de warmteafvoer lager.”

Alle AI-chips moeten worden getraind voordat gevolgtrekking kan plaatsvinden. Hoewel de datasets vaak zo groot zijn dat er een groot datacenter voor nodig is om te trainen, kan verdere training worden gegeven op pc- of ontwikkelsysteemniveau. Ontwikkelaars zullen een nauwgezet proces doorlopen om ervoor te zorgen dat een optimaal inferentie-algoritme wordt bereikt. Veel fabrikanten van AI-chips verstrekken een lijst met trainingspartners voor hun klanten. Zelfs met de hulp van consultants moeten ontwikkelaars nog steeds betalen voor de adviestijd en de trainingsinspanningen.

Een eenvoudigere manier om dit te doen, is te implementeren met vooraf getrainde modellen, zoals het EasyVision-platform van Flex Logix. "Met de vooraf getrainde X1M-chip voor modules kunnen ontwikkelaars het trainingsproces omzeilen en direct doorgaan met productontwikkeling en testen", zegt Sam Fuller, senior director inference marketing bij FlexLogix. “De vooraf getrainde oplossingen zijn in de praktijk getest en bewezen, wat veel efficiënter is dan de trial-and-error-aanpak van ontwikkelaars. Vaak is de speciale, vooraf getrainde chip veel efficiënter dan gewone CPU's.”

Nog kleiner denken
De mogelijkheden om AI in nog kleinere apparaten op te nemen groeien ook dankzij tiny machine learning, opgericht door de tinyML Foundation om embedded on-device ML en data-analyse in het mW-bereik te ondersteunen. Veel van deze apparaten kunnen ML uitvoeren in visie, audio, inertiële meeteenheid (IMU), biomedisch. Daarnaast biedt het een Open-Source Neural Network Optimization-framework genaamd ScaleDown om de implementatie van ML-modellen op tinyML-apparaten te vereenvoudigen.

TinyML kan op alle programmeerbare AI-chips draaien, inclusief Arduino-kaarten. De missie van Arduino was om elektronische apparaten en software te leveren aan hobbyisten, studenten en docenten. Het is in de loop der jaren geëvolueerd en oplossingen op basis van Arduino worden tegenwoordig in veel industriële segmenten gebruikt. Maar het combineren van tinyML- en Arduino-hardware kan potentieel zeer goedkope embedded AI-oplossingen opleveren. Typische hardware kost minder dan $ 100.

Een van de uitdagingen bij het ontwerpen van AI in deze kleine apparaten is energiebudgettering. Synaptics is de uitdaging aangegaan om low-power-budget AI- en sensorchips te ontwikkelen. Volgens Ananda Roy, senior productmanager die de low-power AI-productlijn bij Synaptics leidt, is de Katana AI SoC van het bedrijf in staat om mensen te detecteren / tellen en valdetectie en kan actieve AI-visie-inferentie uitvoeren met 30 mW bij 24 MHz of hoger vermogen op 90MHz. Diepe slaapmodus verbruikt minder dan 100 µW. Over het algemeen is het veel energiezuiniger dan andere AI-chips. Om efficiënt energiebeheer te bereiken, vertrouwt de neurale verwerkingseenheid (NPU) op een geheugenarchitectuur met meerdere geheugenbanken die kunnen worden ingesteld op ultra-low power-modi wanneer niet in gebruik en schaalbare bedrijfsspanning en processorsnelheid, net zoals op de gas wanneer u uw auto sneller wilt laten rijden.

FlexSense, een sensorchip voor AI-toepassingen, is ontworpen door een RISC-CPU met laag vermogen te combineren met een analoge hardware-front-end die sterk is geoptimaliseerd voor efficiënte conversie van de inductieve en capacitieve sensoringangen. Samen met het Hall-effect en de temperatuursensoren aan boord, omvat het vier sensoren om inputs zoals aanraking, kracht, nabijheid en temperatuur te detecteren, alles in één klein pakket (1.62 x 1.62 mm) met slechts 240 µW, of 10 µW in slaapstand. Traditionele ontwerpen zouden vier IC's vereisen.

Afb. 3: De low-power sensor wordt geleverd in een kleine verpakking (1.62 x 1.62 mm). Het vervangt vier IC's. Bron: Synaptics

Beveiligingsproblemen en verbeteringen
Als het om beveiliging gaat, is AI zowel een potentiële kwetsbaarheid als een mogelijke oplossing. Omdat AI-chips zijn geoptimaliseerd voor specifieke gebruikssituaties en naarmate de algoritmen worden bijgewerkt, nemen de lessen van de industrie af en wordt het aanvalsoppervlak groter. Maar AI kan ook worden gebruikt om ongebruikelijke patronen in het dataverkeer te identificeren, waarschuwingen te verzenden of de getroffen circuits autonoom af te sluiten totdat er meer analyse kan worden gedaan.

Srikanth Jagannathan, productmanager bij NXP, wees op het belang van de juiste mix van functies, chipbeveiliging en laag stroomverbruik voor apparaten die op batterijen werken. De i.MX AI-chip combineert Arm's energiezuinige Cortex-M33 met de Arm TrustZone en NXP's on-chip EdgeLock, embedded ML en meerdere I/O's. Het stroomverbruik is ongeveer 2.5 watt. Toch is het in staat om prestaties te leveren van 1 TOPS (512 parallelle multi-accumulerende bewerkingen op 1 GHz).

Fig. 4: De i.MX AI-chip combineert Arm's Cortex-M33 met lager vermogen met de Arm TrustZone en NXP's on-chip EdgeLock, embedded ML en meerdere I/O's. Bron: NXP

Kathy Tufto, senior productmanager in Siemens EDA's Embedded Software Division, wees op de noodzaak om een ​​softwareketen van vertrouwen op te zetten, maar merkte op dat die begint bij de hardware. Het doel is om te voorkomen dat code die niet is geverifieerd en gevalideerd, wordt uitgevoerd. Onder de oplossingen die ze identificeerde:

• Data at Rest - Veilige opstartroot van vertrouwen en softwareketen van vertrouwenstoegangscontrole.
• Gegevens bij Motion - Beveiligingsprotocollen en Crypto-versnelling.
• Gegevens bij gebruik - Door hardware afgedwongen scheiding via Memory Management Unit (MMU).

"Apparaatfabrikanten moeten er ook rekening mee houden dat beveiligingsproblemen vaak optreden nadat apparaten zijn geïmplementeerd, wat betekent dat ze hun apparaten zo moeten ontwerpen dat ze kunnen worden bijgewerkt nadat ze zijn geïmplementeerd", aldus Tufto. “Regelgevende instanties, waaronder de FDA, dringen aan op een strategie om CVE's zowel voor als na de release te beheren om te voldoen aan de beveiligingsvereisten voor medische hulpmiddelen. Monitoring van algemene kwetsbaarheden en blootstellingen (CVE's) is een proces waarbij nieuwe CVE's worden geëvalueerd aan de hand van de modules in het apparaat, zodat de fabrikant van het apparaat de juiste actie kan bepalen wanneer nieuwe CVE's worden gevonden. Hoewel een fabrikant deze activiteiten zelf kan uitvoeren, is het eenvoudiger en gemakkelijker als je een commerciële softwareoplossing gebruikt met monitoring van beveiligingsproblemen en patches, zoals Sokol Flex OS, Sokol Omni OS en Nucleus RTOS.”

Conclusie
AI-chips zullen blijven evolueren en schalen, en AI zal op meerdere manieren worden gebruikt, zowel binnen die chips als door die chips. Dat maakt het moeilijker om die chips te ontwerpen, en het zal het moeilijker maken om ervoor te zorgen dat ze gedurende hun hele levensduur werken zoals verwacht, zowel vanuit functioneel als vanuit veiligheidsoogpunt. Het zal tijd kosten om te zien welke voordelen opwegen tegen de risico's.

Terwijl ontwikkelaars AI blijven ontwikkelen om het menselijk brein na te bootsen, maar ze zijn nog ver verwijderd van een apparaat dat echt voor zichzelf kan denken. Desalniettemin zijn er veel manieren om deze systemen te optimaliseren voor specifieke gebruikssituaties en toepassingen, en niet alle vereisen menselijke tussenkomst. Naarmate de tijd verstrijkt, betekent dit waarschijnlijk meer AI op meer plaatsen om meer dingen te doen, en het zal ontwerpuitdagingen met zich meebrengen op het gebied van kracht, prestaties en beveiliging die moeilijk te plannen, te identificeren en uiteindelijk te repareren zijn.