Bezorgdheid over energie- en stroomefficiëntie wordt net zo belangrijk als prestaties in markten waar er traditioneel een aanzienlijke kloof was, wat de weg vrijmaakt voor aanzienlijke verschuivingen in zowel chiparchitecturen als in hoe die IC's in de eerste plaats worden ontworpen.
Deze verschuiving is te zien in een groeiend aantal applicaties en verticale segmenten. Het omvat mobiele apparaten, waar batterijen naar verwachting langer meegaan tussen oplaadbeurten, en in datacenters, waar de kosten voor het voeden en koelen van serverracks blijven stijgen. Anders dan in het verleden is er echter niet één beste manier om deze doelen te bereiken, en benaderingen die in het verleden als te duur of moeilijk uitvoerbaar werden beschouwd, worden nu opnieuw onderzocht. Simpel gezegd, alle opties liggen op tafel en er worden nieuwe ontwikkeld.
"In de mobiele ruimte is er geen einde in zicht aan de prestaties die nodig zijn voor de volgende generatie", zegt Steven Woo, mede- en vooraanstaande uitvinder bij Rambus. "De laag vermogen space gaat over het handhaven van de signaalintegriteit, het bereiken van de benodigde prestatieniveaus en het verbeteren van de energie-efficiëntie. We zien veel concepten, die vroeger in één type geheugen of één ruimte werden gebruikt, nu in veel verschillende soorten markten worden gebruikt. Het gebruik van meerdere kanalen is een goed voorbeeld. Terwijl ingenieurs met een laag vermogen het vooral proberen om energie te besparen en binnen een bepaald vermogen te blijven, vragen ze zich af welke concepten kunnen worden geleend voor andere soorten herinneringen.
Foutcorrectie wordt bijvoorbeeld steeds geavanceerder en er is meer behoefte aan dat soort techniek. "Alles op en neer via links, en de geheugenapparaten zelf als procesgeometrieën worden kleiner", zei Woo. “Dat betekent dat interferentie-effecten een uitdaging vormen voor de betrouwbaarheid van de apparaten. Er is dus meer aan de hand in geheugenapparaten en links om te proberen te compenseren voor de meer uitdagende betrouwbaarheidsvereisten.”
In het geval van een laptop die een CPU en een GPU bevat, stijgt de temperatuur naarmate er stroom wordt verbruikt, en zodra deze een bepaalde drempel overschrijdt, worden de prestaties teruggeschroefd. "Kracht, warmte en prestaties zijn zeer nauw met elkaar verbonden. Als ontwerpen niet voor hun energie-efficiëntie zorgen, zullen hun GPU's of de CPU's langzamer moeten werken", zegt Preeti Gupta, directeur productbeheer bij Ansys.
Dit heeft een directe impact op architectuurbeslissingen. "Architectonisch zijn er verschillende benaderingen die ontwerpteams in het verleden hebben gevolgd, of het nu gaat om stroomvoorziening in een vroeg stadium beslissen hoeveel verschillende voedingen nodig zijn, wanneer de voedingen kunnen worden uitgeschakeld, dynamische frequentieschaling en andere. Deze technieken zijn bekend en ontwerpteams passen ze steeds vaker toe”, zegt ze.
De impact van kracht zit overal in een ontwerp. "We zien macht als een getal", zegt Rob Aitken, fellow en director of technology bij Arm Onderzoeksteam. “We bekijken het als hoeveel watt een core, chip of pakket verbruikt. De dagen van het creëren van technologie om zo snel mogelijk te zijn, ongeacht het stroomverbruik, zijn allang voorbij. Dit betekent echter dat macht vaak wordt gedegradeerd tot een secundaire status als een beperking op het ontwerp, in plaats van als iets dat moet worden geoptimaliseerd. Maar om de hoogste prestatieniveaus te bereiken, moeten we vermogensafgifte beschouwen als de keerzijde van prestaties. Fysiek vereist berekening laad- en ontlaadcapaciteiten, en om dat sneller te doen, is een bron voor die lading nodig en de mogelijkheid om deze te leveren waar en wanneer het nodig is. Dat vereist op zijn beurt inzicht in het dynamische gedrag van de stroomvoorzieningsnetwerk, de inductieve eigenschappen, de capacitieve opslag en hun afstand tot logica, de frequentie-eigenschappen van de golven die in het netwerk reizen, en meer. Het stroomnetwerk van een circuit is als de toeleveringsketen van een fabrikant. Als de levering van de lading wordt vertraagd, vertraagt alles. Deze fysieke beperkingen zijn de reden waarom innovatieve technieken zoals vermogensafgifte aan de achterkant aan kracht winnen, en we zijn op zoek naar manieren om tegelijkertijd de vermogensafgifte en logische prestaties te maximaliseren.”
Energie-efficiëntie in het datacenter
In het datacenter is stroom al lang een punt van zorg vanwege de kosten van het voeden en koelen van racks van servers. De focus verschuift ook steeds meer naar energie-efficiëntie. Grote systeembedrijven zoals Google, Amazon en Facebook ontwerpen al geruime tijd hun eigen chips om de efficiëntie te verbeteren, software nauw te integreren en aangepaste accelerators toe te voegen om ervoor te zorgen dat bijna elke rekencyclus is geoptimaliseerd voor een specifieke workload.
"Uitgesplitst, het is vermogen versus prestatie, of megahertz per milliwatt", zegt Piyush Sancheti, senior directeur systeemarchitectuur bij Synopsys. 'Dat is de beperking waar ze op mikken. Het is niet langer zo dat je alleen voor prestaties gaat en je aan het eind van het proces zorgen maakt over het vermogen. Het is een ingebouwde beperking. Het begint bij de architectuur en gaat helemaal door tot ontwerp, implementatie en afmelding.”
Afb. 1: Ontwerpstroom met laag vermogen. Bron: Synopsys
Sancheti wijst op verschillende redenen waarom dit aan het veranderen is. “Datacenters zijn een van de grootste energieverbruikers in het elektronica-ecosysteem, dus er zijn beperkingen op macroniveau. Ze proberen hun totale energieverbruik onder een bepaalde grens te houden. Hoewel er groene initiatieven in het spel zijn, is het op chipniveau in wezen een beperking voor schaalvergroting. Voor hen gaat het niet alleen om de prestaties, maar ook om hoe groot die chips kunnen worden. Daar speelt energie-efficiëntie een rol bij het vermogen om de chip te koelen, dus er zijn overwegingen voor verwarming, koeling en verpakking. De stroomintegriteit wordt ook bepaald door het stroomverbruik, maar al deze problemen spelen ook een rol in de prestaties.”
Thermisch is een andere overweging. Hoe sneller de chip draait, hoe meer energie hij verbruikt en hoe heter hij wordt. Bij geavanceerde knooppunten, omdat er meer transistors in een bepaald gebied zijn verpakt dan bij eerdere knooppunten, vormt dat een uitdaging voor koeling.
In het verleden werd dit opgevangen door marge toe te voegen aan een ontwerp. Maar bewaker-banding verhoogt het stroomverbruik en vermindert de prestaties omdat signalen verder moeten reizen, en het kost meer energie om die signalen over langere afstanden en door steeds dunnere draden te sturen.
"Die bewakingsbanden zijn niet langer een haalbare optie omdat we werken op spanningen die de drempelspanningen benaderen, dus we kunnen de band niet bewaken voor stroom terwijl we optimaliseren voor prestaties," merkte Sancheti op. "Om die redenen beginnen we te zien dat zowat elke HPC-datacentergebruiker kracht en prestaties als cohorten beschouwt, niet geoptimaliseerd voor de een versus de ander."
Terwijl de vraag naar prestaties blijft stijgen, is de behoefte aan energie en energie-efficiëntie een even belangrijke overweging.
"Datacenters verwerken gegevens als nooit tevoren, auto's zijn uitgerust met meerdere niveaus van elektronica en het internet der dingen maakt huizen en apparaten nog slimmer", zegt Mohammed Fahad, hoofd technisch marketingingenieur bij Siemens EDA. “Dit alles heeft ervoor gezorgd dat macht de afgelopen jaren een prominente, eersteklas maatstaf is geworden. Een decennium geleden bestonden sommige energiemethodologieën niet eens in CAD-stromen bij verschillende klanten. In de afgelopen 10 jaar zijn we getuige geweest van een groeiende behoefte aan robuuste energiemethodologieën die naadloos zijn geïntegreerd en moeiteloos interoperabel zijn met de rest van de gereedschapsketen, niet alleen om het vermogen te schatten, maar ook om het te optimaliseren.”
Geheugen verandert
Al deze veranderingen hebben ook invloed op de geheugenarchitecturen. Scott Durrant, productmarketingmanager bij Synopsys, merkte op dat voor: datacenters, bereiken de verbruikte energie en de warmte die systemen genereren de grenzen van wat kan worden afgevoerd met luchtgekoelde systemen. “Dat heeft tot gevolg dat datacentermanagers op zoek zijn naar oplossingen waarmee ze de hoeveelheid energie die ze verbruiken, en dus de hoeveelheid warmte die ze uit het gebouw moeten verwijderen, kunnen verminderen.”
Minder gegevensverplaatsing kan de efficiëntie helpen verbeteren, of dat nu binnen een chip, een pakket, tussen servers in een rack of tussen servers en opslag is.
"Het minimaliseren van de hoeveelheid gegevensverplaatsing die moet plaatsvinden, wordt erg belangrijk voor hen", zei Durrant. “Een van de manieren waarop ze dat aanpakken, is om gelokaliseerde of gedistribueerde rekenmogelijkheden te hebben. Gegevensverwerkingseenheden zijn een voorbeeld van een type chip dat wordt gebruikt om rekenkracht in het netwerk of in de opslag te implementeren, zodat u niet alles naar de rekenserver hoeft te verplaatsen om de gegevens daar te verwerken, en vervolgens het terug. Dit wordt zowel op macroschaal als op microschaal geïmplementeerd en we zien deze mogelijkheid geïmplementeerd als toepassingsspecifieke of geoptimaliseerde apparaten die werken op gegevens waar deze zich bevinden, of terwijl deze worden doorgegeven, in plaats van deze specifiek te moeten verplaatsen voor dit soort operaties.”
Het gebruik van geavanceerde verpakking, gedreven door de noodzaak om de benodigde hoeveelheid gegevensverplaatsing te minimaliseren, voegt een andere optie toe. “Als je een heleboel verwerkingscapaciteit in één enkel geavanceerd pakket kunt stoppen, dan verplaats je data millimeters in plaats van meters. Dat maakt een groot verschil in de hoeveelheid energie die nodig is voor die dataverplaatsing”, legt hij uit.
Met elk van deze technieken is het uiteindelijke doel om de gegevensverwerkingsprestaties te blijven verbeteren en tegelijkertijd het energieverbruik op het huidige niveau te houden.
Vermogen versus energie
Nogmaals, om efficiënte systemen te ontwerpen, besteden ontwerpers nu aandacht aan zowel stroom als energie. Vermogen is de totale energie die wordt verbruikt om een specifieke taak uit te voeren, maar de twee definities worden vaak verward.
"Als iemand het over macht heeft, vraag ik altijd of ze macht of energie bedoelen", zegt George Wall, Product Marketing Director, IP Group bij Cadans. “Energie is kracht x tijd. Energie is meestal wat de klant wordt verteld door de batterij of de vermogensmeter. Energie is een combinatie van zowel het vermogen als de prestaties van het systeem. Dus zowel vermogen als prestaties hebben invloed op de energie. Een oplossing met een laag vermogen en een laag prestatievermogen is mogelijk minder energie-efficiënt dan een oplossing met een hoger prestatievermogen en toch een hoger vermogen. Stel dat u een taak kunt uitvoeren en dat het vermogen 1 milliwatt is. Als de volgende oplossing 20% meer stroom nodig heeft, dus 1.2 milliwatt, maar de taak twee keer zo snel kan doen, zal je energie in dat geval beter zijn met de oplossing met hogere prestaties en meer vermogen.
Dit wordt een complexe evenwichtsoefening in verschillende toepassingen. "De energievereisten variëren met de duur van de werking van een bepaalde applicatie, zoals de energie die nodig is om een 'need-for-speed'-game gedurende één minuut op een smartphone uit te voeren, kan hetzelfde zijn als een spraakoproep van een uur," zei Fahad van Siemens EDA. “Dit betekent dat scenario-specifieke stroom- en energieschattingen nodig zijn. Dit helpt de gebruiker met inzicht om de architectuur/het algoritme te ontwerpen of opnieuw te ontwerpen, zodat dezelfde operatie kan worden beheerd binnen de toegestane stroom-/energiebudgetten.”
Het wordt ingewikkelder in meer geavanceerde ontwerpen. Een belangrijk aspect van de algehele efficiëntie is bijvoorbeeld glitch-power, wat nieuwe zorgen veroorzaakt bij chipontwerpers. "Soms kan het percentage storingsvermogen versus het totale vermogen oplopen tot 50%", zei Fahad. “Dit is niets anders dan het pure misbruik van de beschikbare energie om het systeem te laten werken. Hier, vermogen schatting tools kunnen helpen, omdat ze verschillende statistieken genereren met betrekking tot stroom- en energieverbruik van het ontwerp. Als u de stroomvoorziening tot het laatste moment ongeadresseerd laat, kan dit leiden tot stroomafwaartse problemen zoals thermische zelfverhitting, overbelasting van de batterij, verpakkingsproblemen, enz. "
Hoewel de fundamentele problemen hetzelfde blijven, groeit het aantal opties. "Als je dezelfde taak in minder tijd kunt doen dan je vorige oplossing, zelfs met een iets hoger energieniveau, zal het algehele dynamische energieverbruik lager zijn", zegt Prakash Madhvapathy, productmarketingdirecteur voor Cadence's IP Group. "Beter presterende DSP's voltooien een taak in een fractie van de cycli in vergelijking met de slechter presterende DSP's. Als ze dat doen, gaat het totale dynamische energieverbruik eigenlijk een stuk omlaag.”
Het bepalen van de beste aanpak is sterk afhankelijk van de werkdruk. In de audio- en vision-wereld liggen nu bijvoorbeeld verschillende workloads op tafel, waaronder traditionele DSP en signaalverwerkingsalgoritmen, samen met AI en ML die centraal staan.
"De meeste algoritmen wijken nu af van het pure, traditionele DSP-type naar meer AI en ML", legt Madhvapathy uit. “De datatypes die daar worden gebruikt zijn verschillend. Ze zijn niet hetzelfde als wat je zou vinden in eerder gebruikte DSP-algoritmen. Dit betekent dat we ons moeten aanpassen aan dat soort werklast en dat soort operators. Als we dat doen, moeten we oppassen dat we het energieverbruik niet zo verhogen dat we te veel opgeven voor de extra prestaties.”
Vooral het statische energieverbruik is een punt van zorg. "Er is meer ruimte in de technologieën van vandaag, en hoe lager het technologieknooppunt, hoe hoger het statische energieverbruik", zei hij. “Statische energie is niets anders dan verspilde energie. Wanneer u niets doet en het apparaat is ingeschakeld maar u gebruikt het niet, verbruikt het nog steeds statische energie. Je moet zowel statische energie als dynamische energie in evenwicht houden. Voor toepassingen zoals keyword-spotting in apparaten zoals oordopjes, waar de batterij extreem klein is, moet dit op een energiebesparende manier worden geïmplementeerd. We zorgen ervoor dat we met de kleine hoeveelheid nieuwe instructies die we toevoegen, de hogere prestaties voor die specifieke taak kunnen bereiken.”
Dit wordt erg ingewikkeld naarmate er nieuwe architecturale kenmerken worden toegevoegd, zoals: machine learning. "Je hebt netwerken met gewichten in het hoofdgeheugen, en die moet je in je DSP halen en daar vervolgens mee werken", zei hij. “Zelfs als je een DSP zo ontwerpt dat hij erg weinig energie verbruikt bij het uitvoeren van het algoritme, als je te veel energie verbruikt om dat uit het hoofdgeheugen over je bussen te trekken, geef je alle energiebesparingen op. Je moet uitzoeken waar in het systeem het energieverbruik dominant is, en daar aan werken. Het vereist architecturale kenmerken naast alleen het technologische deel ervan om ervoor te zorgen dat we over het algemeen een zeer laag energieprofiel behouden, "merkte Madhvapathy op.
Afwegingen kunnen overwegingen omvatten als vereiste geheugenbandbreedte versus de vereiste prestaties versus het vereiste vermogen, merkte Wall op. "Net zoals er in het verleden veel architecturale afwegingen zijn gemaakt in termen van prestaties versus oppervlakte, moeten ze vergelijkbare afwegingen maken - prestaties versus kracht, en kracht voor het systeem, niet slechts een klein onderdeel van het systeem. Het is de kracht van het hele systeem om toegang te krijgen tot het hoofdgeheugen in plaats van toegang te krijgen tot meer gelokaliseerde bronnen. Dit zijn allemaal factoren die de algehele kracht van het systeem bepalen.”
Naar links verschuiven
Veel hiervan moet vroeg in het ontwerp worden aangepakt om effectief te zijn. "In plaats van alleen naar kleine vectoren te kijken die het ene scenario of een ander klein scenario vertegenwoordigen, is de paradigmaverschuiving nu dat bedrijven kijken naar echte use-cases en proberen erachter te komen dat ik voor deze lange echte use-cases echt energie aan het besparen ben," zei Ansys' Gupta. “En als we het hebben over 'real use cases', hebben we het over videoframes met data, een opstartprocedure of post-siliciummetingen. Waarom kunnen we dat niet vooraf simuleren om vervolgens de vroege ontwerpbeslissingen mogelijk te maken?”
De simulaties worden mogelijk gemaakt door hardware-emulatie, die voor deze lange runs wordt gebruikt.
"Softwaresimulators raken uitgeput bij het uitvoeren van zeer lange scenario's, en daarom kunnen de hardware-emulatorboxen deze realistische toepassingsscenario's genereren", legt ze uit. “Dat is echter maar één onderdeel. Het andere deel is hoe deze lange scenario's, die honderden gigabytes of terabytes aan gegevens zijn, op een redelijke manier kunnen consumeren in termen van stroom- en thermische analyse, zodat deze architecturale beslissingen vroeg kunnen worden genomen. Het doel van de halfgeleiderontwerpindustrie zou moeten zijn hoe dergelijke simulaties vooraf kunnen worden uitgevoerd. We praten allemaal over Shift Left en vroege zichtbaarheid van wat het ontwerp zal doen. Dat moet de ontwerpbeslissingen mogelijk maken.”
Deze problemen brengen ook veel nieuwe vragen en zorgen naar boven voor technische teams.
“Ik heb X aantal machtsdomeinen in mijn ontwerp. Ik betaal een hoge prijs voor het hebben van deze afzonderlijke machtsdomeinen tijdens fysiek ontwerp en fysieke implementatie. Heb ik er echt zoveel nodig? Ga ik overboord? Of loop ik het risico op thermische beperkingsproblemen? Wat zijn het juiste aantal machtsdomeinen?' Dit alles wordt mogelijk gemaakt door eerdere feedback,” merkte Gupta op.
Als de in aanmerking genomen gegevens betrekking hebben op metingen na het silicium, hoe informeert dat dan over het huidige ontwerp waaraan wordt gewerkt?
Dit is waar op softwaresimulatie gebaseerde benaderingen in het spel komen, zei ze. “Stel dat je al heel vroeg een RTL-ontwerpbeschrijving hebt. Je hebt een RTL-ontwerpbeschrijving, je duwt het door een hardware-emulator, je krijgt binnen enkele uren een echte use-case. Je neemt die echte use-case, en dan worden die miljarden cycli geanalyseerd op thermische effecten. Dan is een snelle thermische oplosser nodig en een snelle manier om die activiteit binnen te halen om thermische kaarten te maken om te zien: 'Misschien moet ik dit deel van de logica naar dat deel verplaatsen om de warmte beter te verdelen.' Of: 'Ik moet sensoren op deze verschillende locaties plaatsen, zodat ik weet waar ik de prestaties kan terugdringen.'”
Optimalisaties zijn de sleutel
Naarmate ontwerpen steeds heterogener worden, moet naar elk onderdeel worden gekeken.
"Aangezien DRAM's allemaal gebaseerd zijn op dezelfde basisceltechnologie, hoe optimaliseer je dan al het andere eromheen", vroeg Rambus' Woo. “Hoe optimaliseer je voor een energiezuinige omgeving? Hoe optimaliseer je voor een high-performance omgeving? Als je het me twintig jaar geleden had gevraagd, had ik gezegd: 'We maken ons niet zo druk om macht. Macht is niet wat ik een eersteklas ontwerpbeperking zou noemen, dus je kunt dingen heel anders optimaliseren.' Maar nu zien we dat kracht eigenlijk een eersteklas ontwerpbeperking is geworden. Onmiddellijk is de eerste gedachte dan: 'Als vermogen een grote beperking voor mij gaat worden, dan moet ik misschien kijken naar wat de experts op het gebied van laag vermogen hebben gedaan, want dat is wat ze vanaf het begin hebben geoptimaliseerd. Gaan."
Het ontwikkelen van geavanceerde apparaten is erg ingewikkeld en erg duur, merkte Durrant op, dus het vooraf modelleren wordt steeds belangrijker.
Sancheti was het daarmee eens. “Als je historisch naar de HPC-datacentermarkt kijkt, werd de tijdshorizon op hun time-to-market gemeten in jaren. Omdat het tegenwoordig zo'n competitieve omgeving is, beginnen ze nu na te denken over het ontwerpen van chips zoals de klassieke SoC-bedrijven in het verleden deden. Dit alles voegt een extra laag complexiteit toe. De ontwerpen en chips van tegenwoordig zijn hongeriger, sneller en hebben te maken met krimpende schema's. Daarom moeten alle aspecten van de stroom - van software tot emulatie tot daadwerkelijke architectuur en front-endontwerp - een idee hebben van kracht en prestaties.
Dit betekent dat wanneer engineeringteams kijken naar energieanalyse en het optimaliseren van het ontwerp, ze nadenken over waar de workloads vandaan komen en welke scenario's moeten worden uitgevoerd voor energieanalyse en -optimalisatie. Maar er is niet één beste antwoord om dit te bereiken.
Software speelt daarbij volgens Sancheti een belangrijke rol, omdat vanuit systeemperspectief de werkelijke werklast of scenario's worden bepaald door de softwareapplicaties en hoe de energiebeheersoftware samenwerkt met de rest van de hardware.
Tegelijkertijd moet die optimalisatie vroeg genoeg in de ontwerpstroom plaatsvinden om het verschil te maken. "Macht wordt traditioneel geschat op poortniveau, maar tegen die tijd wordt het bijna onmogelijk om het te beheersen", zei Fahad. Dit heeft ontwerpers ertoe gebracht op zoek te gaan naar benaderingen die helpen om het vermogen al vroeg op RTL-niveau in te schatten en te optimaliseren, wat allemaal vraagt om een Shift naar links methodologie. Hoewel het schatten van het vermogen op RTL-niveau het mogelijk maakt om logisch herontwerp eenvoudig en snel te maken, lijdt het toch aan een zekere mate van onnauwkeurigheid vanwege een gebrek aan details op het implementatieniveau, zoals parasitaire gegevens tijdens de beginfasen van het ontwerpen. In feite zijn ontwerpers soms meer geïnteresseerd in het trenden van de vermogensnummers in de vroege stadia van het ontwerp dan om ze zeer nauwkeurig te meten. Naarmate het ontwerp in de loop van de cyclus rijpt en er meer informatie binnenkomt, maakt iteratieve vermogensanalyse het mogelijk om de stroom efficiënter af te sluiten zonder de projectplanning te beïnvloeden. Naast nauwkeurig te zijn, moeten vermogensschattingen ook realistisch zijn, en dit is waar we meer grip krijgen op softwaregestuurde vermogensanalyse met behulp van de echte scenario's die op emulators worden uitgevoerd.
Anderen zijn het daarmee eens. “Wedijver is hiervoor een brug geworden”, zei Sancheti. “Met snelle emulatiesystemen kun je echte scenario's of workloads binnenhalen die de software gaat uitvoeren, en dan wil je zowel naar de prestaties als naar het vermogen kijken in de context van die workloads. Hetzelfde geldt voor de definitie van architectuur. Als u naar de doorvoer van het systeem kijkt, kan dit niet alleen de doorvoer zijn. Nogmaals, het moet in de context zijn van welke doorvoer kan worden volgehouden voor een bepaalde vermogensenvelop of energie-efficiëntiedoelen voor die specifieke architectuur.
De post Macht nu eerste-orde-zorg in meer markten verscheen eerst op Semiconductor Engineering.
