Gesponsord artikel

Het toenemende gebruik van AI in de industrie versnelt complexere benaderingen, waaronder machine learning (ML), deep learning en zelfs grote taalmodellen. Deze verbeteringen bieden een voorproefje van de enorme hoeveelheden data die naar verwachting aan de edge zullen worden gebruikt. Hoewel de huidige focus ligt op het versnellen van de werking van neurale netwerken, streeft Micron naar het maken van geheugen en opslag die zijn verfijnd voor AI aan de edge.

Wat is synthetische data?

De IDC voorspelt dat er in 2025 175 zullen zijn zettabytes (1 zettabyte = 1 miljard terabytes) aan nieuwe gegevens die wereldwijd worden gegenereerd. Deze hoeveelheden zijn moeilijk te doorgronden, maar de vooruitgang van AI zal de grenzen blijven verleggen voor systemen met een tekort aan data.

In feite zijn de steeds groter wordende AI-modellen onderdrukt door de hoeveelheid echte fysieke gegevens die worden verkregen uit directe metingen of fysieke beelden. Het is gemakkelijk om een ​​sinaasappel te identificeren als u beschikt over een steekproef van 10,000 direct beschikbare afbeeldingen van sinaasappelen. Maar als je specifieke scènes nodig hebt om te vergelijken – bijvoorbeeld een willekeurige menigte versus een georganiseerde mars of afwijkingen in een gebakken koekje versus een perfect koekje – kunnen nauwkeurige resultaten moeilijk te bevestigen zijn, tenzij je over alle varianten beschikt om je basislijn te creëren. model.

De industrie maakt er steeds meer gebruik van synthetische gegevens. Synthetische data worden kunstmatig gegenereerd op basis van simulatiemodellen die bijvoorbeeld statistische realiteiten van hetzelfde beeld bieden. Deze aanpak geldt vooral voor industriële visiesystemen waar basislijnen voor fysieke beelden uniek zijn en waar niet genoeg “widgets” op internet te vinden zijn om een ​​geldige modelrepresentatie te bieden.

De uitdaging is natuurlijk waar deze nieuwe vormen van data zich zullen bevinden. Zeker, alle nieuwe datasets die worden gecreëerd moeten in de cloud worden opgeslagen of, voor meer unieke representaties, dichter bij de plek waar de data moeten worden geanalyseerd: aan de rand.

Modelcomplexiteit en de geheugenmuur

Het vinden van de optimale balans tussen algoritmische efficiëntie en de prestaties van AI-modellen is een complexe taak, omdat deze afhankelijk is van factoren zoals gegevenskenmerken en -volume, beschikbaarheid van bronnen, energieverbruik, werklastvereisten en meer.

AI-modellen zijn complexe algoritmen die kunnen worden gekarakteriseerd door hun aantal parameters: hoe groter het aantal parameters, hoe nauwkeuriger de resultaten. De industrie begon met een gemeenschappelijk basismodel, zoals ResNet50, omdat dit eenvoudig te implementeren was en de basislijn voor netwerkprestaties werd. Maar dat model was gericht op beperkte datasets en beperkte toepassingen. Terwijl deze transformatoren zijn geëvolueerd, zien we dat de evolutie van transformatoren de parameters meer dan groter heeft gemaakt Geheugenbandbreedte. Deze uitkomst is voor de hand liggend: ongeacht de hoeveelheid gegevens die het model kan verwerken, worden we beperkt door de bandbreedte van het geheugen en de opslag die beschikbaar is voor het model en de parameters.

Voor een snelle vergelijking kunnen we kijken naar de prestaties van een ingebed AI-systeem zal bewerkingen per seconde hebben (TOPS). Hier zien we dat AI-edge-apparaten met minder dan 100 TOPS mogelijk ongeveer 225 GB/s nodig hebben en apparaten met meer dan 100 TOPS mogelijk 451 GB/s aan geheugenbandbreedte (tabel 1).

Een manier om dat model te optimaliseren is dus om beter presterend geheugen te overwegen dat ook het laagste stroomverbruik biedt.

Memory houdt gelijke tred met AI-versnelde oplossingen door mee te evolueren met nieuwe standaarden. LPDDR4/4X (low-power DDR4 DRAM) en LPDDR5/5X (low-power DDR5 DRAM) oplossingen hebben bijvoorbeeld aanzienlijke prestatieverbeteringen ten opzichte van eerdere technologieën.

LPDDR4 kan tot 4.2 GT/s per pin draaien (giga-overdracht per seconde per pin) en ondersteunt een busbreedte tot x64. LPDDR5X biedt een prestatieverbetering van 50% ten opzichte van de LPDDR4, waardoor de prestaties worden verdubbeld tot maar liefst 8.5GT/s per pin. Bovendien biedt LPDDR5 een 20% betere energie-efficiëntie dan de LPDDR4X (bron: Micron). Dit zijn belangrijke ontwikkelingen die de noodzaak kunnen ondersteunen om tegemoet te komen aan de bredere gebruiksscenario's van AI-edges.

Wat zijn de opslagoverwegingen?

Het is niet voldoende om te denken dat computerbronnen worden beperkt door de ruwe TOP's van de verwerkingseenheid of door de bandbreedte van de geheugenarchitectuur. Naarmate ML-modellen geavanceerder worden, neemt het aantal parameters voor het model ook exponentieel toe.

Machine learning-modellen en datasets worden uitgebreid om een ​​betere modelefficiëntie te bereiken, dus er zal ook beter presterende ingebedde opslag nodig zijn. Typische beheerde NAND-oplossingen zoals e.MMC 5.1 met 3.2 Gb/s zijn niet alleen ideaal voor het weergeven van code, maar ook voor gegevensopslag op afstand. Bovendien kunnen oplossingen zoals UFS 3.1 zeven keer sneller werken – tot 23.2 Gb/s – om complexere modellen mogelijk te maken.

Nieuwe architecturen duwen ook functies naar de rand die doorgaans naar de cloud of IT-infrastructuur werden gedegradeerd. Edge-oplossingen implementeren bijvoorbeeld een veilige laag die een luchtgat biedt tussen beperkte bedrijfsgegevens en het IT-/clouddomein. AI at the edge ondersteunt ook intelligente automatisering, zoals het categoriseren, taggen en ophalen van opgeslagen gegevens.

Ontwikkelingen op het gebied van geheugenopslag, zoals NVMe SSD's die 3D TLC NAND ondersteunen, bieden hoge prestaties voor verschillende edge-workloads. De 7450 NVMe SSD van Micron maakt bijvoorbeeld gebruik van een 176-laags NAND-technologie die ideaal is voor de meeste edge- en datacenter-workloads. Met een Quality of Service (QoS)-latentie van 2 ms is het ideaal voor de prestatievereisten van SQL-serverplatforms. Het biedt ook FIPS 140-3 niveau 2 en Naleving van de TAA voor aanbestedingsvereisten van de Amerikaanse federale overheid.

Het groeiende ecosysteem van AI-edge-processors

Allied Market Research schat dat de markt voor AI-edgeprocessors in 9.6 zal groeien tot 2030 miljard dollar. ⁴ Interessant is echter dat deze nieuwe lichting startups met AI-processors ASIC's en eigen ASSP's ontwikkelen die zijn afgestemd op edge-applicaties met beperktere ruimte en kracht. Deze nieuwe chipsets hebben ook een balans nodig tussen prestaties en kracht als het gaat om geheugen- en opslagoplossingen.

Daarnaast zien we dat AI-chipsetleveranciers EDSFF-acceleratorkaarten (standaard vormfactor) voor ondernemingen en datacenters hebben ontwikkeld die kunnen worden geïnstalleerd in een 1U-oplossing en zich kunnen bevinden op opslagservers die aanpasbaar zijn om elke werklast te versnellen – van AI/ML-inferentie tot videoverwerking — met dezelfde module.

Hoe zoek je de juiste geheugen- en opslagpartner?

AI is niet langer een hype, maar een realiteit die in alle branches wordt geïmplementeerd. In één studie 89% van de industrie heeft al een strategie of zal binnen de komende twee jaar een strategie rond AI aan de rand hebben.⁵

Maar het implementeren van AI is geen triviale taak, en de juiste technologieën en componenten zullen het verschil maken. Micron's portfolio met de nieuwste technologieën, zowel op het gebied van geheugen als opslag, is met ons toonaangevend voor industriële klanten IQ-waardevoorstel. Als u een AI Edge-systeem ontwerpt, laat Micron u helpen uw product sneller dan ooit op de markt te brengen. Neem contact op met uw plaatselijke Micron-vertegenwoordiger of distributeur van Micron-producten (www.micron.com).

Reageer hieronder of via X op dit artikel: @IoTNow_

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.iot-now.com/2024/02/07/141978-ai-at-the-edge-future-of-memory-and-storage-in-accelerating-intelligence/