Afbeelding door redacteur
 

Het huidige technologische landschap ervaart een cruciale verschuiving richting edge computing, gestimuleerd door de snelle vooruitgang in generatieve AI (GenAI) en traditionele AI-workloads. Deze AI-workloads waren historisch afhankelijk van cloud computing en stuiten nu op de grenzen van cloudgebaseerde AI, waaronder zorgen over gegevensbeveiliging, soevereiniteit en netwerkconnectiviteit.

Door deze beperkingen van cloudgebaseerde AI te omzeilen, willen organisaties edge computing omarmen. Het vermogen van edge computing om realtime analyses en reacties mogelijk te maken op het punt waar gegevens worden gecreëerd en geconsumeerd, is de reden waarom organisaties dit als cruciaal beschouwen voor AI-innovatie en bedrijfsgroei.

Met de belofte van snellere verwerking met nul tot minimale latentie kan edge AI opkomende applicaties dramatisch transformeren. Hoewel de computermogelijkheden van edge-apparaten steeds beter worden, zijn er nog steeds beperkingen die de implementatie van zeer nauwkeurige AI-modellen moeilijk kunnen maken. Technologieën en benaderingen zoals modelkwantisering, imitatieleren, gedistribueerde inferentie en gedistribueerd databeheer kunnen helpen de barrières voor efficiëntere en kosteneffectievere edge-AI-implementaties weg te nemen, zodat organisaties hun ware potentieel kunnen benutten. 

AI-gevolgtrekkingen in de cloud worden vaak beïnvloed door latentieproblemen, waardoor vertragingen optreden in de gegevensoverdracht tussen apparaten en cloudomgevingen. Organisaties realiseren zich de kosten van het verplaatsen van gegevens tussen regio's, naar de cloud en heen en weer van de cloud naar de edge. Het kan toepassingen belemmeren die extreem snelle, realtime reacties vereisen, zoals financiële transacties of industriële veiligheidssystemen. Wanneer organisaties bovendien AI-aangedreven applicaties moeten draaien op afgelegen locaties waar de netwerkconnectiviteit onbetrouwbaar is, is de cloud niet altijd binnen handbereik. 

De beperkingen van een ‘cloud-only’ AI-strategie worden steeds duidelijker, vooral voor de volgende generatie AI-aangedreven applicaties die snelle, realtime reacties vereisen. Kwesties zoals netwerklatentie kunnen inzichten en redeneringen vertragen die aan de applicatie in de cloud kunnen worden geleverd, wat leidt tot vertragingen en hogere kosten in verband met gegevensoverdracht tussen de cloud en edge-omgevingen. Dit is vooral problematisch voor real-time toepassingen, vooral in afgelegen gebieden met intermitterende netwerkconnectiviteit. Omdat AI centraal staat in de besluitvorming en het redeneren, kan de fysica van het verplaatsen van gegevens extreem kostbaar zijn, met een negatieve impact op de bedrijfsresultaten. 

Gartner voorspelt dat in 55 meer dan 2025% van alle data-analyse door diepe neurale netwerken zal plaatsvinden op het moment dat deze in een edge-systeem wordt vastgelegd, tegen minder dan 10% in 2021. Edge-computing helpt de latentie, schaalbaarheid, databeveiliging, connectiviteit en meer uitdagingen, waardoor de manier waarop met gegevensverwerking wordt omgegaan een nieuwe vorm krijgt en op zijn beurt de adoptie van AI wordt versneld. Het ontwikkelen van applicaties met een offline-first-aanpak zal van cruciaal belang zijn voor het succes van agile applicaties.

Met een effectieve edge-strategie kunnen organisaties meer waarde uit hun applicaties halen en sneller zakelijke beslissingen nemen.

Naarmate AI-modellen steeds geavanceerder worden en applicatie-architecturen complexer worden, wordt de uitdaging van het inzetten van deze modellen op edge-apparaten met rekenbeperkingen groter. Technologische vooruitgang en evoluerende methodologieën maken echter de weg vrij voor de efficiënte integratie van krachtige AI-modellen binnen het edge computing-framework, variërend van: 

Modelcompressie en kwantisering

Technieken zoals het snoeien en kwantiseren van modellen zijn cruciaal voor het verkleinen van de omvang van AI-modellen zonder de nauwkeurigheid ervan aanzienlijk in gevaar te brengen. Door het snoeien van modellen wordt overtollige of niet-kritieke informatie uit het model geëlimineerd, terwijl kwantisering de nauwkeurigheid van de getallen die in de parameters van het model worden gebruikt, vermindert, waardoor de modellen lichter en sneller kunnen worden uitgevoerd op apparaten met beperkte middelen. Modelkwantisering is een techniek waarbij grote AI-modellen worden gecomprimeerd om de draagbaarheid te verbeteren en de modelgrootte te verkleinen, waardoor modellen lichter en geschikter worden voor edge-implementaties. Met behulp van verfijningstechnieken, waaronder Generalized Post-Training Quantization (GPTQ), Low-Rank Adaptation (LoRA) en Quantized LoRA (QLoRA), verlaagt modelkwantisering de numerieke precisie van modelparameters, waardoor modellen efficiënter en toegankelijker worden voor edge-apparaten zoals tablets, edge-gateways en mobiele telefoons. 

Edge-specifieke AI-frameworks

De ontwikkeling van AI-frameworks en bibliotheken die specifiek zijn ontworpen voor edge computing kan het proces van het inzetten van edge AI-workloads vereenvoudigen. Deze raamwerken zijn geoptimaliseerd voor de rekenbeperkingen van edge-hardware en ondersteunen efficiënte modeluitvoering met minimale prestatieoverhead.

Databases met gedistribueerd gegevensbeheer

Met mogelijkheden zoals vectorzoeken en realtime analyses kunt u voldoen aan de operationele vereisten van de edge en de lokale gegevensverwerking ondersteunen, waarbij verschillende gegevenstypen worden verwerkt, zoals audio, afbeeldingen en sensorgegevens. Dit is vooral belangrijk in real-time toepassingen zoals software voor autonome voertuigen, waar voortdurend verschillende soorten gegevens worden verzameld en in realtime moeten worden geanalyseerd.

Gedistribueerde gevolgtrekking

Door modellen of workloads over meerdere edge-apparaten te plaatsen met lokale datamonsters zonder daadwerkelijke data-uitwisseling, kunnen potentiële compliance- en dataprivacyproblemen worden beperkt. Voor toepassingen, zoals slimme steden en industriële IoT, waarbij veel edge- en IoT-apparaten betrokken zijn, is het distribueren van gevolgtrekkingen van cruciaal belang om rekening mee te houden. 

Hoewel AI voornamelijk in de cloud wordt verwerkt, zal het vinden van een balans met voorsprong van cruciaal belang zijn voor het versnellen van AI-initiatieven. De meeste, zo niet alle, industrieën hebben AI en GenAI als concurrentievoordeel erkend. Daarom zal het verzamelen, analyseren en snel verkrijgen van inzichten aan de edge steeds belangrijker worden. Naarmate organisaties hun AI-gebruik evolueren, zal de implementatie van modelkwantisering, multimodale mogelijkheden, dataplatforms en andere edge-strategieën helpen om realtime, betekenisvolle bedrijfsresultaten te behalen.
 
 

Rahul Pradhan is VP Product en Strategie bij Couchbase (NASDAQ: BASE), leverancier van een toonaangevende moderne database voor bedrijfsapplicaties waar 30% van de Fortune 100 van afhankelijk is. Rahul heeft meer dan 20 jaar ervaring in het leiden en managen van zowel engineering- als productteams die zich richten op databases, opslag, netwerken en beveiligingstechnologieën in de cloud. Vóór Couchbase leidde hij het Product Management en Business Strategy-team voor de divisies Emerging Technologies en Midrange Storage van Dell EMC om alle flash NVMe-, Cloud- en SDS-producten op de markt te brengen.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.kdnuggets.com/the-promise-of-edge-ai-and-approaches-for-effective-adoption?utm_source=rss&utm_medium=rss&utm_campaign=the-promise-of-edge-ai-and-approaches-for-effective-adoption