Bilde av redaktør
 

Det nåværende teknologiske landskapet opplever et sentralt skifte mot edge computing, ansporet av raske fremskritt innen generativ AI (GenAI) og tradisjonelle AI-arbeidsbelastninger. Disse AI-arbeidsbelastningene er historisk avhengige av cloud computing, og møter nå grensene for skybasert AI, inkludert bekymringer om datasikkerhet, suverenitet og nettverkstilkobling.

Arbeider rundt disse begrensningene til skybasert AI, søker organisasjoner å omfavne edge computing. Edge computings evne til å muliggjøre sanntidsanalyse og svar på det punktet der data opprettes og konsumeres, er grunnen til at organisasjoner ser det som avgjørende for AI-innovasjon og forretningsvekst.

Med løftet om raskere prosessering med null-til-minimal latens, kan edge AI dramatisk transformere nye applikasjoner. Mens databehandlingsevnene for edge-enheter blir stadig bedre, er det fortsatt begrensninger som kan gjøre implementering av svært nøyaktige AI-modeller vanskelig. Teknologier og tilnærminger som modellkvantisering, imitasjonslæring, distribuert inferencing og distribuert dataadministrasjon kan bidra til å fjerne barrierene for mer effektive og kostnadseffektive edge-AI-distribusjoner slik at organisasjoner kan utnytte sitt sanne potensial. 

AI-slutninger i skyen påvirkes ofte av latensproblemer, noe som forårsaker forsinkelser i dataflytting mellom enheter og skymiljøer. Organisasjoner innser kostnadene ved å flytte data på tvers av regioner, inn i skyen og frem og tilbake fra skyen til kanten. Det kan hindre applikasjoner som krever ekstremt raske svar i sanntid, for eksempel økonomiske transaksjoner eller industrielle sikkerhetssystemer. I tillegg, når organisasjoner må kjøre AI-drevne applikasjoner på eksterne steder der nettverkstilkoblingen er upålitelig, er ikke skyen alltid innen rekkevidde. 

Begrensningene til en «bare-sky» AI-strategi blir stadig tydeligere, spesielt for neste generasjons AI-drevne applikasjoner som krever raske svar i sanntid. Problemer som nettverksforsinkelse kan bremse innsikt og resonnement som kan leveres til applikasjonen i skyen, noe som fører til forsinkelser og økte kostnader forbundet med dataoverføring mellom sky- og kantmiljøene. Dette er spesielt problematisk for sanntidsapplikasjoner, spesielt i avsidesliggende områder med intermitterende nettverkstilkobling. Ettersom AI står sentralt i beslutningstaking og resonnement, kan fysikken til å flytte data rundt være ekstremt kostbar med en negativ innvirkning på forretningsresultater. 

Gartner anslår at mer enn 55 % av all dataanalyse av dype nevrale nettverk vil finne sted ved fangstpunktet i et kantsystem innen 2025, opp fra mindre enn 10 % i 2021. Edge computing bidrar til å lindre latens, skalerbarhet, datasikkerhet, tilkobling og flere utfordringer, omforme måten databehandling håndteres på, og i sin tur akselerere AI-adopsjon. Å utvikle applikasjoner med en offline-first-tilnærming vil være avgjørende for suksessen til smidige applikasjoner.

Med en effektiv kantstrategi kan organisasjoner få mer verdi fra applikasjonene sine og ta forretningsbeslutninger raskere.

Etter hvert som AI-modeller blir stadig mer sofistikerte og applikasjonsarkitekturer blir mer komplekse, blir utfordringen med å distribuere disse modellene på avanserte enheter med beregningsmessige begrensninger mer uttalt. Fremskritt innen teknologi og utviklende metoder baner imidlertid vei for effektiv integrering av kraftige AI-modeller innenfor edge computing-rammeverket som spenner fra: 

Modellkomprimering og kvantisering

Teknikker som modellbeskjæring og kvantisering er avgjørende for å redusere størrelsen på AI-modeller uten å gå betydelig på bekostning av nøyaktigheten. Modellbeskjæring eliminerer overflødig eller ikke-kritisk informasjon fra modellen, mens kvantisering reduserer presisjonen av tallene som brukes i modellens parametere, noe som gjør modellene lettere og raskere å kjøre på enheter med begrensede ressurser. Modellkvantisering er en teknikk som involverer komprimering av store AI-modeller for å forbedre portabiliteten og redusere modellstørrelsen, noe som gjør modellene mer lette og egnet for edge-distribusjoner. Ved å bruke finjusteringsteknikker, inkludert Generalized Post-Training Quantization (GPTQ), Low-Rank Adaptation (LoRA) og Quantized LoRA (QLoRA), senker modellkvantisering den numeriske presisjonen til modellparametere, noe som gjør modellene mer effektive og tilgjengelige for kantenheter som f.eks. nettbrett, edge-gateways og mobiltelefoner. 

Edge-spesifikke AI-rammer

Utviklingen av AI-rammeverk og -biblioteker spesielt designet for edge computing kan forenkle prosessen med å distribuere edge AI-arbeidsbelastninger. Disse rammeverkene er optimalisert for beregningsbegrensningene til kantmaskinvare og støtter effektiv modellutførelse med minimal ytelsesoverhead.

Databaser med distribuert databehandling

Med funksjoner som vektorsøk og sanntidsanalyse hjelper du med å møte kantens operasjonelle krav og støtter lokal databehandling, håndtering av ulike datatyper, som lyd, bilder og sensordata. Dette er spesielt viktig i sanntidsapplikasjoner som programvare for autonome kjøretøy, hvor forskjellige datatyper hele tiden samles inn og må analyseres i sanntid.

Distribuert inferencing

Som plasserer modeller eller arbeidsbelastninger på tvers av flere edge-enheter med lokale dataeksempler uten faktisk datautveksling, kan redusere potensielle overholdelses- og datapersonvernproblemer. For applikasjoner, som smarte byer og industriell IoT, som involverer mange edge- og IoT-enheter, er distribusjon av slutninger avgjørende å ta hensyn til. 

Mens AI hovedsakelig har blitt behandlet i skyen, vil det å finne en balanse med edge være avgjørende for å akselerere AI-initiativer. De fleste, om ikke alle, bransjer har anerkjent AI og GenAI som et konkurransefortrinn, og derfor blir det stadig viktigere å samle, analysere og raskt få innsikt på kanten. Etter hvert som organisasjoner utvikler AI-bruken sin, vil implementering av modellkvantisering, multimodale evner, dataplattformer og andre kantstrategier bidra til å oppnå meningsfulle forretningsresultater i sanntid.
 
 

Rahul Pradhan er VP of Product and Strategy hos Couchbase (NASDAQ: BASE), leverandør av en ledende moderne database for bedriftsapplikasjoner som 30 % av Fortune 100 er avhengig av. Rahul har over 20 års erfaring med å lede og administrere både ingeniør- og produktteam med fokus på databaser, lagring, nettverk og sikkerhetsteknologier i skyen. Før Couchbase ledet han Product Management and Business Strategy-teamet for Dell EMCs Emerging Technologies and Midrange Storage Division for å bringe alle flash NVMe-, Cloud- og SDS-produkter til markedet.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://www.kdnuggets.com/the-promise-of-edge-ai-and-approaches-for-effective-adoption?utm_source=rss&utm_medium=rss&utm_campaign=the-promise-of-edge-ai-and-approaches-for-effective-adoption