Kép a szerkesztőtől
A jelenlegi technológiai környezet sarkalatos elmozduláson megy át az élvonalbeli számítástechnika irányába, amelyet a generatív mesterségesintelligencia (GenAI) és a hagyományos AI-munkaterhelések gyors fejlődése ösztönöz. A korábban a felhőalapú számítástechnikára támaszkodó AI-munkaterhelések most szembesülnek a felhőalapú mesterségesintelligencia korlátaival, beleértve az adatbiztonsággal, szuverenitással és hálózati csatlakozással kapcsolatos aggályokat.
A felhőalapú mesterséges intelligencia ezen korlátait megkerülve a szervezetek az élvonalbeli számítástechnikát kívánják magukévá tenni. Az Edge computing azon képessége, hogy lehetővé teszi a valós idejű elemzést és válaszadást az adatok létrehozásának és felhasználásának pontján, ezért a szervezetek kritikus fontosságúnak tartják az AI innovációja és az üzleti növekedés szempontjából.
A nulla-minimális késleltetésű gyorsabb feldolgozás ígéretével az éles mesterséges intelligencia drámai módon átalakíthatja a feltörekvő alkalmazásokat. Noha a peremeszközök számítási képességei egyre javulnak, továbbra is vannak korlátok, amelyek megnehezíthetik a rendkívül pontos AI-modellek megvalósítását. Az olyan technológiák és megközelítések, mint a modellkvantálás, az imitációs tanulás, az elosztott következtetések és az elosztott adatkezelés, segíthetnek eltávolítani az akadályokat a hatékonyabb és költséghatékonyabb mesterséges intelligencia bevezetése előtt, így a szervezetek kiaknázhatják valódi potenciáljukat.
Az AI-következtetést a felhőben gyakran befolyásolják a késleltetési problémák, ami késéseket okoz az adatok mozgásában az eszközök és a felhőkörnyezetek között. A szervezetek felismerik az adatok régiók közötti, a felhőbe, illetve a felhőből a szélére való oda-vissza mozgatásának költségeit. Megakadályozhatja az olyan alkalmazásokat, amelyek rendkívül gyors, valós idejű választ igényelnek, mint például a pénzügyi tranzakciók vagy az ipari biztonsági rendszerek. Ezen túlmenően, amikor a szervezeteknek mesterséges intelligenciával hajtott alkalmazásokat kell futtatniuk olyan távoli helyeken, ahol a hálózati kapcsolat nem megbízható, a felhő nem mindig elérhető.
A „csak felhő” AI-stratégia korlátai egyre nyilvánvalóbbá válnak, különösen a következő generációs, mesterséges intelligencia által hajtott alkalmazások esetében, amelyek gyors, valós idejű válaszokat igényelnek. Az olyan problémák, mint például a hálózati késleltetés, lelassíthatják a betekintést és az okfejtést, amely az alkalmazáshoz eljuttatható a felhőben, ami késésekhez és megnövekedett költségekhez vezethet a felhő és a szélső környezetek közötti adatátvitelhez. Ez különösen problémás a valós idejű alkalmazásoknál, különösen a távoli területeken, ahol időszakos hálózati kapcsolat van. Mivel a mesterséges intelligencia a döntéshozatal és az érvelés középpontjában áll, az adatok mozgatásának fizikája rendkívül költséges lehet, és negatív hatással lehet az üzleti eredményekre.
Gartner előrejelzése szerint 55-re a mély neurális hálózatok által végzett összes adatelemzés több mint 2025%-a a rögzítési ponton fog megtörténni egy élrendszerben, szemben a 10-es kevesebb mint 2021%-kal. Az élszámítógép segít csökkenteni a késleltetést, a méretezhetőséget, az adatbiztonságot, a kapcsolódást több kihívással, az adatfeldolgozás kezelési módjának átalakításával, és ezzel együtt a mesterséges intelligencia elterjedésének felgyorsításával. Az agilis alkalmazások sikere szempontjából kritikus fontosságú lesz az offline-első megközelítést alkalmazó alkalmazások fejlesztése.
A hatékony élstratégia révén a szervezetek több értéket nyerhetnek ki alkalmazásaikból, és gyorsabban hozhatnak üzleti döntéseket.
Ahogy a mesterséges intelligencia modellek egyre kifinomultabbá válnak, és az alkalmazásarchitektúrák egyre bonyolultabbá válnak, egyre nagyobb kihívást jelent ezeknek a modelleknek a számítási korlátokkal rendelkező szélső eszközökön történő telepítése. A technológia fejlődése és a fejlődő módszertanok azonban megnyitják az utat a hatékony AI-modellek hatékony integrálása előtt a peremszámítási keretrendszerben, a következőktől kezdve:
Modell tömörítés és kvantálás
Az olyan technikák, mint a modellmetszés és a kvantálás, kulcsfontosságúak az AI-modellek méretének csökkentésében anélkül, hogy jelentősen veszélyeztetnék a pontosságukat. A modellvágás kiküszöböli a redundáns vagy nem kritikus információkat a modellből, míg a kvantálás csökkenti a modell paramétereiben használt számok pontosságát, így a modellek könnyebben és gyorsabban futnak erőforrás-korlátozott eszközökön. A Model Quantization egy olyan technika, amely magában foglalja a nagy AI-modellek tömörítését a hordozhatóság javítása és a modell méretének csökkentése érdekében, így a modellek könnyebbek és alkalmasak az éles telepítésekre. Finomhangolási technikák, köztük az általános edzés utáni kvantálás (GPTQ), az alacsony rangú adaptáció (LoRA) és a kvantált LoRA (QLoRA) használatával a modellkvantálás csökkenti a modellparaméterek numerikus pontosságát, így a modellek hatékonyabbak és elérhetőbbek olyan szélső eszközök számára, mint pl. táblagépek, szélső átjárók és mobiltelefonok.
Edge-specifikus AI-keretrendszerek
A kifejezetten az élszámításhoz tervezett mesterségesintelligencia-keretrendszerek és -könyvtárak fejlesztése leegyszerűsítheti az élvonalbeli AI-munkaterhelések telepítésének folyamatát. Ezek a keretrendszerek az élhardver számítási korlátaihoz vannak optimalizálva, és támogatják a hatékony modellvégrehajtást minimális teljesítmény-ráfordítás mellett.
Adatbázisok elosztott adatkezeléssel
Az olyan képességekkel, mint a vektoros keresés és a valós idejű elemzés, segít teljesíteni az élvonal működési követelményeit, és támogatja a helyi adatfeldolgozást, különféle adattípusok kezelését, például hangot, képeket és érzékelőadatokat. Ez különösen fontos a valós idejű alkalmazásokban, mint például az autonóm járműszoftverek, ahol folyamatosan különféle adattípusokat gyűjtenek össze, és ezeket valós időben kell elemezni.
Elosztott következtetés
Ha a modelleket vagy a munkaterheléseket több szélső eszközre helyezi el helyi adatmintákkal, tényleges adatcsere nélkül, csökkentheti a lehetséges megfelelési és adatvédelmi problémákat. Az olyan alkalmazásoknál, mint például az intelligens városok és az ipari IoT, amelyek számos élvonalbeli és IoT-eszközt foglalnak magukban, a következtetések elosztását alapvetően figyelembe kell venni.
Míg a mesterséges intelligencia feldolgozása túlnyomórészt felhőben történik, az AI-kezdeményezések felgyorsítása szempontjából kulcsfontosságú lesz az egyensúly megtalálása az éllel. A legtöbb, ha nem az összes iparág elismerte az AI-t és a GenAI-t versenyelőnyként, ezért egyre fontosabb lesz az élvonalbeli ismeretek összegyűjtése, elemzése és gyors megszerzése. Ahogy a szervezetek fejlesztik mesterséges intelligencia használatát, a modellkvantálás, a multimodális képességek, az adatplatformok és más élvonalbeli stratégiák megvalósítása elősegíti a valós idejű, értelmes üzleti eredmények elérését.
Rahul Pradhan a Couchbase (NASDAQ: BASE) termék- és stratégiai részlegének alelnöke, amely vezető modern adatbázist biztosít vállalati alkalmazásokhoz, amelyektől a Fortune 30 100%-a függ. Rahul több mint 20 éves tapasztalattal rendelkezik mind a mérnöki, mind a termékcsoportok vezetésében és menedzselésében, amelyek az adatbázisokra, tárolásra, hálózati és biztonsági technológiákra összpontosítanak a felhőben. A Couchbase előtt a Dell EMC Emerging Technologies és Midrange Storage részlegeinek termékmenedzsment és üzleti stratégiai csapatát vezette, hogy az összes flash NVMe, Cloud és SDS terméket piacra vigyék.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://www.kdnuggets.com/the-promise-of-edge-ai-and-approaches-for-effective-adoption?utm_source=rss&utm_medium=rss&utm_campaign=the-promise-of-edge-ai-and-approaches-for-effective-adoption
