Obraz autorstwa redaktora
 

W obecnym krajobrazie technologicznym następuje kluczowa zmiana w kierunku przetwarzania brzegowego, napędzana szybkim postępem w zakresie generatywnej sztucznej inteligencji (GenAI) i tradycyjnych obciążeń AI. Te obciążenia AI, historycznie zależne od przetwarzania w chmurze, napotykają obecnie ograniczenia sztucznej inteligencji opartej na chmurze, w tym obawy dotyczące bezpieczeństwa danych, suwerenności i łączności sieciowej.

Pokonując te ograniczenia sztucznej inteligencji opartej na chmurze, organizacje chcą wykorzystać przetwarzanie brzegowe. Zdolność przetwarzania brzegowego do umożliwiania analizy i reagowania w czasie rzeczywistym w momencie tworzenia i wykorzystywania danych sprawia, że ​​organizacje postrzegają je jako kluczowe dla innowacji w zakresie sztucznej inteligencji i rozwoju biznesu.

Dzięki obietnicy szybszego przetwarzania i opóźnień od zera do minimum, sztuczna inteligencja brzegowa może radykalnie przekształcić powstające aplikacje. Chociaż możliwości obliczeniowe urządzeń brzegowych są coraz lepsze, nadal istnieją ograniczenia, które mogą utrudniać wdrażanie bardzo dokładnych modeli sztucznej inteligencji. Technologie i podejścia, takie jak kwantyzacja modeli, uczenie się przez imitację, wnioskowanie rozproszone i zarządzanie rozproszonymi danymi mogą pomóc w usunięciu barier na drodze do bardziej wydajnych i opłacalnych wdrożeń sztucznej inteligencji na brzegach, dzięki czemu organizacje mogą wykorzystać swój prawdziwy potencjał. 

Na wnioskowanie AI w chmurze często wpływają problemy z opóźnieniami, powodujące opóźnienia w przesyłaniu danych między urządzeniami i środowiskami chmurowymi. Organizacje zdają sobie sprawę z kosztów przenoszenia danych między regionami, do chmury i tam i z powrotem z chmury na brzeg. Może utrudniać aplikacje wymagające niezwykle szybkiej reakcji w czasie rzeczywistym, takie jak transakcje finansowe lub systemy bezpieczeństwa przemysłowego. Ponadto, gdy organizacje muszą uruchamiać aplikacje oparte na sztucznej inteligencji w odległych lokalizacjach, w których łączność sieciowa jest zawodna, chmura nie zawsze jest dostępna. 

Ograniczenia strategii sztucznej inteligencji „wyłącznie w chmurze” stają się coraz bardziej oczywiste, szczególnie w przypadku aplikacji opartych na sztucznej inteligencji nowej generacji, które wymagają szybkich reakcji w czasie rzeczywistym. Problemy takie jak opóźnienia sieci mogą spowolnić wnioski i wnioski, które można dostarczyć do aplikacji w chmurze, prowadząc do opóźnień i zwiększonych kosztów związanych z transmisją danych między chmurą a środowiskami brzegowymi. Jest to szczególnie problematyczne w przypadku zastosowań czasu rzeczywistego, zwłaszcza w odległych obszarach, gdzie łączność sieciowa jest przerywana. Ponieważ sztuczna inteligencja zajmuje centralne miejsce w procesie decyzyjnym i rozumowaniu, fizyka przenoszenia danych może być niezwykle kosztowna i mieć negatywny wpływ na wyniki biznesowe. 

Gartner przewiduje, że do 55 r. ponad 2025% wszystkich analiz danych prowadzonych przez głębokie sieci neuronowe będzie miało miejsce w momencie ich przechwycenia w systemie brzegowym, w porównaniu z mniej niż 10% w 2021 r. Przetwarzanie brzegowe pomaga zmniejszyć opóźnienia, skalowalność, bezpieczeństwo danych, łączność i więcej wyzwań, zmieniając sposób przetwarzania danych, co z kolei przyspiesza wdrażanie sztucznej inteligencji. Tworzenie aplikacji w trybie offline będzie miało kluczowe znaczenie dla powodzenia zwinnych aplikacji.

Dzięki skutecznej strategii brzegowej organizacje mogą uzyskać większą wartość ze swoich aplikacji i szybciej podejmować decyzje biznesowe.

W miarę jak modele sztucznej inteligencji stają się coraz bardziej wyrafinowane, a architektury aplikacji coraz bardziej złożone, wyzwanie związane z wdrażaniem tych modeli na urządzeniach brzegowych z ograniczeniami obliczeniowymi staje się coraz bardziej widoczne. Jednak postęp technologiczny i ewoluujące metodologie torują drogę do skutecznej integracji potężnych modeli sztucznej inteligencji w ramach przetwarzania brzegowego, począwszy od: 

Kompresja i kwantyzacja modelu

Techniki takie jak przycinanie modeli i kwantyzacja mają kluczowe znaczenie dla zmniejszania rozmiaru modeli sztucznej inteligencji bez znaczącego pogarszania ich dokładności. Oczyszczanie modelu eliminuje z modelu zbędne lub niekrytyczne informacje, natomiast kwantyzacja zmniejsza precyzję liczb używanych w parametrach modelu, dzięki czemu modele są lżejsze i szybsze w działaniu na urządzeniach o ograniczonych zasobach. Kwantyzacja modeli to technika polegająca na kompresowaniu dużych modeli sztucznej inteligencji w celu poprawy przenośności i zmniejszenia rozmiaru modelu, dzięki czemu modele są lżejsze i nadają się do wdrożeń brzegowych. Dzięki technikom dostrajania, w tym uogólnionej kwantyzacji po szkoleniu (GPTQ), adaptacji niskich rang (LoRA) i kwantyzacji LoRA (QLoRA), kwantyzacja modelu obniża precyzję numeryczną parametrów modelu, czyniąc modele bardziej wydajnymi i dostępnymi dla urządzeń brzegowych, takich jak tablety, bramy brzegowe i telefony komórkowe. 

Struktury sztucznej inteligencji specyficzne dla krawędzi

Opracowanie struktur i bibliotek AI zaprojektowanych specjalnie do przetwarzania brzegowego może uprościć proces wdrażania obciążeń brzegowych AI. Struktury te są zoptymalizowane pod kątem ograniczeń obliczeniowych sprzętu brzegowego i obsługują wydajne wykonywanie modeli przy minimalnym narzucie wydajności.

Bazy danych z rozproszonym zarządzaniem danymi

Dzięki funkcjom takim jak wyszukiwanie wektorowe i analiza w czasie rzeczywistym pomagają spełnić wymagania operacyjne urządzeń brzegowych i obsługują lokalne przetwarzanie danych, obsługując różne typy danych, takie jak dane audio, obrazy i dane z czujników. Jest to szczególnie ważne w zastosowaniach czasu rzeczywistego, takich jak oprogramowanie pojazdów autonomicznych, gdzie stale gromadzone są różne typy danych, które należy analizować w czasie rzeczywistym.

Wnioskowanie rozproszone

Umieszczanie modeli lub obciążeń na wielu urządzeniach brzegowych z lokalnymi próbkami danych bez faktycznej wymiany danych może złagodzić potencjalne problemy związane ze zgodnością i prywatnością danych. W przypadku zastosowań takich jak inteligentne miasta i przemysłowy IoT, które obejmują wiele urządzeń brzegowych i IoT, uwzględnienie wnioskowania dystrybucyjnego ma kluczowe znaczenie. 

Chociaż sztuczna inteligencja jest przetwarzana głównie w chmurze, znalezienie równowagi z wykorzystaniem rozwiązań brzegowych będzie miało kluczowe znaczenie dla przyspieszenia inicjatyw związanych ze sztuczną inteligencją. Większość, jeśli nie wszystkie, branże uznały sztuczną inteligencję i GenAI za przewagę konkurencyjną, dlatego gromadzenie, analizowanie i szybkie uzyskiwanie spostrzeżeń na krawędzi będzie coraz ważniejsze. W miarę jak organizacje ewoluują w zakresie wykorzystania sztucznej inteligencji, wdrożenie kwantyzacji modeli, możliwości multimodalnych, platform danych i innych strategii brzegowych pomoże w osiąganiu znaczących wyników biznesowych w czasie rzeczywistym.
 
 

Rahula Pradhana jest wiceprezesem ds. produktów i strategii w Couchbase (NASDAQ: BASE), dostawcy wiodącej, nowoczesnej bazy danych dla aplikacji dla przedsiębiorstw, od której zależy 30% firm z listy Fortune 100. Rahul ma ponad 20-letnie doświadczenie w kierowaniu i zarządzaniu zespołami inżynieryjnymi i produktowymi, koncentrującymi się na bazach danych, pamięci masowej, sieciach i technologiach bezpieczeństwa w chmurze. Przed Couchbase kierował zespołem ds. zarządzania produktami i strategii biznesowej w działach Dell EMC Emerging Technologies i Midrange Storage, aby wprowadzić na rynek wszystkie produkty flash NVMe, Cloud i SDS.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://www.kdnuggets.com/the-promise-of-edge-ai-and-approaches-for-effective-adoption?utm_source=rss&utm_medium=rss&utm_campaign=the-promise-of-edge-ai-and-approaches-for-effective-adoption