圖片由編輯
在生成式人工智慧 (GenAI) 和傳統人工智慧工作負載快速發展的推動下，當前的技術格局正在經歷向邊緣運算的關鍵轉變。這些人工智慧工作負載歷來依賴雲端運算，但現在遇到了基於雲端的人工智慧的局限性，包括對資料安全、主權和網路連接的擔憂。
為了克服基於雲端的人工智慧的這些局限性，組織正在尋求擁抱邊緣運算。邊緣運算能夠在資料建立和使用時實現即時分析和回應，因此組織將其視為人工智慧創新和業務成長的關鍵。
憑藉其更快的處理速度和零至最小延遲的承諾，邊緣人工智慧可以極大地改變新興應用程式。雖然邊緣設備的運算能力越來越好，但仍存在一些限制，導致實現高精度人工智慧模型變得困難。模型量化、模仿學習、分散式推理和分散式資料管理等技術和方法可以幫助消除更有效率、更具成本效益的邊緣人工智慧部署的障礙，以便組織能夠挖掘其真正潛力。
雲端中的人工智慧推理通常會受到延遲問題的影響，導致設備和雲端環境之間的資料移動延遲。組織正在意識到將資料跨區域移動到雲端以及從雲端到邊緣來回移動的成本。它可能會阻礙需要極快、即時回應的應用程序，例如金融交易或工業安全系統。此外，當組織必須在網路連接不可靠的遠端位置運行人工智慧驅動的應用程式時，雲端並不總是可用的。
「純雲端」人工智慧策略的限制變得越來越明顯，特別是對於需要快速、即時回應的下一代人工智慧應用程式而言。網路延遲等問題可能會減慢交付給雲端中應用程式的洞察力和推理速度，從而導致與雲端和邊緣環境之間的資料傳輸相關的延遲和成本增加。這對於即時應用程式來說尤其成問題，特別是在網路連線間歇性的偏遠地區。由於人工智慧在決策和推理中佔據中心地位，行動數據的物理成本可能極其高昂，並對業務成果產生負面影響。
Gartner公司 預測到55 年，超過2025% 的深度神經網路資料分析將發生在邊緣系統的擷取點，而10 年這一比例還不到2021%。邊緣運算有助於緩解延遲、可擴展性、資料安全性、連結性和更多的挑戰，重塑資料處理的處理方式，進而加速人工智慧的採用。採用離線優先方法開發應用程式對於敏捷應用程式的成功至關重要。
透過有效的邊緣策略，組織可以從其應用程式中獲得更多價值並更快地做出業務決策。
隨著人工智慧模型變得越來越複雜，應用程式架構變得越來越複雜，在具有運算限制的邊緣設備上部署這些模型的挑戰變得更加明顯。然而，技術的進步和不斷發展的方法正在為邊緣運算框架中強大的人工智慧模型的有效整合鋪平道路，這些模型包括：
模型壓縮和量化
模型剪枝和量化等技術對於減小人工智慧模型的大小而不顯著影響其準確性至關重要。模型剪枝消除了模型中的冗餘或非關鍵信息，而量化則降低了模型參數中使用的數字的精度，使模型更輕、更快，可以在資源受限的設備上運行。模型量化是一種壓縮大型人工智慧模型的技術，以提高可移植性並減少模型大小，使模型更加輕量級並適合邊緣部署。使用微調技術，包括廣義訓練後量化 (GPTQ)、低秩適應 (LoRA) 和量化 LoRA (QLoRA)，模型量化降低了模型參數的數值精度，使模型更加高效且易於邊緣設備（例如平板電腦、邊緣網關和手機。
特定於邊緣的人工智慧框架
開發專為邊緣運算設計的人工智慧框架和函式庫可以簡化部署邊緣人工智慧工作負載的過程。這些框架針對邊緣硬體的運算限制進行了最佳化，並以最小的效能開銷支援高效的模型執行。
具有分散式資料管理的資料庫
借助向量搜尋和即時分析等功能，有助於滿足邊緣的操作要求並支援本地資料處理，處理各種資料類型，例如音訊、影像和感測器資料。這在自動駕駛汽車軟體等即時應用中尤其重要，其中不斷收集不同類型的數據並且必須進行即時分析。
分佈式推理
將模型或工作負載放置在具有本地資料樣本的多個邊緣設備上，而無需進行實際資料交換，可以減輕潛在的合規性和資料隱私問題。對於智慧城市和工業物聯網等涉及許多邊緣和物聯網設備的應用來說，分散式推理至關重要。
雖然人工智慧主要在雲端處理，但找到與邊緣的平衡對於加速人工智慧計畫至關重要。大多數（如果不是全部）行業都認識到人工智慧和 GenAI 是一種競爭優勢，這就是為什麼在邊緣收集、分析和快速獲得見解將變得越來越重要。隨著組織不斷發展人工智慧的使用，實施模型量化、多模式功能、資料平台和其他邊緣策略將有助於推動即時、有意義的業務成果。
拉胡爾·普拉丹 是 Couchbase（納斯達克股票代碼：BASE）的產品和策略副總裁，該公司為 30% 的財富 100 強企業所依賴的企業應用程式提供領先的現代資料庫。 Rahul 擁有 20 多年領導和管理工程和產品團隊的經驗，專注於雲端中的資料庫、儲存、網路和安全技術。在加入 Couchbase 之前，他領導 Dell EMC 新興技術和中階儲存部門的產品管理和業務策略團隊，將全快閃 NVMe、雲端和 SDS 產品推向市場。
- SEO 支持的內容和 PR 分發。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 賦予自己力量。 訪問這裡。
- 柏拉圖愛流。 Web3 智能。 知識放大。 訪問這裡。
- 柏拉圖ESG。 碳， 清潔科技, 能源， 環境， 太陽能， 廢物管理。 訪問這裡。
- 柏拉圖健康。 生物技術和臨床試驗情報。 訪問這裡。
- 資源： https://www.kdnuggets.com/the-promise-of-edge-ai-and-approaches-for-effective-adoption?utm_source=rss&utm_medium=rss&utm_campaign=the-promise-of-edge-ai-and-approaches-for-effective-adoption
