Hình ảnh của Editor
 

Bối cảnh công nghệ hiện tại đang trải qua một sự thay đổi then chốt hướng tới điện toán biên, được thúc đẩy bởi những tiến bộ nhanh chóng trong khối lượng công việc AI tổng quát (GenAI) và AI truyền thống. Trước đây phụ thuộc vào điện toán đám mây, các khối lượng công việc AI này hiện đang gặp phải các giới hạn của AI dựa trên đám mây, bao gồm những lo ngại về bảo mật dữ liệu, chủ quyền và kết nối mạng.

Giải quyết những hạn chế này của AI dựa trên đám mây, các tổ chức đang tìm cách tận dụng điện toán biên. Khả năng của điện toán biên cho phép phân tích và phản hồi theo thời gian thực tại thời điểm dữ liệu được tạo và tiêu thụ là lý do tại sao các tổ chức coi nó rất quan trọng đối với đổi mới AI và tăng trưởng kinh doanh.

Với hứa hẹn xử lý nhanh hơn với độ trễ từ 0 đến tối thiểu, AI biên có thể biến đổi đáng kể các ứng dụng mới nổi. Trong khi khả năng tính toán của thiết bị biên ngày càng tốt hơn, vẫn còn những hạn chế có thể khiến việc triển khai các mô hình AI có độ chính xác cao trở nên khó khăn. Các công nghệ và phương pháp tiếp cận như lượng tử hóa mô hình, học tập bắt chước, suy luận phân tán và quản lý dữ liệu phân tán có thể giúp loại bỏ các rào cản đối với việc triển khai AI biên hiệu quả và tiết kiệm chi phí hơn để các tổ chức có thể khai thác tiềm năng thực sự của mình. 

Suy luận AI trên đám mây thường bị ảnh hưởng bởi các vấn đề về độ trễ, gây ra sự chậm trễ trong việc di chuyển dữ liệu giữa các thiết bị và môi trường đám mây. Các tổ chức đang nhận ra chi phí di chuyển dữ liệu giữa các khu vực, vào đám mây và qua lại từ đám mây sang biên. Nó có thể cản trở các ứng dụng yêu cầu phản hồi cực nhanh, theo thời gian thực, chẳng hạn như giao dịch tài chính hoặc hệ thống an toàn công nghiệp. Ngoài ra, khi các tổ chức phải chạy các ứng dụng hỗ trợ AI ở những địa điểm xa, nơi kết nối mạng không đáng tin cậy, không phải lúc nào đám mây cũng có thể tiếp cận được. 

Những hạn chế của chiến lược AI “chỉ dành cho đám mây” ngày càng trở nên rõ ràng, đặc biệt đối với các ứng dụng hỗ trợ AI thế hệ tiếp theo yêu cầu phản hồi nhanh, theo thời gian thực. Các vấn đề như độ trễ mạng có thể làm chậm những hiểu biết sâu sắc và lý luận có thể được gửi tới ứng dụng trên đám mây, dẫn đến sự chậm trễ và tăng chi phí liên quan đến việc truyền dữ liệu giữa môi trường đám mây và biên. Điều này đặc biệt có vấn đề đối với các ứng dụng thời gian thực, đặc biệt là ở các vùng sâu vùng xa có kết nối mạng không liên tục. Khi AI chiếm vị trí trung tâm trong việc ra quyết định và suy luận, tính chất vật lý của việc di chuyển dữ liệu xung quanh có thể cực kỳ tốn kém và có tác động tiêu cực đến kết quả kinh doanh. 

Gartner dự đoán rằng hơn 55% tất cả các hoạt động phân tích dữ liệu bằng mạng lưới thần kinh sâu sẽ diễn ra tại thời điểm thu thập trong hệ thống biên vào năm 2025, tăng từ mức dưới 10% vào năm 2021. Điện toán biên giúp giảm bớt độ trễ, khả năng mở rộng, bảo mật dữ liệu, kết nối và nhiều thách thức hơn, định hình lại cách xử lý dữ liệu và từ đó đẩy nhanh việc áp dụng AI. Việc phát triển các ứng dụng theo cách tiếp cận ngoại tuyến đầu tiên sẽ rất quan trọng cho sự thành công của các ứng dụng linh hoạt.

Với chiến lược lợi thế hiệu quả, các tổ chức có thể nhận được nhiều giá trị hơn từ các ứng dụng của mình và đưa ra quyết định kinh doanh nhanh hơn.

Khi các mô hình AI ngày càng trở nên tinh vi và kiến ​​trúc ứng dụng ngày càng phức tạp hơn, thách thức trong việc triển khai các mô hình này trên các thiết bị biên có các hạn chế về tính toán trở nên rõ ràng hơn. Tuy nhiên, những tiến bộ trong công nghệ và các phương pháp phát triển đang mở đường cho việc tích hợp hiệu quả các mô hình AI mạnh mẽ trong khuôn khổ điện toán biên, từ: 

Nén và lượng tử hóa mô hình

Các kỹ thuật như cắt tỉa mô hình và lượng tử hóa rất quan trọng để giảm kích thước của mô hình AI mà không ảnh hưởng đáng kể đến độ chính xác của chúng. Việc cắt bớt mô hình sẽ loại bỏ thông tin dư thừa hoặc không quan trọng khỏi mô hình, trong khi lượng tử hóa làm giảm độ chính xác của các số được sử dụng trong các tham số của mô hình, làm cho mô hình chạy nhẹ hơn và nhanh hơn trên các thiết bị có giới hạn tài nguyên. Lượng tử hóa mô hình là một kỹ thuật bao gồm việc nén các mô hình AI lớn để cải thiện tính di động và giảm kích thước mô hình, làm cho mô hình trở nên nhẹ hơn và phù hợp để triển khai ở biên. Sử dụng các kỹ thuật tinh chỉnh, bao gồm Lượng tử hóa sau đào tạo tổng quát (GPTQ), Thích ứng thứ hạng thấp (LoRA) và LoRA lượng tử hóa (QLoRA), lượng tử hóa mô hình làm giảm độ chính xác bằng số của các tham số mô hình, giúp mô hình trở nên hiệu quả hơn và dễ tiếp cận hơn đối với các thiết bị biên như máy tính bảng, cổng biên và điện thoại di động. 

Khung AI dành riêng cho biên

Việc phát triển các khung và thư viện AI được thiết kế đặc biệt cho điện toán biên có thể đơn giản hóa quá trình triển khai khối lượng công việc AI biên. Các khung này được tối ưu hóa cho các hạn chế tính toán của phần cứng biên và hỗ trợ thực thi mô hình hiệu quả với chi phí hiệu năng tối thiểu.

Cơ sở dữ liệu với quản lý dữ liệu phân tán

Với các khả năng như tìm kiếm vectơ và phân tích thời gian thực, giúp đáp ứng các yêu cầu vận hành của thiết bị biên và hỗ trợ xử lý dữ liệu cục bộ, xử lý nhiều loại dữ liệu khác nhau như âm thanh, hình ảnh và dữ liệu cảm biến. Điều này đặc biệt quan trọng trong các ứng dụng thời gian thực như phần mềm xe tự hành, nơi các loại dữ liệu đa dạng liên tục được thu thập và phải được phân tích trong thời gian thực.

Suy luận phân tán

Việc đặt các mô hình hoặc khối lượng công việc trên nhiều thiết bị biên với các mẫu dữ liệu cục bộ mà không cần trao đổi dữ liệu thực tế có thể giảm thiểu các vấn đề tiềm ẩn về tuân thủ và quyền riêng tư dữ liệu. Đối với các ứng dụng, chẳng hạn như thành phố thông minh và IoT công nghiệp, liên quan đến nhiều thiết bị IoT và biên, việc phân phối suy luận là điều quan trọng cần tính đến. 

Mặc dù AI chủ yếu được xử lý trên đám mây, nhưng việc tìm kiếm sự cân bằng giữa lợi thế sẽ rất quan trọng để tăng tốc các sáng kiến ​​AI. Hầu hết, nếu không phải tất cả, các ngành đã công nhận AI và GenAI là một lợi thế cạnh tranh, đó là lý do tại sao việc thu thập, phân tích và nhanh chóng đạt được những hiểu biết sâu sắc ở rìa sẽ ngày càng quan trọng. Khi các tổ chức phát triển việc sử dụng AI, việc triển khai lượng tử hóa mô hình, khả năng đa phương thức, nền tảng dữ liệu và các chiến lược biên khác sẽ giúp thúc đẩy kết quả kinh doanh có ý nghĩa, theo thời gian thực.
 
 

Rahul Pradhan là Phó Giám đốc Sản phẩm và Chiến lược tại Couchbase (NASDAQ: BASE), nhà cung cấp cơ sở dữ liệu hiện đại hàng đầu cho các ứng dụng doanh nghiệp mà 30% Fortune 100 phụ thuộc vào. Rahul có hơn 20 năm kinh nghiệm lãnh đạo và quản lý cả nhóm kỹ thuật và sản phẩm, tập trung vào cơ sở dữ liệu, lưu trữ, mạng và công nghệ bảo mật trên đám mây. Trước Couchbase, ông đã lãnh đạo nhóm Chiến lược kinh doanh và Quản lý sản phẩm cho Bộ phận lưu trữ tầm trung và Công nghệ mới nổi của Dell EMC để đưa tất cả các sản phẩm flash NVMe, Cloud và SDS ra thị trường.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.kdnuggets.com/the-promise-of-edge-ai-and-approaches-for-effective-adoption?utm_source=rss&utm_medium=rss&utm_campaign=the-promise-of-edge-ai-and-approaches-for-effective-adoption