Trong những năm gần đây, Mô hình ngôn ngữ lớn (LLM) đã cách mạng hóa lĩnh vực trí tuệ nhân tạo, thay đổi cách chúng ta tương tác với các thiết bị và khả năng mà máy móc có thể đạt được. Những mô hình này đã thể hiện khả năng hiểu và tạo ngôn ngữ tự nhiên đáng chú ý, khiến chúng không thể thiếu trong các ứng dụng khác nhau.

Tuy nhiên, LLM cực kỳ tốn nhiều tài nguyên. Việc đào tạo họ trên các máy chủ đám mây với cụm GPU lớn rất tốn kém và việc suy luận các mô hình này trên máy chủ đám mây có thể dẫn đến độ trễ đáng kể, trải nghiệm người dùng kém cũng như rủi ro về quyền riêng tư và bảo mật. Nhiều nhà sản xuất điện thoại thông minh, IoT và ô tô đã đặt mục tiêu triển khai suy luận biên của LLM trong các nền tảng trong tương lai. Trong bài viết này, chúng ta sẽ khám phá tầm quan trọng của việc triển khai các mô hình ngôn ngữ lớn trên các thiết bị biên cũng như những thách thức và tương lai.

Di chuyển LLM ra rìa: Tại sao?

Sẽ không thể thảo luận về mọi lý do để triển khai LLM ở biên, có thể là dành riêng cho ngành, OEM hoặc LLM. Trong bài viết này, chúng tôi sẽ đề cập đến năm lý do phổ biến nhất mà chúng tôi nghe thấy.

Một trong những động lực chính để chuyển suy luận LLM sang biên là giảm sự phụ thuộc kết nối. LLM dựa trên đám mây dựa vào kết nối mạng ổn định để suy luận. Di chuyển suy luận LLM sang biên có nghĩa là các ứng dụng có thể hoạt động với kết nối mạng bị hạn chế hoặc không có. Ví dụ: LLM có thể là giao diện cho các ghi chú của bạn hoặc thậm chí là toàn bộ điện thoại của bạn, bất kể cường độ 5G của bạn như thế nào.

Nhiều ứng dụng dựa trên LLM phụ thuộc vào độ trễ thấp để có trải nghiệm người dùng tốt nhất. Thời gian phản hồi của LLM dựa trên đám mây phụ thuộc vào độ ổn định và tốc độ kết nối mạng. Khi suy luận diễn ra cục bộ, thời gian phản hồi sẽ giảm đáng kể, mang lại trải nghiệm người dùng tốt hơn.

Điện toán biên có thể nâng cao quyền riêng tư và bảo mật dữ liệu. Vì quá trình xử lý dữ liệu diễn ra trên thiết bị cục bộ nên các bề mặt tấn công sẽ giảm đáng kể so với hệ thống dựa trên đám mây. Thông tin nhạy cảm không cần phải được gửi qua mạng đến máy chủ từ xa, giảm thiểu nguy cơ vi phạm dữ liệu và cung cấp cho người dùng nhiều quyền kiểm soát hơn đối với thông tin cá nhân của họ.

Cá nhân là một động lực chính khác cho việc triển khai biên, không chỉ trong suy luận mà còn trong đào tạo. LLM dựa trên biên có thể tìm hiểu cách người dùng thiết bị nói, cách họ viết, v.v. Điều này cho phép thiết bị tinh chỉnh các mô hình để phục vụ cho tính cách và thói quen cụ thể của người dùng, mang lại trải nghiệm phù hợp hơn. Làm như vậy ở rìa có thể tăng thêm sự đảm bảo về quyền riêng tư cho người dùng.

Động lực cuối cùng mà chúng tôi sẽ đề cập trong bài viết này là Khả năng mở rộng. Các thiết bị biên được triển khai trên quy mô lớn, giúp phân phối ứng dụng trên nhiều loại thiết bị mà không làm quá tải các máy chủ trung tâm.

Những thách thức trong việc triển khai các mô hình ngôn ngữ lớn trên các thiết bị biên

Mặc dù lợi ích của việc triển khai LLM trên các thiết bị biên là rõ ràng nhưng vẫn có một số thách thức mà các nhà phát triển và tổ chức phải giải quyết để đảm bảo thành công. Như trước đây, có nhiều hơn những gì chúng ta sẽ thảo luận dưới đây.

Trước tiên hãy giải quyết những hạn chế về nguồn lực. So với máy chủ đám mây, thiết bị biên có sức mạnh xử lý, bộ nhớ và lưu trữ hạn chế. Việc điều chỉnh LLM để chạy hiệu quả trên các thiết bị như vậy sẽ là một thách thức kỹ thuật đáng kể. Xét cho cùng, các mô hình ngôn ngữ lớn chính xác là như vậy—lớn. Việc thu nhỏ các mô hình này mà không làm giảm hiệu suất là một nhiệm vụ phức tạp, đòi hỏi các kỹ thuật tối ưu hóa và lượng tử hóa. Mặc dù nhiều người trong ngành AI đang nỗ lực thực hiện việc này, nhưng việc giảm kích thước LLM thành công sẽ là điều bắt buộc để triển khai biên thành công, cùng với việc triển khai NPU (Bộ xử lý thần kinh) phù hợp với từng trường hợp sử dụng.

Hiệu quả năng lượng cũng là một thách thức rất lớn. Chạy các mô hình sử dụng nhiều tài nguyên trên các thiết bị chạy bằng pin có thể làm hao pin nhanh chóng. Cả nhà phát triển và kiến ​​trúc sư chip đều cần tối ưu hóa thiết kế của họ để đạt hiệu quả sử dụng năng lượng nhằm không tạo ra những tác động bất lợi đáng chú ý đến tuổi thọ pin.

Bảo mật các yêu cầu của LLM và nói rộng ra là bất kỳ việc triển khai AI nào đều khác với các bộ xử lý và mã truyền thống hơn. Các OEM thiết bị phải thích ứng với điều này và đảm bảo duy trì quyền riêng tư và bảo mật dữ liệu. Mặc dù điện toán biên có thể nâng cao quyền riêng tư của dữ liệu so với việc triển khai dựa trên đám mây, nhưng nó cũng mang đến những thách thức về việc bảo mật dữ liệu được lưu trữ trên các thiết bị biên.

Một thách thức cuối cùng cần xem xét là khả năng tương thích. LLM có thể đơn giản là không tương thích với tất cả các thiết bị biên. Các nhà phát triển phải đảm bảo rằng các mô hình được phát triển chạy trên nhiều cấu hình phần cứng và phần mềm khác nhau hoặc phần cứng và phần mềm phù hợp sẽ có sẵn để hỗ trợ việc triển khai tùy chỉnh.

Tương lai của các mô hình ngôn ngữ lớn được triển khai ở biên

Việc triển khai LLM trên quy mô lớn trên các thiết bị biên không phải là câu hỏi có hay không mà là câu hỏi khi nào nó xảy ra. Điều này sẽ cho phép các ứng dụng thông minh hơn, phản hồi nhanh hơn và tập trung vào quyền riêng tư trong nhiều ngành khác nhau. Các nhà phát triển, nhà nghiên cứu và tổ chức đang tích cực làm việc để giải quyết các thách thức liên quan đến việc triển khai này và khi họ làm như vậy, chúng ta có thể mong đợi các mô hình mạnh mẽ và hiệu quả hơn chạy trên nhiều thiết bị biên hơn.

Sức mạnh tổng hợp của các mô hình ngôn ngữ lớn và điện toán biên mở ra một thế giới đầy tiềm năng. Với độ trễ thấp, quyền riêng tư được nâng cao và khả năng hoạt động ngoại tuyến, các thiết bị biên trở nên hữu ích và linh hoạt hơn bao giờ hết.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://semiengineering.com/unlocking-the-power-of-edge-computing-with-large-language-models/