Colin Alexander (Giám đốc tiếp thị sản phẩm tại Achronix) gần đây đã phát hành một hội thảo trực tuyến về chủ đề này. Chỉ trong 20 phút, hội thảo trên web là một cách dễ dàng để xem và cập nhật hữu ích về lưu lượng dữ liệu và các tùy chọn triển khai. Tải xuống vẫn bị chi phối bởi video (hơn 50% cho Facebook), hiện phụ thuộc nhiều vào bộ nhớ đệm ở hoặc gần mép. Cái nào trong số này áp dụng tùy thuộc vào định nghĩa của bạn về "cạnh". Thế giới IoT tự coi mình là biên, thế giới đám mây và cơ sở hạ tầng dường như coi nút tính toán cuối cùng trong cơ sở hạ tầng, trước các thiết bị lá đó, là biên. Khoai tây, khoai tây. Trong mọi trường hợp, chế độ xem cơ sở hạ tầng của cạnh là nơi bạn sẽ tìm thấy bộ nhớ đệm video, để phục vụ các bản tải xuống phổ biến nhất một cách hiệu quả và nhanh nhất có thể.
Các tùy chọn tính toán ở biên (và trên đám mây)
Colin ban đầu nói về lợi thế cơ sở hạ tầng nơi cần có một số mã lực trong điện toán và AI. Anh ấy trình bày các tùy chọn tiêu chuẩn: CPU, GPU, ASIC hoặc FPGA. Giải pháp dựa trên CPU có tính linh hoạt cao nhất vì giải pháp của bạn sẽ hoàn toàn dựa trên phần mềm. Vì lý do tương tự, nó thường sẽ là tùy chọn chậm nhất, ngốn nhiều năng lượng nhất và độ trễ dài nhất (đối với hành trình khứ hồi tới các nút lá mà tôi giả định). GPU có phần tốt hơn về hiệu suất và sức mạnh nhưng kém linh hoạt hơn một chút so với CPU. ASIC (phần cứng tùy chỉnh) sẽ nhanh nhất, tiêu thụ điện năng thấp nhất và độ trễ thấp nhất, mặc dù về mặt khái niệm là kém linh hoạt nhất (tất cả các tính năng thông minh đều nằm trong phần cứng không thể thay đổi).
Anh ấy trình bày FPGA (hoặc FPGA nhúng/eFPGA) như một sự thỏa hiệp tốt giữa các thái cực này. Tốt hơn về hiệu suất, sức mạnh và độ trễ so với CPU hoặc GPU và ở đâu đó giữa CPU và GPU về tính linh hoạt. Mặc dù tốt hơn nhiều so với ASIC về tính linh hoạt vì FPGA có thể được lập trình lại. Tất cả điều này đều có ý nghĩa đối với tôi trong chừng mực nó diễn ra, mặc dù tôi nghĩ rằng câu chuyện đáng lẽ phải được hoàn thành bằng cách thêm DSP vào dòng nền tảng. Chúng có thể có các lợi thế phần cứng dành riêng cho AI (vector hóa, mảng MAC, v.v.) mang lại lợi ích cho hiệu suất, sức mạnh và độ trễ. Trong khi vẫn giữ được tính linh hoạt của phần mềm. Việc xem xét quan trọng khác là chi phí. Tất nhiên, đây luôn là một chủ đề nhạy cảm nhưng các thiết bị CPU, GPU và FPGA có khả năng AI có thể đắt tiền, gây lo ngại cho hóa đơn vật liệu của một nút biên.
Đối số của Colin có ý nghĩa nhất đối với tôi ở khía cạnh eFPGA được nhúng trong một SoC lớn hơn. Trong một ứng dụng đám mây, các ràng buộc là khác nhau. Thẻ giao diện mạng thông minh có thể không nhạy cảm về giá và có thể có lợi thế về hiệu suất trong giải pháp dựa trên FPGA so với giải pháp dựa trên phần mềm.
Hỗ trợ các ứng dụng AI ở biên điện toán thông qua eFPGA có vẻ như là một tùy chọn đáng để nghiên cứu thêm. Xa hơn về phía các nút lá là mờ đối với tôi. Máy theo dõi hậu cần hoặc cảm biến độ ẩm đất chắc chắn sẽ không lưu trữ điện toán quan trọng, nhưng điều khiển TV kích hoạt bằng giọng nói thì sao? Hay lò vi sóng thông minh? Cả hai đều cần AI nhưng không cần nhiều mã lực. Lò vi sóng có nguồn điện có dây, nhưng điều khiển từ xa TV hoặc điều khiển từ xa của loa thông minh chạy bằng pin. Sẽ rất thú vị khi biết sự đánh đổi của eFPGA ở đây.
khả năng eFPGA cho AI
Theo bảng dữ liệu, Speedster 7t cung cấp MAC số nguyên hoàn toàn có thể bẻ khóa, dấu phẩy động linh hoạt, hỗ trợ riêng cho bfloat và phép nhân ma trận hiệu quả. Tôi không thể tìm thấy bất kỳ dữ liệu nào về TOPS hoặc TOPS/Watt. Tôi chắc chắn rằng điều đó phụ thuộc vào việc triển khai nhưng các ví dụ sẽ hữu ích. Ngay cả ở rìa, một số ứng dụng rất nhạy cảm với hiệu suất – chẳng hạn như giám sát thông minh và phát hiện đối tượng hướng về phía trước trong ô tô. Sẽ rất thú vị khi biết eFPGA có thể phù hợp ở đâu trong các ứng dụng như vậy.
Hội thảo trên web kích thích tư duy. Bạn có thể xem nó nhấp vào ĐÂY .
Chia sẻ bài đăng này qua:
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://semiwiki.com/efpga/323785-achronix-on-platform-selection-for-ai-at-the-edge/
