Bài báo được tài trợ
Việc mở rộng sử dụng AI trong công nghiệp đang thúc đẩy các phương pháp tiếp cận phức tạp hơn - bao gồm học máy (ML), học sâu và thậm chí cả các mô hình ngôn ngữ lớn. Những tiến bộ này cung cấp cái nhìn thoáng qua về lượng dữ liệu khổng lồ dự kiến sẽ được sử dụng ở biên. Mặc dù trọng tâm hiện tại là làm thế nào để tăng tốc hoạt động của mạng thần kinh, nhưng Micron lại tập trung vào việc tạo ra bộ nhớ và bộ lưu trữ được tinh chỉnh cho AI ở biên.
Dữ liệu tổng hợp là gì?
Sản phẩm IDC dự đoán rằng đến năm 2025, sẽ có 175 zettabyte (1 zettabyte =1 tỷ terabyte) dữ liệu mới được tạo ra trên toàn thế giới. Những con số này khó có thể hiểu được, tuy nhiên những tiến bộ của AI sẽ tiếp tục mở rộng phạm vi cho các hệ thống thiếu dữ liệu.
Trên thực tế, các mô hình AI ngày càng phát triển đã bị cản trở bởi lượng dữ liệu vật lý thực thu được từ các phép đo trực tiếp hoặc hình ảnh vật lý. Thật dễ dàng để xác định một quả cam nếu bạn có sẵn mẫu 10,000 hình ảnh về quả cam. Nhưng nếu bạn cần những cảnh cụ thể để so sánh — ví dụ: một đám đông ngẫu nhiên với một cuộc tuần hành có tổ chức hoặc những điểm bất thường trong một chiếc bánh quy nướng so với một chiếc bánh quy hoàn hảo — có thể khó xác nhận kết quả chính xác trừ khi bạn có tất cả các mẫu biến thể để tạo đường cơ sở của mình người mẫu.
Ngành công nghiệp ngày càng sử dụng dữ liệu tổng hợp. Dữ liệu tổng hợp được tạo một cách giả tạo dựa trên các mô hình mô phỏng, chẳng hạn như cung cấp thông tin thống kê thực tế của cùng một hình ảnh. Cách tiếp cận này đặc biệt đúng trong các hệ thống thị giác công nghiệp nơi đường cơ sở cho hình ảnh vật lý là duy nhất và không thể tìm thấy đủ “widget” trên web để cung cấp mô hình đại diện hợp lệ.
Tất nhiên, thách thức là những dạng dữ liệu mới này sẽ cư trú ở đâu. Chắc chắn, bất kỳ tập dữ liệu mới nào được tạo đều phải được lưu trữ trên đám mây hoặc để có cách trình bày độc đáo hơn, gần hơn với nơi dữ liệu cần được phân tích – ở rìa.
Độ phức tạp của mô hình và bức tường bộ nhớ
Tìm sự cân bằng tối ưu giữa hiệu quả thuật toán và hiệu suất của mô hình AI là một nhiệm vụ phức tạp vì nó phụ thuộc vào các yếu tố như đặc điểm và khối lượng dữ liệu, tính sẵn có của tài nguyên, mức tiêu thụ điện năng, yêu cầu về khối lượng công việc, v.v.
Mô hình AI là các thuật toán phức tạp có thể được đặc trưng bởi số lượng tham số của chúng: Số lượng tham số càng lớn thì kết quả càng chính xác. Ngành này bắt đầu với một mô hình cơ sở chung, chẳng hạn như ResNet50 vì mô hình này dễ triển khai và trở thành mô hình cơ sở cho hiệu suất mạng. Nhưng mô hình đó tập trung vào các tập dữ liệu hạn chế và các ứng dụng hạn chế. Khi các máy biến áp này phát triển, chúng ta thấy rằng sự phát triển của máy biến áp đã làm tăng các thông số hơn là tăng băng thông bộ nhớ. Kết quả này là một sự căng thẳng rõ ràng: Bất kể mô hình có thể xử lý bao nhiêu dữ liệu, chúng ta đều bị giới hạn bởi băng thông bộ nhớ và bộ lưu trữ có sẵn cho mô hình và các tham số.
Để so sánh nhanh, chúng ta có thể xem hiệu suất của hệ thống AI nhúng trong hoạt động tera mỗi giây (TOPS). Ở đây, chúng ta thấy rằng các thiết bị AI edge dưới 100 TOPS có thể cần khoảng 225 GB/s và những thiết bị trên 100 TOPS có thể yêu cầu băng thông bộ nhớ 451 GB/s (Bảng 1).
Vì vậy, một cách để tối ưu hóa mô hình đó là xem xét bộ nhớ có hiệu suất cao hơn nhưng cũng có mức tiêu thụ điện năng thấp nhất.
Bộ nhớ đang theo kịp các giải pháp tăng tốc AI bằng cách phát triển theo các tiêu chuẩn mới. Ví dụ: các giải pháp LPDDR4/4X (DRAM DDR4 công suất thấp) và LPDDR5/5X (DRAM DDR5 công suất thấp) có những cải tiến hiệu suất đáng kể so với các công nghệ trước đó.
LPDDR4 có thể chạy tới 4.2 GT/s trên mỗi pin (truyền giga mỗi giây trên mỗi pin) và hỗ trợ độ rộng bus lên tới x64. LPDDR5X mang lại hiệu suất tăng 50% so với LPDDR4, tăng gấp đôi hiệu suất lên tới 8.5GT/s mỗi pin. Ngoài ra, LPDDR5 còn mang lại hiệu suất sử dụng điện năng tốt hơn 20% so với LPDDR4X (nguồn: Micron). Đây là những phát triển quan trọng có thể hỗ trợ nhu cầu mở rộng các trường hợp sử dụng biên AI.
Những cân nhắc về việc lưu trữ là gì?
Sẽ là chưa đủ nếu nghĩ rằng tài nguyên điện toán bị giới hạn bởi TOP thô của đơn vị xử lý hoặc bởi băng thông của kiến trúc bộ nhớ. Khi các mô hình ML ngày càng trở nên phức tạp hơn, số lượng tham số cho mô hình cũng tăng theo cấp số nhân.
Các mô hình và bộ dữ liệu học máy sẽ mở rộng để đạt được hiệu quả mô hình tốt hơn, do đó, cũng sẽ cần đến bộ lưu trữ nhúng có hiệu suất cao hơn. Các giải pháp NAND được quản lý điển hình như e.MMC 5.1 với 3.2 Gb/s là giải pháp lý tưởng không chỉ để truy xuất mã mà còn để lưu trữ dữ liệu từ xa. Ngoài ra, các giải pháp như UFS 3.1 có thể chạy nhanh hơn bảy lần — lên tới 23.2 Gb/s — để cho phép thực hiện các mô hình phức tạp hơn.
Các kiến trúc mới cũng đang đẩy các chức năng lên mức cao nhất thường được dành cho cơ sở hạ tầng đám mây hoặc CNTT. Ví dụ: các giải pháp biên triển khai một lớp bảo mật mang lại khoảng cách giữa dữ liệu vận hành bị hạn chế và miền CNTT/đám mây. AI ở biên cũng hỗ trợ tự động hóa thông minh như phân loại, gắn thẻ và truy xuất dữ liệu được lưu trữ.
Các phát triển lưu trữ bộ nhớ như SSD NVMe hỗ trợ 3D TLC NAND mang lại hiệu suất cao cho nhiều khối lượng công việc biên khác nhau. Ví dụ: SSD 7450 NVMe của Micron sử dụng công nghệ NAND 176 lớp lý tưởng cho hầu hết khối lượng công việc ở biên và trung tâm dữ liệu. Với độ trễ chất lượng dịch vụ (QoS) 2ms, đây là giải pháp lý tưởng cho các yêu cầu về hiệu suất của nền tảng máy chủ SQL. Nó cũng cung cấp FIPS 140-3 Cấp độ 2 và Tuân thủ TAA đối với các yêu cầu mua sắm của chính phủ liên bang Hoa Kỳ.
Hệ sinh thái đang phát triển của bộ xử lý biên AI
Nghiên cứu thị trường đồng minh ước tính thị trường bộ xử lý biên AI sẽ tăng lên 9.6 tỷ USD vào năm 2030. 4 Tuy nhiên, điều thú vị là nhóm khởi nghiệp bộ xử lý AI mới này đang phát triển ASIC và ASSP độc quyền hướng đến nhiều ứng dụng biên có giới hạn về không gian và năng lượng hơn. Những chipset mới này cũng cần sự cân bằng giữa hiệu suất và sức mạnh khi nói đến các giải pháp bộ nhớ và lưu trữ.
Ngoài ra, chúng tôi thấy rằng các nhà cung cấp chipset AI đã phát triển thẻ tăng tốc hệ số dạng tiêu chuẩn (EDSFF) dành cho doanh nghiệp và trung tâm dữ liệu có thể được cài đặt trong giải pháp 1U và được đặt trên các máy chủ lưu trữ có khả năng thích ứng để tăng tốc mọi khối lượng công việc - từ suy luận AI/ML đến xử lý video - sử dụng cùng một mô-đun.
Làm thế nào để bạn tìm được đối tác lưu trữ và bộ nhớ phù hợp?
AI không còn là sự cường điệu nữa mà là một thực tế đang được triển khai ở mọi ngành dọc. Trong một nghiên cứu, 89% ngành công nghiệp đã có chiến lược hoặc sẽ có chiến lược về AI tiên tiến trong vòng hai năm tới.5
Nhưng việc triển khai AI không phải là một nhiệm vụ tầm thường và các công nghệ cũng như thành phần phù hợp sẽ tạo nên sự khác biệt. Danh mục công nghệ mới nhất của Micron, cả về bộ nhớ và lưu trữ, dẫn đầu cho các khách hàng công nghiệp với Đề xuất giá trị IQ. Nếu bạn đang thiết kế Hệ thống AI Edge, hãy để Micron giúp đưa sản phẩm của bạn ra thị trường nhanh hơn bao giờ hết. Liên hệ với đại diện Micron tại địa phương của bạn hoặc nhà phân phối sản phẩm Micron (www.micron.com).
Bình luận về bài viết này dưới đây hoặc thông qua X: @IoTNow_
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://www.iot-now.com/2024/02/07/141978-ai-at-the-edge-future-of-memory-and-storage-in-accelerating-intelligence/
