Mọi bộ xử lý mới đều tuyên bố là nhanh nhất, rẻ nhất hoặc tiết kiệm điện nhất, nhưng cách đo lường các tuyên bố đó và thông tin hỗ trợ có thể từ rất hữu ích đến không liên quan.
Ngành công nghiệp chip đang gặp khó khăn hơn nhiều so với trước đây để cung cấp các số liệu thông tin. Hai mươi năm trước, việc đo lường hiệu suất của bộ xử lý tương đối dễ dàng. Nó là sự kết hợp giữa tốc độ thực thi các lệnh, mức độ hữu ích của mỗi lệnh được thực thi và tốc độ thông tin có thể được đọc và ghi vào bộ nhớ. Điều này được cân nhắc so với lượng điện năng mà nó tiêu thụ và giá thành của nó, những thứ chắc chắn không quan trọng bằng.
Thời Gian Dennard mở rộng giảm, tốc độ đồng hồ không còn tăng đối với nhiều thị trường và xếp hạng MIPS bị đình trệ. Những cải tiến đã được thực hiện ở những nơi khác trong kiến trúc, trong kết nối bộ nhớ và bằng cách thêm nhiều bộ xử lý hơn. Nhưng không có số liệu hiệu suất mới nào được tạo.
Ravi Subramanian, phó chủ tịch cấp cao kiêm tổng giám đốc của Điện thoại Siemens. “Sự im lặng đó được tạo ra bởi Intel và Microsoft, họ kiểm soát hợp đồng tồn tại giữa kiến trúc máy tính và khối lượng công việc chạy trên đó, ứng dụng. Điều đó đã thúc đẩy một phần lớn lĩnh vực máy tính, và đặc biệt là doanh nghiệp. Giờ đây, chúng tôi có một số loại máy tính rất cụ thể, dành riêng cho miền hoặc thích hợp hơn, đã phá vỡ kiến trúc von Neumann. Hàng triệu hoạt động mỗi giây trên mỗi miliwatt trên megahertz đã được san bằng và để có được hiệu quả tính toán cao hơn nhiều, một hợp đồng mới phải được xây dựng giữa chủ sở hữu khối lượng công việc và kiến trúc sư máy tính. "
Điều quan trọng là phải xem xét ứng dụng khi cố gắng đo lường chất lượng của bộ xử lý. Bộ xử lý này thực hiện một tác vụ cụ thể tốt như thế nào và trong những điều kiện nào?
GPU và DSP đã bắt đầu ngành công nghiệp này từ máy tính theo miền cụ thể, nhưng ngày nay nó đang được nâng lên một tầm cao mới. James Chuang, giám đốc tiếp thị sản phẩm của PrimeTime tại Synopsys. “Những kiến trúc mới này có thể đạt được các yêu cầu về cải thiện cường độ hiệu suất trên mỗi watt trên cùng một công nghệ quy trình. Chúng mở ra một không gian rộng lớn chưa được biết đến để khám phá thiết kế, cả ở cấp độ kiến trúc và cấp độ thiết kế vật lý ”.
Đã có những nỗ lực để xác định các chỉ số mới bắt chước các chỉ số từ kỷ nguyên trước. Nick Ni, giám đốc tiếp thị sản phẩm cho AI, phần mềm và giải pháp trong AMD Nhóm Máy tính Thích ứng & Nhúng. “Các bộ xử lý xác định hàng nghìn tỷ thao tác mỗi giây (TOPS) mà chúng có thể thực hiện và những xếp hạng đó đang tăng lên nhanh chóng, (thể hiện trong hình 1). Nhưng hiệu suất thực sự là gì về hiệu suất trên mỗi watt, hay hiệu suất trên mỗi đô la? ”
Hình 1: Tăng trưởng xếp hạng AI TOPS. Nguồn: AMD / Xilinx
Với kích thước chip đạt đến giới hạn kẻ ô, việc đưa thêm bóng bán dẫn vào khuôn trở nên đắt hơn và khó khăn hơn, ngay cả khi mở rộng quy trình, và do đó, hiệu suất tăng chỉ có thể đến từ những thay đổi về kiến trúc hoặc công nghệ đóng gói mới.
Nhiều bộ xử lý nhỏ hơn thường tốt hơn một bộ xử lý lớn hơn. Việc kết hợp nhiều khuôn lại với nhau trong một gói cũng cho phép kết nối với bộ nhớ và các lõi tính toán khác cũng trải qua các cải tiến về kiến trúc. Priyank Shukla, giám đốc tiếp thị sản phẩm của nhân viên tại Synopsys cho biết: “Bạn có thể có nhiều đơn vị xử lý được kết hợp với nhau trong một gói để mang lại hiệu suất tốt hơn. “Gói này, sẽ có nhiều khuôn, sẽ hoạt động như một cơ sở hạ tầng máy tính lớn hơn hoặc mạnh hơn. Hệ thống đó đang cung cấp một kiểu chia tỷ lệ của Định luật Moore mà ngành công nghiệp đã quen nhìn thấy. Chúng tôi đang đạt đến giới hạn mà một cá nhân chết sẽ không giúp bạn cải thiện hiệu suất. Nhưng giờ đây, đây là những hệ thống đang mang lại cho bạn sự cải thiện về hiệu suất của 2X trong 18 tháng, đó là những gì chúng tôi đã quen. ”
Khối lượng công việc đang thúc đẩy yêu cầu mới trong kiến trúc máy tính. Subramanian của Siemens nói: “Những thứ này vượt ra ngoài các kiến trúc von Neumann truyền thống. “Nhiều loại khối lượng công việc mới cần phân tích và họ cần tạo ra các mô hình. AI và ML về cơ bản đã trở thành lực lượng lao động để thúc đẩy sự phát triển mô hình. Làm cách nào để lập mô hình, dựa trên dữ liệu đào tạo, để sau đó tôi có thể sử dụng mô hình để dự đoán? Đó là một loại khối lượng công việc rất mới. Và điều đó đang thúc đẩy một quan điểm rất mới về kiến trúc máy tính. Làm thế nào để kiến trúc máy tính tương tác với những khối lượng công việc đó? Bạn có thể thực hiện một mạng lưới thần kinh hoặc DNN trên CPU x86 truyền thống. Nhưng nếu bạn xem xét bạn có thể nhận được bao nhiêu triệu thao tác trên milliwatt, trên megahertz, và xem xét độ dài từ, trọng lượng, độ sâu của chúng, chúng có thể được phân phối tốt hơn theo cách hiệu quả hơn nhiều bằng cách kết hợp khối lượng công việc đối với kiến trúc máy tính. ”
Khối lượng công việc và số liệu hiệu suất khác nhau tùy thuộc vào vị trí. Shukla của Synopsys cho biết: “Các nhà nghiên cứu hyperscalers đã đưa ra các số liệu khác nhau để đánh giá các loại sức mạnh tính toán khác nhau. “Ban đầu họ sẽ nói về Petaflops trên giây, tốc độ mà họ có thể thực hiện các phép toán dấu phẩy động. Nhưng khi khối lượng công việc trở nên phức tạp hơn, họ đang xác định các thước đo mới để đánh giá cả phần cứng và phần mềm cùng nhau. Nó không chỉ là phần cứng thô. Đó là sự kết hợp của cả hai. Chúng tôi thấy họ tập trung vào một số liệu gọi là PUE, là hiệu quả sử dụng điện năng. Họ đã và đang làm việc để giảm bớt điện năng cần thiết để duy trì trung tâm dữ liệu đó ”.
Những gì đã mất là phương tiện để so sánh hai bộ xử lý bất kỳ, ngoại trừ khi chạy một ứng dụng cụ thể trong điều kiện tối ưu. Ngay cả khi đó, vẫn có những vấn đề. Bộ xử lý và hệ thống mà nó được sử dụng có thể duy trì hiệu suất của nó trong một thời gian dài không? Hay nó bị nghẹt vì nóng? Điều gì xảy ra khi nhiều ứng dụng đang chạy trên bộ xử lý cùng một lúc, gây ra các kiểu truy cập bộ nhớ khác nhau? Và tính năng quan trọng nhất của một bộ xử lý bên ngoài trung tâm dữ liệu là hiệu suất của nó, hay là tuổi thọ pin và mức tiêu thụ điện năng, hay sự cân bằng nào đó giữa cả hai?
Sailesh Chittipeddi, phó chủ tịch điều hành kiêm tổng giám đốc của Renesas ' Đơn vị Kinh doanh Cơ sở hạ tầng và IoT. “Vì vậy, bạn có thể nghĩ về loại khả năng tính toán bạn cần và liệu nó có được tối ưu hóa cho khối lượng công việc hay không. Nhưng yếu tố cuối cùng là nó vẫn phải ở mức tiêu thụ điện năng thấp nhất. Và sau đó câu hỏi trở thành, 'Bạn có đặt kết nối trên bo mạch không, hay bạn để nó ở bên ngoài. Hoặc bạn sẽ làm gì với điều đó về việc tối ưu hóa nó để tiêu thụ điện năng. Đó là thứ cần phải được sắp xếp ở cấp độ hệ thống. ”
Đo lường điều đó là khó khăn. Kết quả điểm chuẩn không chỉ phản ánh phần cứng mà còn là phần mềm và trình biên dịch liên quan, phức tạp hơn rất nhiều so với trước đây. Điều này có nghĩa là hiệu suất cho một tác vụ cụ thể có thể thay đổi theo thời gian mà không có bất kỳ thay đổi nào trong phần cứng cơ bản.
Các cân nhắc về kiến trúc không chỉ dừng lại ở các chân của một gói hàng. Shukla nói: “Hãy cân nhắc chụp ảnh trên một chiếc điện thoại thông minh tiên tiến. “Có một suy luận AI được thực hiện trong cảm biến CMOS để chụp ảnh. Thứ hai, điện thoại có bốn lõi để xử lý AI bổ sung. Cấp độ thứ ba xảy ra ở rìa trung tâm dữ liệu. Các hyperscalers đã triển khai các cấp độ truyền thông khác nhau ở các khoảng cách khác nhau từ việc thu thập dữ liệu. Và cuối cùng, bạn sẽ có các trung tâm dữ liệu thực sự lớn. Có bốn cấp độ mà hội nghị AI xảy ra và khi chúng ta tính toán sức mạnh, chúng ta nên tính toán tất cả những điều này. Nó bắt đầu với IoT, chiếc điện thoại trong tay bạn, đến tận trung tâm dữ liệu cuối cùng ”.
Với rất nhiều công ty khởi nghiệp tạo ra bộ vi xử lý mới, có khả năng nhiều người sẽ thành công hoặc thất bại vì chất lượng của phần mềm của họ chứ không phải do bản thân phần cứng. Thêm vào những khó khăn, phần cứng phải được thiết kế tốt trước khi biết nó có thể đang chạy những ứng dụng nào. Trong những tình huống đó, thậm chí không có gì để so sánh bộ xử lý.
điểm chuẩn
Điểm chuẩn nhằm cung cấp một sân chơi bình đẳng để hai thứ có thể được so sánh trực tiếp, nhưng chúng vẫn để ngỏ cho việc thao túng.
Khi một ứng dụng cụ thể trở nên đủ quan trọng, thị trường yêu cầu các điểm chuẩn để chúng có thể được đánh giá. Shukla nói: “Có những tiêu chuẩn cho các loại đào tạo AI khác nhau. “ResNet là tiêu chuẩn để nhận dạng hình ảnh, nhưng đây là tiêu chuẩn hiệu suất, không phải là tiêu chuẩn sức mạnh. Hyperscalers sẽ cho thấy hiệu quả của máy tính của họ dựa trên phần cứng và phần mềm. Một số thậm chí còn xây dựng phần cứng tùy chỉnh, một bộ tăng tốc, có thể thực thi tác vụ tốt hơn một GPU vani hoặc triển khai dựa trên FPGA vani. TensorFlow là một ví dụ cùng với TPU của Google. Họ đánh giá hiệu suất AI của họ dựa trên điều này, nhưng sức mạnh không phải là một phần của phương trình tính đến thời điểm hiện tại. Đó chủ yếu là hiệu suất. ”
Bỏ qua quyền lực là một hình thức thao túng. Peter Greenhalgh, phó chủ tịch công nghệ và đồng nghiệp tại Cánh tay. “Ngược lại điều này với các điện thoại hàng đầu hiện nay có tần số 3GHz. Đối với CPU máy tính để bàn, hình ảnh có nhiều sắc thái hơn. Mặc dù tần số Turbo chỉ cao hơn một chút so với 20 năm trước, nhưng các CPU có thể ở tần số cao hơn trong thời gian dài hơn ”.
Nhưng không phải tất cả các điểm chuẩn đều có kích thước hoặc độ phức tạp trong thời gian chạy để đạt được điểm đó. Preeti Gupta, trưởng bộ phận quản lý sản phẩm PowerArtist tại Ansys. “Và một khi nó vượt quá một ngưỡng nhất định, thì bạn phải điều chỉnh lại hiệu suất, (như thể hiện trong hình 2). Công suất, nhiệt và hiệu suất gắn liền với nhau rất chặt chẽ. Các thiết kế không quan tâm đến hiệu quả sử dụng điện sẽ phải trả giá bằng việc chạy chậm hơn. Trong quá trình phát triển, bạn phải sử dụng các trường hợp sử dụng thực tế, chạy hàng tỷ chu kỳ và phân tích chúng để tìm hiệu ứng nhiệt. Sau khi xem bản đồ nhiệt, bạn có thể cần phải di chuyển một phần logic để phân phối nhiệt. Ít nhất, bạn cần phải đặt các cảm biến ở các vị trí khác nhau để bạn biết khi nào cần điều chỉnh lại hiệu suất ”.
Hình 2: Việc điều chỉnh hiệu suất có thể ảnh hưởng đến tất cả các bộ vi xử lý. Nguồn: Ansys
Theo thời gian, các kiến trúc tối ưu hóa cho các điểm chuẩn cụ thể. Synopsys 'Chuang nói: “Các điểm chuẩn tiếp tục phát triển và phản ánh việc sử dụng trong thế giới thực, có thể tương đối dễ dàng để tạo và triển khai bằng cách sử dụng các phương pháp luận đã được thiết lập tốt ở cấp phần mềm hệ thống hoặc ở giai đoạn thử nghiệm silicon. “Tuy nhiên, phân tích luôn đi sau thực tế. Thách thức lớn hơn trong thiết kế chip là làm thế nào để tối ưu hóa cho các điểm chuẩn này. Ở giai đoạn thiết kế silicon, các tiêu chuẩn công suất phổ biến thường chỉ được biểu thị bằng một cấu hình bật tắt thống kê (SAIF) hoặc một cửa sổ mẫu rất ngắn - 1 đến 2 nano giây của hoạt động thực tế (FSDB). Thay vì 'đo lường cái gì', xu hướng lớn hơn là 'đo lường ở đâu.' Chúng tôi đang thấy khách hàng thúc đẩy phân tích công suất từ đầu cuối đến đầu cuối trong toàn bộ quy trình để tối ưu hóa chính xác, điều này đòi hỏi xương sống phân tích điện nhất quán từ mô phỏng, mô phỏng, tối ưu hóa và đăng xuất. ”
Điểm chuẩn có thể xác định khi có sự không khớp cơ bản giữa ứng dụng và kiến trúc phần cứng mà ứng dụng đang chạy. Ni của AMD / Xilinx cho biết: “Có thể có silicon tối lớn khi bạn đang chạy khối lượng công việc thực tế trên một số kiến trúc. “Vấn đề thực sự là sự di chuyển dữ liệu. Bạn đang bỏ đói động cơ và điều này dẫn đến hiệu quả tính toán thấp. "
Ngay cả điều này không nói lên toàn bộ câu chuyện. Ni cho biết thêm: “Ngày càng có nhiều điểm chuẩn tiêu chuẩn mà nhiều người đồng ý. “Đây là những mô hình được mọi người coi là tối tân. Nhưng mức độ hiệu quả của họ trong việc vận hành các mô hình mà bạn có thể quan tâm? Hiệu suất tuyệt đối là gì, hay hiệu suất trên mỗi watt hoặc hiệu suất trên một đô la của bạn là bao nhiêu? Đó là những gì quyết định OpEx thực tế của tủ của bạn, đặc biệt là trong trung tâm dữ liệu. Hiệu suất tốt nhất hoặc hiệu suất năng lượng và hiệu quả chi phí, thường là hai điều quan tâm lớn nhất. "
Những người khác đồng ý. Andy Heinig, trưởng nhóm tích hợp hệ thống tiên tiến và trưởng bộ phận về thiết bị điện tử hiệu quả cho biết: “Theo quan điểm của chúng tôi, có hai số liệu đang ngày càng trở nên quan trọng. Bộ phận Kỹ thuật Hệ thống Thích ứng của Fraunhofer IIS. “Một trong số đó là mức tiêu thụ điện năng hoặc hoạt động trên mỗi watt. Với việc chi phí năng lượng ngày càng tăng, chúng tôi kỳ vọng điều này sẽ ngày càng trở nên quan trọng. Số liệu ngày càng tăng thứ hai là do sự thiếu hụt chip. Chúng tôi muốn bán sản phẩm với số lượng thiết bị nhỏ nhất, nhưng với yêu cầu về hiệu suất cao nhất. Điều này có nghĩa là ngày càng có nhiều kiến trúc linh hoạt là cần thiết. Chúng tôi cần một số liệu hiệu suất mô tả tính linh hoạt của một giải pháp liên quan đến các thay đổi đối với các ứng dụng khác nhau ”.
Một thách thức quan trọng trong thiết kế chip là bạn không biết khối lượng công việc trong tương lai sẽ như thế nào. “Nếu bạn không biết khối lượng công việc trong tương lai, làm thế nào để bạn thực sự thiết kế các kiến trúc phù hợp với các ứng dụng đó?” Subramanian hỏi. “Đó là nơi chúng ta đang chứng kiến sự xuất hiện thực sự của kiến trúc máy tính, bắt đầu với việc hiểu khối lượng công việc, lập hồ sơ và hiểu các loại luồng dữ liệu, luồng điều khiển và truy cập bộ nhớ tốt nhất sẽ làm giảm đáng kể mức tiêu thụ điện năng và tăng hiệu quả sử dụng năng lượng của máy tính . Nó thực sự phụ thuộc vào lượng năng lượng bạn đang sử dụng để thực hiện các phép tính hữu ích và bạn đang sử dụng bao nhiêu năng lượng để di chuyển dữ liệu? Hồ sơ tổng thể đó trông như thế nào đối với các loại ứng dụng? ”
Các bài viết Tại sao việc so sánh các bộ vi xử lý lại khó đến vậy xuất hiện đầu tiên trên Kỹ thuật bán dẫn.
