Trong một bài báo đăng trên tạp chí khoa học được bình duyệt Thiên nhiên tuần trước, các nhà khoa học tại Google Brain đã giới thiệu một kỹ thuật học tăng cường sâu để lập sơ đồ tầng, quá trình sắp xếp vị trí của các thành phần khác nhau của chip máy tính.

Các nhà nghiên cứu đã sử dụng kỹ thuật học tăng cường để thiết kế Bộ xử lý Tensor thế hệ tiếp theo, bộ xử lý trí tuệ nhân tạo chuyên dụng của Google.

Việc sử dụng phần mềm trong thiết kế chip không phải là mới. Nhưng theo các nhà nghiên cứu của Google, mô hình học tăng cường mới “tự động tạo ra sơ đồ sàn chip vượt trội hơn hoặc có thể so sánh với sơ đồ do con người tạo ra ở tất cả các số liệu chính, bao gồm mức tiêu thụ điện năng, hiệu suất và diện tích chip”. Và nó thực hiện điều đó trong khoảng thời gian ngắn mà con người có thể làm được.

Sự vượt trội của AI so với hiệu suất của con người đã thu hút rất nhiều sự chú ý. Một phương tiện truyền thông đã mô tả nó là “phần mềm trí tuệ nhân tạo có thể thiết kế chip máy tính nhanh hơn con người” và viết rằng “một con chip mà con người phải mất hàng tháng để thiết kế có thể được AI mới của [Google] mơ ước trong vòng chưa đầy sáu giờ”.

Một nguồn tin khác viết: “Chu trình thiết kế chip AI cho AI có vẻ như chỉ mới bắt đầu”.

Nhưng khi đọc bài báo, điều làm tôi ngạc nhiên không phải là sự phức tạp của hệ thống AI được sử dụng để thiết kế chip máy tính mà là sự phối hợp giữa trí tuệ con người và trí tuệ nhân tạo.

Sự tương tự, trực giác và phần thưởng

Bài viết mô tả vấn đề như sau: “Quy hoạch sàn chip bao gồm việc đặt các danh sách mạng lên khung vẽ chip (lưới hai chiều) để các số liệu hiệu suất (ví dụ: mức tiêu thụ điện năng, thời gian, diện tích và chiều dài dây) được tối ưu hóa, đồng thời tuân thủ các ràng buộc cứng về mật độ. và tắc nghẽn định tuyến.”

Về cơ bản, điều bạn muốn làm là đặt các thành phần một cách tối ưu nhất. Tuy nhiên, giống như bất kỳ vấn đề nào khác, khi số lượng thành phần trong một con chip tăng lên thì việc tìm ra những thiết kế tối ưu trở nên khó khăn hơn.

Phần mềm hiện có giúp đẩy nhanh quá trình khám phá cách sắp xếp chip, nhưng chúng lại không hiệu quả khi chip mục tiêu ngày càng phức tạp. Các nhà nghiên cứu quyết định rút kinh nghiệm từ cách học tăng cường đã giải được các bài toán không gian phức tạp khác, chẳng hạn như trò chơi Cờ vây.

“Quy hoạch sàn chip là tương tự [nhấn mạnh của tôi] đối với một trò chơi có nhiều phần khác nhau (ví dụ: cấu trúc liên kết danh sách mạng, số lượng macro, kích thước macro và tỷ lệ khung hình), bảng (kích thước canvas và tỷ lệ khung hình khác nhau) và điều kiện giành chiến thắng (tầm quan trọng tương đối của các số liệu đánh giá khác nhau hoặc mật độ và mật độ khác nhau) hạn chế tắc nghẽn định tuyến),” các nhà nghiên cứu đã viết.

Đây là biểu hiện của một trong những khía cạnh quan trọng và phức tạp nhất của trí thông minh con người: sự giống nhau. Con người chúng ta có thể rút ra những điều trừu tượng từ một vấn đề mà chúng ta giải quyết và sau đó áp dụng những điều trừu tượng đó cho một vấn đề mới. Mặc dù chúng ta coi những kỹ năng này là điều hiển nhiên nhưng chúng lại là điều khiến chúng ta rất giỏi trong việc học chuyển tiếp. Đây là lý do tại sao các nhà nghiên cứu có thể điều chỉnh lại vấn đề quy hoạch sàn chip như một trò chơi cờ bàn và có thể giải quyết nó theo cách giống như các nhà khoa học khác đã giải quyết trò chơi cờ vây.

Các mô hình học tăng cường sâu có thể đặc biệt hiệu quả trong việc tìm kiếm những không gian rất rộng lớn, một kỳ tích về mặt vật lý là không thể thực hiện được với sức mạnh tính toán của bộ não. Nhưng các nhà khoa học phải đối mặt với một vấn đề phức tạp hơn nhiều so với cờ vây. “Không gian trạng thái [The] đặt 1,000 cụm nút trên một lưới có 1,000 ô là vào cỡ 1,000! (lớn hơn 10^2,500), trong khi Go có không gian trạng thái là 10³⁶⁰”, các nhà nghiên cứu viết. Những con chip họ muốn thiết kế sẽ bao gồm hàng triệu nút.

Họ đã giải quyết vấn đề phức tạp bằng một mạng lưới thần kinh nhân tạo có thể mã hóa các thiết kế chip dưới dạng biểu diễn vector và giúp việc khám phá không gian vấn đề trở nên dễ dàng hơn nhiều. Theo bài báo, “Chúng tôi trực giác [nhấn mạnh của tôi] là một chính sách có khả năng thực hiện nhiệm vụ chung là đặt chip cũng phải có thể mã hóa trạng thái liên quan đến một chip mới chưa nhìn thấy thành tín hiệu có ý nghĩa tại thời điểm suy luận. Do đó, chúng tôi đã đào tạo kiến ​​trúc mạng thần kinh có khả năng dự đoán phần thưởng trên các vị trí của danh sách mạng mới, với mục tiêu cuối cùng là sử dụng kiến ​​trúc này làm lớp mã hóa trong chính sách của chúng tôi.”

Thuật ngữ trực giác thường được sử dụng một cách lỏng lẻo. Nhưng nó rất quá trình phức tạp và ít được hiểu liên quan đến kinh nghiệm, kiến ​​thức vô thức, nhận dạng khuôn mẫu, v.v. Trực giác của chúng ta có được từ nhiều năm làm việc trong một lĩnh vực, nhưng chúng cũng có thể có được từ kinh nghiệm trong các lĩnh vực khác. May mắn thay, việc kiểm tra những trực giác này đang trở nên dễ dàng hơn nhờ sự trợ giúp của máy tính công suất cao và công cụ học máy.

Cũng cần lưu ý rằng hệ thống học tập tăng cường cần một phần thưởng được thiết kế tốt. Trên thực tế, một số nhà khoa học tin rằng với chức năng khen thưởng phù hợp, học tăng cường là đủ để đạt được trí tuệ nhân tạo tổng quát. Tuy nhiên, nếu không có phần thưởng phù hợp, đặc vụ RL có thể bị mắc kẹt trong những vòng lặp vô tận, làm những điều ngu ngốc và vô nghĩa. Trong video sau, một đặc vụ RL đóng vai Coast Runners đang cố gắng tối đa hóa số điểm của mình và từ bỏ mục tiêu chính là giành chiến thắng trong cuộc đua.

Các nhà khoa học của Google đã thiết kế phần thưởng cho hệ thống quy hoạch tầng dưới dạng “tổng trọng số âm của chiều dài dây proxy, tình trạng tắc nghẽn và mật độ”. Các trọng số là các siêu tham số mà họ phải điều chỉnh trong quá trình phát triển và đào tạo mô hình học tăng cường.

Với phần thưởng phù hợp, mô hình học tăng cường có thể tận dụng sức mạnh tính toán của nó và tìm mọi cách để thiết kế sơ đồ tầng nhằm tối đa hóa phần thưởng.

Bộ dữ liệu được quản lý

Mạng lưới thần kinh sâu được sử dụng trong hệ thống được phát triển bằng cách sử dụng học có giám sát. Học máy có giám sát yêu cầu dữ liệu được dán nhãn để điều chỉnh các tham số của mô hình trong quá trình đào tạo. Các nhà khoa học của Google đã tạo ra “bộ dữ liệu gồm 10,000 vị trí đặt chip trong đó đầu vào là trạng thái được liên kết với một vị trí nhất định và nhãn là phần thưởng cho vị trí đó”.

Để tránh tạo thủ công mọi sơ đồ tầng, các nhà nghiên cứu đã sử dụng kết hợp các sơ đồ do con người thiết kế và dữ liệu do máy tính tạo ra. Không có nhiều thông tin trong bài báo về mức độ nỗ lực của con người trong việc đánh giá các ví dụ do thuật toán tạo ra có trong tập dữ liệu huấn luyện. Nhưng nếu không có dữ liệu đào tạo chất lượng, các mô hình học có giám sát sẽ đưa ra những suy luận kém.

Theo nghĩa này, hệ thống AI khác với các chương trình học tăng cường khác như AlphaZero, chương trình đã phát triển chính sách chơi trò chơi mà không cần sự can thiệp của con người. Trong tương lai, các nhà nghiên cứu có thể phát triển một tác nhân RL có thể thiết kế sơ đồ tầng của riêng nó mà không cần các thành phần học tập có giám sát. Nhưng tôi đoán là, do tính phức tạp của vấn đề, rất có thể việc giải quyết những vấn đề như vậy sẽ tiếp tục đòi hỏi sự kết hợp giữa trực giác của con người, học máy và điện toán hiệu năng cao.

Thiết kế học tập tăng cường so với thiết kế con người

Một trong những khía cạnh thú vị của công việc được các nhà nghiên cứu của Google trình bày là cách bố trí các con chip. Con người chúng ta sử dụng mọi loại lối tắt để vượt qua giới hạn của bộ não. Chúng ta không thể giải quyết các vấn đề phức tạp trong một khối lớn. Nhưng chúng ta có thể thiết kế các hệ thống phân cấp, mô-đun để phân chia và chinh phục sự phức tạp. Khả năng suy nghĩ và thiết kế kiến ​​trúc từ trên xuống của chúng tôi đã đóng một vai trò quan trọng trong việc phát triển các hệ thống có thể thực hiện các nhiệm vụ rất phức tạp.

Tôi sẽ đưa ra một ví dụ về công nghệ phần mềm, lĩnh vực chuyên môn của riêng tôi. Về lý thuyết, bạn có thể viết toàn bộ chương trình bằng một dòng lệnh rất lớn, liền kề trong một tệp duy nhất. Nhưng các nhà phát triển phần mềm không bao giờ viết chương trình của họ theo cách đó. Chúng tôi tạo ra phần mềm theo từng phần nhỏ, chức năng, lớp, mô-đun có thể tương tác với nhau thông qua các giao diện được xác định rõ ràng. Sau đó, chúng tôi lồng những phần đó thành những phần lớn hơn và dần dần tạo ra một hệ thống phân cấp các thành phần. Bạn không cần phải đọc từng dòng của chương trình để hiểu nó làm gì. Tính mô-đun cho phép nhiều lập trình viên làm việc trên một chương trình và một số chương trình để sử dụng lại các thành phần đã xây dựng trước đó. Đôi khi, chỉ cần nhìn vào kiến ​​trúc lớp của một chương trình là đủ để chỉ cho bạn hướng đi đúng để xác định lỗi hoặc tìm đúng nơi để thêm bản nâng cấp. Chúng tôi thường đánh đổi tốc độ để lấy tính mô-đun và thiết kế tốt hơn.

Sau một thời trang, điều tương tự có thể được nhìn thấy trong thiết kế chip máy tính. Các chip do con người thiết kế có xu hướng có ranh giới rõ ràng giữa các mô-đun khác nhau. Mặt khác, các sơ đồ tầng do tác nhân học tăng cường của Google thiết kế đã tìm thấy ít trở ngại nhất, bất kể bố cục trông như thế nào (xem hình bên dưới).

Ảnh trên: Phải: Chip được thiết kế thủ công. Trái: Chip được thiết kế bằng AI

Tôi muốn biết liệu đây có trở thành một mô hình thiết kế bền vững trong tương lai hay liệu nó có yêu cầu một số loại thỏa hiệp giữa các thiết kế được tạo ra bằng máy học được tối ưu hóa cao và trật tự từ trên xuống do các kỹ sư con người áp đặt hay không.

AI + trí tuệ con người

Như nhà thiết kế chip hỗ trợ học tập tăng cường của Google cho thấy, những đổi mới về phần cứng và phần mềm AI sẽ tiếp tục đòi hỏi tư duy trừu tượng, tìm ra vấn đề phù hợp để giải quyết, phát triển trực giác về các giải pháp và chọn loại dữ liệu phù hợp để xác thực các giải pháp. Đó là những loại kỹ năng mà chip AI tốt hơn có thể nâng cao nhưng không thể thay thế được.

Cuối cùng, tôi không coi đây là câu chuyện về “AI thông minh hơn con người”, “AI tạo ra AI thông minh hơn” hay phát triển AI “tự cải thiện đệ quy“khả năng. Nó đúng hơn là biểu hiện của việc con người tìm cách sử dụng AI làm chỗ dựa để vượt qua giới hạn nhận thức của chính mình và mở rộng khả năng của mình. Nếu có một chu kỳ đạo đức, thì đó là chu trình AI và con người tìm ra cách hợp tác tốt hơn.

Ben Dickson là một kỹ sư phần mềm và là người sáng lập TechTboards. Anh ấy viết về công nghệ, kinh doanh và chính trị.

Câu chuyện này xuất hiện lần đầu trên Bdtechtalks.com. Bản quyền 2021