nghiên cứu Điện toán lượng tử vẫn còn cách xa một thập kỷ nữa trong hơn một thập kỷ nay, nhưng theo các chuyên gia trong ngành, nó có thể nắm giữ bí mật để kiềm chế sự thèm ăn vô độ của AI.

Mỗi tháng trôi qua, các mô hình lớn hơn, dày đặc tham số hơn lại xuất hiện và quy mô triển khai AI cũng mở rộng theo. Riêng trong năm nay, những công ty siêu quy mô như Meta, có kế hoạch triển khai hàng trăm ngàn máy gia tốc. Ngay cả người sáng lập OpenAI Sam Altman vẫn là thuyết phục chúng ta sẽ cần tính toán nhiều hơn theo cấp số nhân nếu muốn tiếp tục phát triển AI.

Do đó, không có gì ngạc nhiên khi với lần tuyển dụng mới nhất của mình, OpenAI sẽ đang phòng ngừa rủi ro khi đặt cược vào điện toán lượng tử nếu có thể. Tuần trước, gã khổng lồ AI đã bổ sung Ben Bartlett, cựu kiến ​​trúc sư hệ thống lượng tử tại PsiQuantum vào hàng ngũ của mình.

Chúng tôi đã liên hệ với Open AI để tìm hiểu thêm về những gì Bartlett sẽ làm tại công ty khởi xướng xu hướng AI và chưa nhận được phản hồi. Tuy nhiên của anh ấy sinh học đưa ra một số gợi ý vì phần lớn nghiên cứu của anh ấy tập trung vào sự giao thoa giữa vật lý lượng tử, học máy và quang tử nano, và “về cơ bản bao gồm việc tôi thiết kế các đường đua nhỏ cho các photon để đánh lừa chúng thực hiện các phép tính hữu ích”

Vậy chính xác thì OpenAI có thể muốn gì ở một nhà vật lý lượng tử? Chà, có một số khả năng, từ sử dụng tối ưu hóa lượng tử để hợp lý hóa các tập dữ liệu đào tạo hoặc sử dụng các đơn vị xử lý lượng tử (QPU) để giảm tải cơ sở dữ liệu đồ thị phức tạp, cho đến sử dụng quang học để mở rộng quy mô vượt quá giới hạn của bao bì bán dẫn hiện đại.

Mạng lưới thần kinh chỉ là một vấn đề tối ưu hóa khác

Điện toán lượng tử có khả năng cải thiện đáng kể hiệu quả của việc đào tạo các mô hình AI lớn, cho phép chúng đưa ra câu trả lời chính xác hơn từ các mô hình có ít tham số hơn, Murray Thom của D-Wave nói Đăng ký.

Với GPT-4 được đồn đại là vượt quá một nghìn tỷ thông số, không khó để hiểu tại sao điều này có thể hấp dẫn. Không cần dùng đến lượng tử hóa và các chiến lược nén khác, các mô hình AI cần khoảng 1GB bộ nhớ cho mỗi tỷ tham số khi chạy ở độ chính xác FP8 hoặc Int8 và ở độ chính xác cao hơn, thậm chí nhiều hơn thế.

Một nghìn tỷ mô hình tham số đang tiến gần đến giới hạn mà một máy chủ AI có thể đáp ứng một cách hiệu quả. Nhiều máy chủ có thể được kết hợp với nhau để hỗ trợ các mô hình lớn hơn, nhưng việc rời khỏi hộp sẽ gây ra hiệu suất kém.

Và đó là ngày hôm nay. Và nếu Altman đúng thì những mô hình này sẽ ngày càng lớn hơn và phổ biến hơn. Do đó, bất kỳ công nghệ nào có thể cho phép OpenAI tăng khả năng của các mô hình của nó mà không tăng số lượng tham số một cách có ý nghĩa đều có thể giúp nó phát triển.

Trevor Lanting, Phó chủ tịch phần mềm và thuật toán của D-Wave cho biết: “Khi bạn đang đào tạo một mô hình, số lượng tham số đưa vào mô hình thực sự quyết định chi phí và độ phức tạp của việc đào tạo mô hình”. Đăng ký.

Ông giải thích, để giải quyết vấn đề này, các nhà phát triển thường sẽ chọn phụ các tính năng mà họ cho rằng sẽ quan trọng nhất để đào tạo mô hình cụ thể đó, từ đó làm giảm số lượng tham số cần thiết.

Nhưng thay vì cố gắng thực hiện điều này bằng các hệ thống thông thường, D-Wave chứng minh rằng các thuật toán tối ưu hóa lượng tử có thể hiệu quả hơn trong việc xác định những tính năng nào nên bỏ vào hoặc bỏ đi.

Nếu bạn chưa quen, các vấn đề tối ưu hóa, như những vấn đề thường thấy trong tìm đường hoặc hậu cần đã được chứng minh là một trong những ứng dụng hứa hẹn nhất của điện toán lượng tử cho đến nay.

Thom nói: “Điều mà máy tính lượng tử của chúng tôi thực sự giỏi là tối ưu hóa những thứ đang diễn ra hoặc không xảy ra: chẳng hạn như ai đó được giao một lịch trình cụ thể hoặc được giao một chuyến giao hàng cụ thể”. “Nếu những quyết định đó là độc lập thì điều đó sẽ ổn và máy tính cổ điển có thể dễ dàng thực hiện, nhưng chúng thực sự ảnh hưởng đến các tài nguyên khác trong nhóm và có một loại hiệu ứng mạng.”

Nói cách khác, thế giới thực rất lộn xộn. Có thể có nhiều phương tiện trên đường, đường bị đóng, sự kiện thời tiết, v.v. So với máy tính cổ điển, các thuộc tính độc đáo vốn có của máy tính lượng tử cho phép chúng khám phá đồng thời các yếu tố này để xác định lộ trình tốt nhất.

Điều này “hoàn toàn tương tự như một mạng lưới thần kinh trong đó các tế bào thần kinh kích hoạt hoặc không kích hoạt, và chúng có các kết nối khớp thần kinh với các tế bào thần kinh khác, điều này kích thích hoặc ức chế các tế bào thần kinh khác kích hoạt,” Thom giải thích.

Và điều này có nghĩa là các thuật toán lượng tử có thể được sử dụng để tối ưu hóa bộ dữ liệu đào tạo AI cho các yêu cầu cụ thể, mà khi được đào tạo sẽ mang lại một mô hình gọn gàng hơn, chính xác hơn, Lanting tuyên bố.

Lấy mẫu lượng tử và giảm tải

Về lâu dài, D-Wave và những người khác đang tìm cách triển khai QPU sâu hơn vào quá trình đào tạo.

Một trong những trường hợp sử dụng này liên quan đến việc áp dụng tính toán lượng tử vào việc lấy mẫu. Lấy mẫu đề cập đến cách các mô hình AI, như LLM, xác định từ tiếp theo, hay cụ thể hơn là mã thông báo, sẽ dựa trên phân bố xác suất. Đây là lý do tại sao người ta thường nói đùa rằng LLM chỉ tự động hoàn thành trên steroid.

“Phần cứng có khả năng tạo mẫu rất tốt và bạn có thể điều chỉnh mức phân phối để có thể điều chỉnh trọng số của các mẫu đó. Và những gì chúng tôi đang khám phá là: đây có phải là một cách tốt để thực sự đưa điện toán lượng tử ủ cứng và trực tiếp hơn vào khối lượng công việc đào tạo,” Lanting giải thích.

Công ty khởi nghiệp điện toán lượng tử Pasqal của Pháp cũng đang thử nghiệm áp dụng điện toán lượng tử để giảm tải các tập dữ liệu có cấu trúc đồ thị thường thấy trong mạng lưới thần kinh.

“Trong học máy không có cách nào thực sự đơn giản để biểu diễn dữ liệu theo cách cổ điển, bởi vì biểu đồ là một đối tượng phức tạp,” Đồng Giám đốc điều hành Pasqal Loïc Henriet giải thích trong một cuộc phỏng vấn với Đăng ký. “Bạn có thể nhúng dữ liệu có cấu trúc biểu đồ vào động lực lượng tử một cách tương đối tự nhiên, điều này mang lại một số cách mới để xử lý những phần dữ liệu đó”.

Tuy nhiên, trước khi đạt được điều này, các hệ lượng tử sẽ phải lớn hơn và nhanh hơn rất nhiều, Henriet giải thích.

Ông nói: “Các bộ dữ liệu lớn hiện không thực tế. “Đó là lý do tại sao chúng tôi đang tăng số lượng qubit; tỷ lệ lặp lại. Bởi vì với nhiều qubit hơn, bạn có thể nhúng nhiều dữ liệu hơn.”

Thật khó để nói rằng chúng ta sẽ phải đợi bao lâu trước khi mạng lưới thần kinh đồ thị lượng tử trở nên khả thi. Pasqal đã có hệ thống 10,000 qubit trong các tác phẩm. Thật không may, nghiên cứu cho thấy rằng sẽ cần hơn 10,000 qubit sửa lỗi hoặc khoảng một triệu qubit vật lý chỉ để cạnh tranh với GPU hiện đại.

Một trò chơi quang tử silicon?

Ngoài các trường hợp sử dụng AI lượng tử kỳ lạ, còn có những công nghệ khác mà OpenAI có thể đang theo đuổi mà Bartlett tình cờ là một chuyên gia.

Đáng chú ý nhất là PsiQuantum, chủ cũ của Bartlett, đã phát triển các hệ thống dựa trên quang tử silicon. Điều này cho thấy việc thuê anh ta có thể liên quan đến OpenAI báo cáo làm việc trên một bộ tăng tốc AI tùy chỉnh.

Một số công ty khởi nghiệp về quang tử silicon, bao gồm Ayar Labs, Lightmatter và Celestial AI đã thúc đẩy công nghệ này như một phương tiện để vượt qua giới hạn băng thông, vốn đã trở thành yếu tố hạn chế nâng cao hiệu suất học máy.

Ý tưởng ở đây là bạn có thể đẩy nhiều dữ liệu đi một khoảng cách xa hơn bằng ánh sáng so với bằng tín hiệu điện thuần túy. Trong nhiều thiết kế kiểu này, ánh sáng thực sự được truyền đi bởi các thanh dẫn sóng được khắc vào silicon, nghe có vẻ rất giống “thiết kế các đường đua nhỏ cho các photon”.

Ánh sáng tin công nghệ này sẽ cho phép nhiều bộ tăng tốc hoạt động như một mà không phải chịu phạt về băng thông đối với dữ liệu rời khỏi chip. Trong khi đó Celestial nhìn thấy một Cơ hội để tăng đáng kể dung lượng bộ nhớ băng thông cao có sẵn cho GPU bằng cách loại bỏ nhu cầu đóng gói chung các mô-đun liền kề với khuôn tăng tốc. Cả hai khả năng này đều sẽ hấp dẫn đối với một công ty làm việc với hệ thống AI ở quy mô lớn.

Liệu OpenAI cuối cùng sẽ theo đuổi AI lượng tử hay quang tử silicon hay không vẫn còn phải xem, nhưng đối với một công ty mà người sáng lập không lạ gì với việc đầu tư dài hạn, đó sẽ không phải là điều kỳ lạ nhất mà Altman đã ủng hộ. ®

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/