Học máy ứng dụng dưới những ràng buộc của thế giới thực
Để cải thiện cách hệ thống đề xuất của Google Play tìm hiểu sở thích của người dùng, phương pháp đầu tiên của chúng tôi là sử dụng LSTM (Trí nhớ ngắn hạn dài) mô hình, một mạng lưới thần kinh hồi quy hoạt động tốt trong các tình huống thực tế nhờ vào phương trình cập nhật mạnh mẽ và động lực lan truyền ngược. Mặc dù LSTM mang lại độ chính xác đáng kể nhưng nó cũng gây ra độ trễ cung cấp vì LSTM có thể tốn kém về mặt tính toán khi xử lý các chuỗi dài. Để giải quyết vấn đề này, chúng tôi đã thay thế LSTM bằng mô hình máy biến áp, được trang bị tốt để dự đoán theo trình tự và trước đây đã mang lại kết quả mạnh mẽ trong xử lý ngôn ngữ tự nhiên, vì nó có thể nắm bắt được sự phụ thuộc lâu hơn giữa các từ so với các mô hình thường được sử dụng khác. Transformer đã cải thiện hiệu suất của mô hình nhưng cũng làm tăng chi phí đào tạo. Giải pháp thứ ba và cuối cùng của chúng tôi là triển khai mô hình chú ý phụ gia hiệu quả phù hợp với mọi sự kết hợp của các tính năng trình tự, đồng thời có chi phí tính toán thấp.
Trình tạo ứng viên không thiên vị
Mô hình của chúng tôi (được gọi là trình tạo ứng viên) tìm hiểu những ứng dụng mà người dùng có nhiều khả năng cài đặt hơn dựa trên các ứng dụng trước đó họ đã cài đặt từ Cửa hàng Play. Tuy nhiên, điều này có thể gây ra vấn đề sai lệch khuyến nghị. Ví dụ: nếu ứng dụng A được hiển thị trong Cửa hàng Play nhiều hơn 10 lần so với ứng dụng B, thì có nhiều khả năng người dùng sẽ cài đặt ứng dụng đó hơn và do đó có nhiều khả năng được mô hình của chúng tôi đề xuất hơn. Do đó, mô hình tìm hiểu xu hướng ưa thích các ứng dụng được hiển thị - và do đó được cài đặt - thường xuyên hơn.
Để giúp khắc phục sai lệch này, chúng tôi đã giới thiệu trọng số tầm quan trọng trong mô hình của mình. Trọng số tầm quan trọng được dựa trên tỷ lệ hiển thị để cài đặt của từng ứng dụng riêng lẻ so với tỷ lệ hiển thị để cài đặt trung bình trên Cửa hàng Play. Ứng dụng có tỷ lệ cài đặt dưới mức trung bình sẽ có tầm quan trọng nhỏ hơn một. Tuy nhiên, ngay cả những ứng dụng “ngách” được cài đặt ít thường xuyên hơn cũng có thể có tầm quan trọng cao nếu tỷ lệ cài đặt của chúng cao hơn tỷ lệ trung bình. Thông qua việc cân nhắc tầm quan trọng, trình tạo ứng cử viên của chúng tôi có thể giảm hoặc tăng trọng số ứng dụng dựa trên tỷ lệ cài đặt của chúng, điều này giúp giảm thiểu vấn đề sai lệch đề xuất.
Những cải tiến trong đề xuất của người sắp xếp lại
Hệ thống đề xuất thường cung cấp nhiều khả năng cho người dùng và trình bày chúng theo thứ tự với các tùy chọn tốt nhất hoặc phù hợp nhất ở trên cùng. Nhưng làm cách nào để chúng tôi đảm bảo các ứng dụng phù hợp nhất sẽ xuất hiện ở đầu danh sách để người dùng không phải cuộn tìm trang hoặc có thể bỏ lỡ tùy chọn tốt nhất? Nhiều hệ thống khuyến nghị xử lý vấn đề xếp hạng như một vấn đề phân loại nhị phân, trong đó dữ liệu huấn luyện được gắn nhãn với lớp tích cực hoặc tiêu cực và người xếp hạng học cách dự đoán xác suất chỉ từ nhãn nhị phân này. Tuy nhiên, loại mô hình “theo điểm” này – chỉ xếp hạng một mục tại một thời điểm – không nắm bắt được bối cảnh về cách các ứng dụng hoạt động tương đối với nhau. Để mang lại trải nghiệm người dùng tốt hơn, người xếp hạng có thể dự đoán thứ tự tương đối của các mục được trình bày dựa trên ngữ cảnh của các ứng dụng ứng viên khác.
Giải pháp của chúng tôi cho vấn đề này, mô hình sắp xếp lại, tìm hiểu tầm quan trọng tương đối của một cặp ứng dụng được hiển thị cho người dùng cùng một lúc. Chúng tôi đã xây dựng mô hình sắp xếp lại dựa trên thông tin chi tiết cốt lõi: nếu người dùng nhìn thấy hai ứng dụng trong cửa hàng, thì ứng dụng mà người dùng chọn cài đặt sẽ phù hợp với người dùng hơn ứng dụng mà họ không cài đặt. Sau đó, chúng tôi có thể gán cho mỗi cặp một nhãn tích cực hoặc tiêu cực và mô hình sẽ cố gắng giảm thiểu số lần đảo ngược trong xếp hạng, do đó cải thiện thứ hạng tương đối của ứng dụng. Loại mô hình “theo cặp” này hoạt động tốt hơn trong thực tế so với các mô hình theo điểm vì việc dự đoán thứ tự tương đối gần với bản chất của xếp hạng hơn là dự đoán nhãn lớp hoặc xác suất cài đặt.
Tối ưu hóa cho nhiều mục tiêu
Nhiều hệ thống đề xuất phải tối ưu hóa cùng lúc cho nhiều mục tiêu, chẳng hạn như mức độ liên quan, mức độ phổ biến hoặc sở thích cá nhân. Chúng tôi đã xây dựng bài toán tối ưu hóa đa mục tiêu dưới dạng bài toán tối ưu hóa bị ràng buộc: mục tiêu tổng thể là tối đa hóa giá trị kỳ vọng của số liệu chính, tuân theo các ràng buộc về giá trị kỳ vọng của số liệu phụ. Trong quá trình phân phát trực tuyến, mục tiêu có thể thay đổi theo nhu cầu của người dùng – ví dụ: người dùng trước đây quan tâm đến ứng dụng tìm kiếm nhà ở có thể đã tìm thấy một căn hộ mới và hiện quan tâm đến ứng dụng trang trí nhà cửa – vì vậy chúng tôi đã hướng tới một mục tiêu năng động giải pháp.
Thay vì giải quyết vấn đề ngoại tuyến và đưa một mô hình cố định lên trực tuyến, chúng tôi đã giải quyết vấn đề này trực tuyến, theo yêu cầu, dựa trên giá trị thực tế của các mục tiêu trong thời gian phục vụ. Chúng tôi xác định các ràng buộc là các ràng buộc tương đối, nghĩa là chúng tôi muốn cải thiện mục tiêu phụ theo tỷ lệ phần trăm thay vì giá trị tuyệt đối. Bằng cách này, bất kỳ thay đổi nào trong mục tiêu phụ đều không ảnh hưởng đến bộ giải của chúng tôi.
Thuật toán mà chúng tôi phát triển có thể được sử dụng để tìm ra sự cân bằng giữa một số chỉ số. Tìm các điểm phù hợp dọc theo đường cong cân bằng, thuật toán của chúng tôi có thể tăng đáng kể các chỉ số phụ mà chỉ có tác động nhỏ đến chỉ số chính.
Làm việc theo nhóm
Một trong những điểm rút ra quan trọng của chúng tôi từ điều này hợp tác là khi triển khai các kỹ thuật học máy tiên tiến để sử dụng trong thế giới thực, chúng ta cần phải làm việc trong nhiều hạn chế thực tế. Vì nhóm Play Store và DeepMind đã làm việc rất chặt chẽ với nhau và liên lạc hàng ngày nên chúng tôi có thể xem xét các yêu cầu và ràng buộc của sản phẩm trong suốt quá trình thiết kế, triển khai và giai đoạn thử nghiệm cuối cùng của thuật toán, từ đó tạo ra một sản phẩm thành công hơn.
Sự hợp tác của chúng tôi với Google cho đến nay đã giúp giảm lượng điện cần thiết cho làm mát trung tâm dữ liệu của Google lên tới 30%, đã nâng cao giá trị của Google năng lượng gió khoảng 20% và tạo ra các hệ thống học tập trên thiết bị để tối ưu hóa Android hiệu suất của pin. SóngNet hiện nằm trong tầm tay của người dùng Google Assistant và Google Cloud Platform trên toàn thế giới, đồng thời sự hợp tác nghiên cứu của chúng tôi với Waymo đã giúp cải thiện hiệu suất của các mô hình cũng như hiệu quả đào tạo mạng lưới thần kinh của mình.
Làm việc ở quy mô Google đưa ra một loạt thách thức nghiên cứu độc đáo và cơ hội đưa những đột phá của chúng tôi vượt ra ngoài phòng thí nghiệm để giải quyết những thách thức phức tạp, toàn cầu. Nếu bạn quan tâm đến việc áp dụng nghiên cứu tiên tiến vào các vấn đề trong thế giới thực, hãy tìm hiểu thêm về nhóm đứng đầu dự án này tại đây.
Cộng tác với: Dj Dvijotham, Amogh Asgekar, Will Chu, Sanjeev Jagannatha Rao, Xueliang Lu, Carlton Chu, Arun Nair, Timothy Mann, Bruce Chia, Ruiyang Wu, Natarajan Chendrashekar, Tyler Brabham, Amy Miao, Shelly Bensal, Natalie Mackraz, Praveen Srinivasan & Harish Chandran
