Ba trụ cột của DeepMind để xây dựng hệ thống máy học mạnh mẽ
Kiểm tra thông số kỹ thuật, Đào tạo mạnh mẽ và Xác minh chính thức là ba yếu tố mà cường quốc AI tin rằng nắm giữ bản chất của các mô hình học máy mạnh mẽ.
Gần đây tôi đã bắt đầu một bản tin mới tập trung vào giáo dục AI. TheSequence là bản tin không có BS (nghĩa là không cường điệu, không tin tức, v.v.) bản tin tập trung vào AI, mất 5 phút để đọc. Mục đích là giúp bạn cập nhật các dự án máy học, các bài nghiên cứu và khái niệm. Vui lòng dùng thử bằng cách đăng ký bên dưới:
Xây dựng hệ thống máy học khác với phát triển phần mềm truyền thống ở nhiều khía cạnh trong vòng đời của nó. Các phương pháp phần mềm được thiết lập để kiểm tra, gỡ lỗi và khắc phục sự cố đơn giản là không thực tế khi áp dụng cho các mô hình học máy. Trong khi hoạt động của các thành phần phần mềm truyền thống như trang web, ứng dụng di động hoặc API hoàn toàn được quy định bởi mã của nó thì các mô hình học máy sẽ phát triển kiến thức của chúng theo thời gian tùy thuộc vào các tập dữ liệu cụ thể. Làm thế nào để xác định và viết các tác nhân học máy mạnh mẽ là một trong những thách thức hiện hữu đối với toàn bộ không gian. Năm ngoái, các nhà nghiên cứu trí tuệ nhân tạo (AI) từ DeepMind đã công bố một số ý tưởng về chủ đề đó.
Khi nghĩ đến việc viết một phần mềm mạnh mẽ, chúng ta ngay lập tức liên tưởng đến hai đoạn mã hoạt động theo một bộ thông số kỹ thuật được xác định trước. Trong trường hợp học máy, không có định nghĩa nào được thiết lập về các thông số kỹ thuật chính xác hoặc hành vi mạnh mẽ. Thực tiễn được chấp nhận là đào tạo mô hình học máy bằng cách sử dụng một tập dữ liệu cụ thể và kiểm tra nó bằng một tập dữ liệu khác. Cách tiếp cận đó cực kỳ hiệu quả khi đạt được các hành vi trên mức trung bình trong cả hai tập dữ liệu nhưng không phải lúc nào cũng hiệu quả khi gặp các trường hợp khó khăn. Một ví dụ điển hình về những thách thức này là các mô hình phân loại hình ảnh có thể bị phá vỡ hoàn toàn bằng cách đưa ra các biến thể nhỏ trong tập dữ liệu đầu vào mà mắt người hoàn toàn không thể nhận ra.
Khái niệm về tính mạnh mẽ trong mô hình học máy không chỉ hoạt động tốt so với các tập dữ liệu đào tạo và kiểm tra mà còn phải hoạt động theo một bộ thông số kỹ thuật được xác định trước mô tả hành vi mong muốn của hệ thống. Sử dụng ví dụ trước của chúng tôi, đặc tả yêu cầu có thể mô tả chi tiết hành vi dự kiến của mô hình học máy trước các nhiễu loạn bất lợi hoặc một tập hợp các ràng buộc an toàn nhất định.
Viết các chương trình machine learning mạnh mẽ là sự kết hợp của nhiều khía cạnh, từ tập dữ liệu huấn luyện chính xác đến các kỹ thuật tối ưu hóa hiệu quả. Tuy nhiên, hầu hết các quy trình này có thể được mô hình hóa dưới dạng một biến thể của ba trụ cột chính tạo thành trọng tâm cốt lõi trong nghiên cứu của DeepMind:
- Kiểm tra tính nhất quán với thông số kỹ thuật: Các kỹ thuật để kiểm tra xem hệ thống máy học có nhất quán với các đặc tính (chẳng hạn như tính bất biến hoặc độ bền) mà người thiết kế và người dùng hệ thống mong muốn hay không.
- Đào tạo các mô hình Machine Learning để nhất quán về đặc điểm kỹ thuật: Ngay cả với lượng dữ liệu đào tạo dồi dào, các thuật toán học máy tiêu chuẩn có thể tạo ra các mô hình dự đoán khiến các dự đoán không phù hợp với các thông số kỹ thuật mong muốn như độ chắc chắn hoặc công bằng - điều này đòi hỏi chúng ta phải xem xét lại các thuật toán đào tạo tạo ra các mô hình không chỉ phù hợp tốt với dữ liệu đào tạo mà còn phù hợp với danh sách các thông số kỹ thuật.
- Chứng minh chính thức rằng các mô hình học máy phù hợp với đặc điểm kỹ thuật: Cần có các thuật toán có thể xác minh rằng các dự đoán của mô hình có thể nhất quán một cách rõ ràng với một đặc điểm kỹ thuật quan tâm cho tất cả các đầu vào có thể có. Trong khi lĩnh vực xác minh chính thức đã nghiên cứu các thuật toán như vậy trong vài thập kỷ, những cách tiếp cận này không dễ dàng mở rộng đến các hệ thống học sâu hiện đại mặc dù có sự tiến bộ ấn tượng.
Kiểm tra đặc điểm kỹ thuật
Các ví dụ đối nghịch là một cơ chế tuyệt vời để kiểm tra hành vi của các mô hình học máy dựa trên một bộ thông số kỹ thuật nhất định. Thật không may, hầu hết công việc liên quan đến đào tạo đối nghịch đều bị hạn chế ở các mô hình phân loại hình ảnh. Việc mở rộng một số ý tưởng đó sang các lĩnh vực chung hơn như học tăng cường có thể cung cấp một cơ chế có mục đích chung để kiểm tra tính chắc chắn của các mô hình học máy.
Theo một số ý tưởng về đào tạo đối thủ, DeepMind đã phát triển hai phương pháp bổ sung để thử nghiệm đối thủ của các tác nhân RL. Kỹ thuật đầu tiên sử dụng tối ưu hóa không có phái sinh để giảm thiểu trực tiếp phần thưởng mong đợi của đại lý. Phương pháp thứ hai học một hàm giá trị đối nghịch để dự đoán từ kinh nghiệm những tình huống nào có nhiều khả năng gây ra lỗi cho tác nhân nhất. Sau đó, hàm đã học được sử dụng để tối ưu hóa nhằm tập trung đánh giá vào các đầu vào có vấn đề nhất. Những cách tiếp cận này chỉ là một phần nhỏ trong không gian thuật toán tiềm năng ngày càng phong phú và chúng tôi rất vui mừng về sự phát triển trong tương lai trong việc đánh giá nghiêm ngặt các tác nhân.
Các phương pháp tiếp cận đối nghịch cho thấy những cải tiến rõ rệt so với các phương pháp thử nghiệm truyền thống trong các tác nhân học tăng cường. Thử nghiệm đối nghịch đã phát hiện ra các lỗi thường không được chú ý, đồng thời cũng cho thấy hành vi định tính của các tác nhân không được mong đợi dựa trên thành phần của tập dữ liệu huấn luyện. Ví dụ: hình sau đây cho thấy tác động của việc huấn luyện đối nghịch trong nhiệm vụ điều hướng 3D. Mặc dù tác nhân có thể đạt được hiệu suất ở cấp độ con người, nhưng việc huấn luyện đối nghịch cho thấy rằng nó vẫn có thể thất bại trong các nhiệm vụ siêu đơn giản.
Đào tạo đặc điểm kỹ thuật
Thử nghiệm đối nghịch có khả năng phát hiện lỗi cực kỳ hiệu quả nhưng vẫn không phát hiện được các ví dụ sai lệch so với đặc điểm kỹ thuật nhất định. Nếu chúng ta nghĩ về khái niệm yêu cầu từ quan điểm học máy, chúng có thể được mô hình hóa dưới dạng mối quan hệ toán học giữa đầu vào và đầu ra. Sử dụng ý tưởng đó, nhóm DeepMind đã tạo ra một phương pháp tính toán hình học tính nhất quán của một mô hình với thông số kỹ thuật nhất định bằng cách sử dụng giới hạn dưới và giới hạn trên. Được gọi là Tuyên truyền giới hạn theo khoảng thời gian, phương pháp của DeepMind ánh xạ thông số kỹ thuật vào một hộp giới hạn có thể được đánh giá trên mỗi lớp của mạng như trong hình sau. Kỹ thuật này đã được chứng minh là làm giảm tỷ lệ lỗi có thể xảy ra trên nhiều mô hình học máy.
Xác minh chính thức
Kiểm tra và đào tạo chính xác là các bước cần thiết để đạt được độ tin cậy trong các mô hình học máy nhưng phần lớn không đủ để đảm bảo rằng hệ thống hoạt động theo mong đợi của nó. Trong các mô hình quy mô lớn, việc liệt kê tất cả các đầu ra có thể có cho một tập hợp đầu vào nhất định (ví dụ: nhiễu loạn cực nhỏ đối với một hình ảnh) là khó khăn do số lượng lựa chọn thiên văn cho nhiễu loạn đầu vào. Kỹ thuật xác minh chính thức là một lĩnh vực nghiên cứu tích cực tập trung vào việc tìm kiếm các phương pháp tiếp cận hiệu quả để thiết lập các giới hạn hình học dựa trên một đặc điểm kỹ thuật nhất định.
DeepMind gần đây đã phát triển một phương pháp xác minh chính thức mô hình hóa vấn đề xác minh như một vấn đề tối ưu hóa nhằm cố gắng tìm ra vi phạm lớn nhất đối với thuộc tính đang được xác minh. Kỹ thuật này lặp đi lặp lại nhiều lần cho đến khi tìm thấy giới hạn chính xác, điều này gián tiếp đảm bảo rằng không thể vi phạm thêm một thuộc tính nhất định. Mặc dù ban đầu được áp dụng cho các mô hình học tăng cường nhưng cách tiếp cận của DeepMind rất dễ khái quát hóa cho các kỹ thuật học máy khác.
Sự kết hợp giữa thử nghiệm, đào tạo và xác minh chính thức các thông số kỹ thuật tạo thành ba trụ cột chính để triển khai các mô hình học máy hiệu quả. Các ý tưởng DeepMind là điểm khởi đầu tuyệt vời nhưng chúng ta nên kỳ vọng những khái niệm này sẽ phát triển thành các bộ dữ liệu hoặc khung chức năng cho phép lập mô hình và xác minh các thông số kỹ thuật liên quan đến mô hình học máy. Con đường hướng tới học máy mạnh mẽ cũng sẽ được hỗ trợ bởi học máy.
Nguyên. Đăng lại với sự cho phép.
Liên quan:
