Học máy (ML) có thể hỗ trợ con người ra quyết định trong các tình huống rủi ro cao. Ví dụ: một mô hình ML có thể dự đoán ứng viên nào vào trường luật có cơ hội vượt qua kỳ thi luật cao nhất và giúp nhân viên tuyển sinh chọn những sinh viên nào sẽ được nhận. Một số thậm chí còn phát hiện ra rằng Hệ thống ML có thể phát hiện các trận động đất chết người một cách nhanh chóng.

Các nhà nghiên cứu của MIT đã kiểm tra các phương pháp giải thích

Những mô hình này thường có hàng triệu biến số, do đó, các nhà nghiên cứu gần như không thể hiểu hết cách chúng đưa ra kết luận, ngoại trừ nhân viên tuyển sinh không có chuyên môn về học máy. Các nhà nghiên cứu đôi khi sử dụng các phương pháp giải thích bắt chước một mô hình lớn hơn bằng cách tạo ra các dự đoán gần đúng đơn giản của nó. Những phép tính gần đúng này, dễ hiểu hơn nhiều, giúp quyết định xem có nên tin tưởng vào dự đoán của mô hình hay không.

Việc các nhà nghiên cứu sử dụng những phương pháp giải thích này có được chấp nhận không? Nếu các phương pháp giải thích tạo ra những kết quả gần đúng hơn đối với nam giới so với phụ nữ hoặc người da trắng hơn người da đen, thì nó có thể thuyết phục một số người dùng tin tưởng vào dự đoán của mô hình trong khi những người khác thì không.

Một số phương pháp giải thích được sử dụng rộng rãi đã được kiểm tra chặt chẽ bởi các nhà nghiên cứu MIT. Họ phát hiện ra rằng chất lượng gần đúng của những lời giải thích này khác nhau đáng kể giữa các nhóm nhỏ và thường không tốt đối với các nhóm thiểu số.

Trong thực tế, điều này ngụ ý rằng nếu độ chính xác gần đúng của ứng viên nữ thấp hơn nam thì có thể có sự mâu thuẫn giữa phương pháp giải thích và ước tính của mô hình.

Khi các nhà nghiên cứu của MIT biết được khoảng cách bất bình đẳng này rộng đến mức nào, họ đã thử nhiều phương pháp khác nhau để tạo ra một sân chơi bình đẳng. Họ có thể thu hẹp một số trong số chúng nhưng không thể loại bỏ chúng.

“Điều này có nghĩa trong thế giới thực là mọi người có thể tin tưởng những dự đoán sai lầm đối với một số nhóm nhỏ hơn là đối với những nhóm khác. Vì vậy, việc cải tiến các phương pháp giải thích là quan trọng nhưng việc truyền đạt chi tiết của các mô hình này đến người dùng cuối cũng quan trọng không kém. Aparna Balagopalan, tác giả chính của nghiên cứu và là sinh viên tốt nghiệp trong nhóm Healthy ML của Khoa Khoa học Máy tính MIT và là nghiên cứu sinh, giải thích: Phòng thí nghiệm trí tuệ nhân tạo (CSAIL).

Các tác giả của nghiên cứu bao gồm Marzyeh Ghassemi, trợ lý giáo sư và người đứng đầu Nhóm Healthy ML tại UMass Amherst; nghiên cứu sinh Haoran Zhang và Kimia Hamidieh từ CSAIL; tiến sĩ Thomas Hartvigsen từ CSAIL; Frank Rudzicz, phó giáo sư khoa học máy tính tại Đại học Toronto; và tác giả cấp cao Balagopalan. Công việc sẽ được trình bày tại Hội nghị ACM về Công bằng, Trách nhiệm giải trình và Minh bạch.

Chúng ta có thể hoàn toàn tin tưởng vào các mô hình ML không?

Các phương pháp giải thích đơn giản hóa có thể đưa ra dự đoán về một mô hình học máy phức tạp hơn theo cách mà con người có thể hiểu được. Thuộc tính độ trung thực, đo lường mức độ phù hợp của các phương pháp giải thích đơn giản với dự báo của mô hình lớn hơn, được tối đa hóa nhờ cơ chế giải thích hiệu quả.

Thay vào đó, các nhà nghiên cứu của MIT tập trung vào độ chính xác trung bình cho toàn bộ mô hình giải thích trong khi xem xét độ trung thực cho các tập hợp con cụ thể của các cá nhân trong tập dữ liệu. Độ trung thực phải rất giống nhau giữa mỗi giới tính trong tập dữ liệu có nam và nữ và cả hai nhóm đều có độ trung thực gần với mô hình giải thích tổng thể.

Balagopalan cho biết: “Khi bạn chỉ nhìn vào độ trung thực trung bình trên tất cả các trường hợp, bạn có thể bỏ lỡ các thành phần có thể tồn tại trong mô hình giải thích”.

Hai chỉ số về khoảng cách về độ trung thực đã được tạo để đo lường sự khác biệt về độ trung thực giữa các nhóm con. Sự khác biệt giữa độ trung thực của mô hình giải thích tổng thể và độ trung thực của nhóm hoạt động kém nhất là một. Thứ hai so sánh tất cả các cặp tập hợp con có thể tưởng tượng được với nhau, sau đó tính trung bình kết quả.

Họ đã sử dụng hai loại phương pháp giải thích được đào tạo trên bốn bộ dữ liệu trong thế giới thực cho các tình huống có tính rủi ro cao như dự đoán liệu một bệnh nhân có chết trong ICU hay không, liệu bị cáo có tái phạm hay liệu một ứng viên trường luật có vượt qua kỳ thi luật sư để tìm kiếm sự trung thực hay không. những khoảng trống. Giới tính và chủng tộc của mỗi cá nhân được bao gồm trong mỗi tập dữ liệu. Các thuộc tính được bảo vệ là những đặc điểm có thể không được sử dụng trong các quyết định do luật pháp hoặc quy định của công ty. Tùy thuộc vào yêu cầu quyết định cụ thể, các thuật ngữ này có thể có nhiều ý nghĩa khác nhau.

Theo phát hiện của họ, các nhà nghiên cứu đã phát hiện ra những khoảng trống rõ ràng về độ trung thực đối với tất cả các tập dữ liệu và phương pháp giải thích. Trong một số trường hợp nhất định, độ chung thủy của những cá nhân gặp hoàn cảnh khó khăn thấp hơn đáng kể, với một ví dụ cho thấy sự khác biệt là 21%. Tập dữ liệu của trường luật có khoảng cách về độ trung thực giữa các phân nhóm chủng tộc là 7%, ngụ ý rằng trung bình một số lỗi gần đúng xảy ra thường xuyên hơn 7%. Ví dụ: nếu có 10,000 người đăng ký từ các nhóm con này trong tập dữ liệu, thì khoảng một phần lớn có thể bị từ chối không chính xác do sai số xấp xỉ 7%.

“Tôi rất ngạc nhiên trước mức độ phổ biến của những khoảng trống về độ trung thực này trong tất cả các tập dữ liệu mà chúng tôi đã đánh giá. Thật khó để nhấn mạnh quá mức mức độ phổ biến của các giải thích được sử dụng như một cách 'sửa chữa' cho các mô hình học máy hộp đen. Trong bài báo này, chúng tôi đang chỉ ra rằng bản thân các phương pháp giải thích là những xấp xỉ không hoàn hảo và có thể tệ hơn đối với một số nhóm nhỏ”, Ghassemi giải thích.

Sau đó, các nhà nghiên cứu đã thử một số kỹ thuật học máy để thu hẹp khoảng cách về độ trung thực. Họ đã đào tạo các phương pháp giải thích để nhận ra các vùng trong tập dữ liệu có thể có độ chính xác thấp và sau đó tập trung vào các mẫu đó. Họ cũng thử nghiệm các bộ dữ liệu cân bằng bao gồm số lượng mục bằng nhau từ tất cả các nhóm con.

Những phương pháp đào tạo này đã làm giảm một số khoảng cách về độ trung thực nhưng không loại bỏ được chúng. Sau đó, các nhà nghiên cứu đã sửa đổi các phương pháp giải thích để xem tại sao lại nảy sinh sự chênh lệch về độ chính xác ngay từ đầu. Nghiên cứu của họ tiết lộ rằng một mô hình lý thuyết, ngay cả khi nhãn nhóm bị ẩn, có thể gián tiếp sử dụng dữ liệu nhóm được bảo vệ như giới tính hoặc chủng tộc từ tập dữ liệu và gây ra khoảng cách về độ trung thực.

Vì muốn tìm hiểu sâu hơn về vấn đề này trong tương lai nên họ đã bắt đầu một dự án nghiên cứu mới. Họ cũng có ý định xem xét hậu quả của những khoảng cách về độ trung thực trong thế giới thực khi đưa ra quyết định. Balagopalan hài lòng rằng công việc đồng thời của một phòng thí nghiệm độc lập đã đưa ra những phát hiện tương tự, minh họa tầm quan trọng của việc hiểu rõ vấn đề này.

“Hãy chọn mô hình giải thích một cách cẩn thận. Nhưng quan trọng hơn, hãy suy nghĩ cẩn thận về mục tiêu của việc sử dụng mô hình giải thích và cuối cùng nó sẽ ảnh hưởng đến ai,” Balagopalan nói thêm. Nhân tiện, các cửa hậu không thể phát hiện được có thể được triển khai bằng bất kỳ thuật toán ML nào, vì vậy điều quan trọng là phải giải quyết các vấn đề liên quan đến học máy vì sức khỏe và sự an toàn của mọi người.