Nếu bạn không thể giải thích nó một cách đơn giản, bạn không hiểu nó đủ rõ. - Albert Einstein
Disclaimer: Bài viết này rút ra và mở rộng dựa trên tài liệu từ (1) cuốn sách tuyệt vời của Christoph Molnar về Học máy mà tôi chắc chắn đề nghị cho người đọc tò mò, (2) a hội thảo trực quan học tập sâu từ Harvard ComputeFest 2020, cũng như (3) tài liệu từ CS282R tại Đại học Harvard được giảng dạy bởi Ike Lage và Hima Lakkaraju, cả hai đều là những nhà nghiên cứu nổi tiếng trong lĩnh vực giải thích và giải thích. Bài viết này là để cô đọng và tóm tắt lĩnh vực học máy có thể hiểu được cho các nhà khoa học dữ liệu trung bình và để kích thích sự quan tâm đến chủ đề này.
Các hệ thống máy học đang ngày càng được sử dụng trong các cơ sở cổ phần cao phức tạp như y học (ví dụ như X quang, phát triển thuốc), công nghệ tài chính (ví dụ dự đoán giá cổ phiếu, cố vấn tài chính kỹ thuật số) và thậm chí trong luật (ví dụ: tóm tắt trường hợp, dự đoán kiện tụng). Mặc dù việc sử dụng ngày càng tăng này, vẫn còn thiếu các kỹ thuật đủ để có thể giải thích và giải thích các quyết định của các thuật toán học sâu này. Điều này có thể rất có vấn đề trong một số lĩnh vực mà các quyết định của thuật toán phải có thể giải thích được hoặc do các tính năng nhất định do luật pháp hoặc quy định (chẳng hạn như quyền giải thích) hoặc ở đâu trách nhiệm bắt buộc.
Nhu cầu về trách nhiệm giải trình thuật toán đã được nêu rõ nhiều lần, những trường hợp đáng chú ý nhất là thuật toán nhận dạng khuôn mặt của Google đã gắn nhãn một số người da đen là khỉ đột và xe tự lái của Uber có biển báo dừng. Do Google không thể khắc phục thuật toán và xóa sai lệch thuật toán dẫn đến sự cố này, họ đã giải quyết vấn đề bằng cách xóa các từ liên quan đến khỉ khỏi công cụ tìm kiếm của Google Photo. Điều này minh họa cho cáo buộc hộp đen bản chất của nhiều thuật toán học máy.
Vấn đề hộp đen chủ yếu liên quan đến mô hình học máy được giám sát do tính chất dự đoán của nó.
Độ chính xác một mình là không đủ.
Các học giả trong học tập sâu nhận thức sâu sắc về điều này vấn đề giải thích và giải thíchvà trong khi một số người cho rằng những mô hình này về cơ bản là hộp đen, đã có một số phát triển trong những năm gần đây đã được phát triển để hình dung các khía cạnh của mạng lưới thần kinh sâu sắc như các tính năng và biểu diễn mà họ đã học được. Thuật ngữ thông tin đã được đưa ra để chỉ sự khó khăn trong việc cung cấp tính minh bạch khi các quyết định được đưa ra trên cơ sở nhiều tính năng riêng lẻ, do quá tải thông tin. Lĩnh vực giải thích và giải thích trong học máy đã bùng nổ từ năm 2015 và hiện có hàng tá bài viết về chủ đề này, một số trong đó có thể được tìm thấy trong các tài liệu tham khảo.
Như chúng ta sẽ thấy trong bài viết này, các kỹ thuật trực quan này không đủ để giải thích hoàn toàn các biểu diễn phức tạp được học bởi các thuật toán học sâu, nhưng hy vọng, bạn sẽ tin rằng giải thích hộp đen về học sâu là không đúng - chúng ta chỉ cần các kỹ thuật tốt hơn để có thể hiểu và giải thích các mô hình này.
Nếu những nội dung giáo dục chuyên sâu này hữu ích cho bạn, bạn có thể đăng ký danh sách gửi thư Nghiên cứu AI của chúng tôi ở cuối bài viết này để được cảnh báo khi chúng tôi phát hành bản cập nhật nghiên cứu mới.
Hộp đen
Tất cả các thuật toán trong học máy là một số hộp đen. Một trong những ý tưởng chính của học máy là các mô hình được điều khiển dữ liệu - mô hình được cấu hình từ dữ liệu. Điều này về cơ bản dẫn chúng ta đến những vấn đề như (1) làm thế nào chúng ta nên giải thích các mô hình, (2) làm thế nào để đảm bảo họ minh bạch trong việc ra quyết định và (3) đảm bảo các kết quả của thuật toán nói trên là hợp lý và có giá trị thống kê.
Đối với một cái gì đó như hồi quy tuyến tính, các mô hình được hiểu rất rõ và có thể giải thích cao. Khi chúng ta chuyển sang một thứ như máy vectơ hỗ trợ (SVM) hoặc mô hình rừng ngẫu nhiên, mọi thứ trở nên khó khăn hơn một chút. Theo nghĩa này, không có thuật toán hộp trắng hoặc đen trong học máy, tính dễ hiểu tồn tại dưới dạng phổ hoặc 'hộp xám' có độ xám khác nhau.
Nó chỉ xảy ra như vậy, ở phía xa của khu vực 'màu xám' của chúng ta là mạng lưới thần kinh. Xa hơn nữa trong khu vực màu xám này là mạng lưới thần kinh sâu. Khi bạn có một mạng lưới thần kinh sâu với 1.5 tỷ tham số - như thuật toán GPT-2 cho mô hình hóa ngôn ngữ - sẽ trở nên cực kỳ khó khăn để diễn giải các biểu diễn mà mô hình đã học.
Vào tháng 2020 năm XNUMX, Microsoft đã phát hành mạng lưới thần kinh sâu lớn nhất tồn tại (có thể không lâu), Turing-NLG. Mạng này chứa 17 tỷ thông số, chiếm khoảng 1/5 trong số 85 tỷ tế bào thần kinh có trong não người (mặc dù trong mạng thần kinh, các tham số đại diện cho các kết nối, trong đó có ~ 100 nghìn tỷ trong não người). Rõ ràng, việc giải thích một mạng lưới thần kinh tham số 17 tỷ sẽ vô cùng khó khăn, nhưng hiệu suất của nó có thể vượt trội hơn nhiều so với các mô hình khác vì nó có thể được đào tạo trên một lượng dữ liệu khổng lồ mà không bị bão hòa - đây là ý tưởng rằng các biểu diễn phức tạp hơn có thể được lưu trữ bởi một mô hình với số lượng tham số lớn hơn.
So sánh Turing-NLG với các mạng thần kinh sâu khác như BERT và GPT-2. nguồn
Rõ ràng, các đại diện ở đó, chúng ta chỉ không hiểu chúng một cách đầy đủ, và do đó chúng ta phải đưa ra các kỹ thuật tốt hơn để có thể diễn giải các mô hình. Đáng buồn thay, nó khó hơn đọc hệ số vì người ta có thể làm trong hồi quy tuyến tính!
Mạng lưới thần kinh là những mô hình mạnh mẽ, nhưng khó diễn giải hơn các mô hình đơn giản và truyền thống hơn.
Thông thường, chúng tôi không quan tâm làm thế nào một thuật toán đi đến một quyết định cụ thể, đặc biệt khi chúng được vận hành trong môi trường rủi ro thấp. Trong các kịch bản này, chúng tôi không bị giới hạn trong việc lựa chọn các thuật toán bởi bất kỳ giới hạn nào về tính dễ hiểu. Tuy nhiên, nếu khả năng diễn giải là quan trọng trong thuật toán của chúng tôi - vì nó thường dành cho các môi trường có rủi ro cao - thì chúng tôi phải chấp nhận đánh đổi giữa độ chính xác và khả năng diễn giải.
Vì vậy, những kỹ thuật có sẵn để giúp chúng tôi giải thích và hiểu rõ hơn các mô hình của chúng tôi? Hóa ra có rất nhiều trong số này, và thật hữu ích để phân biệt giữa những loại kỹ thuật khác nhau này giúp chúng ta kiểm tra.
Địa phương so với toàn cầu
Kỹ thuật có thể được địa phương, để giúp chúng tôi nghiên cứu một phần nhỏ của mạng, như trường hợp khi xem các bộ lọc riêng lẻ trong mạng thần kinh.
Kỹ thuật có thể được toàn cầu, cho phép chúng ta xây dựng một bức tranh tốt hơn về toàn bộ mô hình, điều này có thể bao gồm trực quan hóa các phân bố trọng lượng trong một mạng lưới thần kinh sâu hoặc trực quan hóa các lớp mạng thần kinh truyền qua mạng.
Model-Cụ thể so với Model-Agnellect
Một kỹ thuật rất cao mô hình cụ thể chỉ phù hợp để sử dụng bởi một loại mô hình duy nhất. Ví dụ, trực quan hóa lớp chỉ có thể áp dụng cho các mạng thần kinh, trong khi các ô phụ thuộc một phần có thể được sử dụng cho nhiều loại mô hình khác nhau và sẽ được mô tả như là mô hình bất khả tri.
Các kỹ thuật dành riêng cho mô hình thường liên quan đến việc kiểm tra cấu trúc của các thuật toán hoặc biểu diễn trung gian, trong khi các kỹ thuật không biết mô hình thường liên quan đến việc kiểm tra phân phối dữ liệu đầu vào hoặc đầu ra.
Sự khác biệt giữa các kỹ thuật hình ảnh mô hình khác nhau và các số liệu khả năng diễn giải. nguồn
Tôi sẽ thảo luận về tất cả các kỹ thuật trên trong suốt bài viết này, nhưng cũng sẽ thảo luận về vị trí và cách sử dụng chúng để giúp cung cấp cho chúng tôi cái nhìn sâu sắc về các mô hình của chúng tôi.
Đúng cho lý do đúng
Một trong những vấn đề phát sinh từ việc thiếu khả năng giải thích mô hình của chúng tôi là chúng tôi không biết mô hình đã được đào tạo về vấn đề gì. Điều này được minh họa tốt nhất với một ví dụ về ngày tận thế (có một số tranh luận về sự thật của câu chuyện, nhưng những bài học chúng ta có thể rút ra từ nó dù sao cũng có giá trị).
Trốn tìm
Theo văn hóa dân gian AI, vào những năm 1960, Quân đội Hoa Kỳ đã quan tâm đến việc phát triển một thuật toán mạng thần kinh có khả năng phát hiện xe tăng trong hình ảnh. Các nhà nghiên cứu đã phát triển một thuật toán có thể làm điều này với độ chính xác vượt trội và mọi người đều rất hài lòng với kết quả này.
Tuy nhiên, khi thuật toán được thử nghiệm trên các hình ảnh bổ sung, nó hoạt động rất kém. Điều này khiến các nhà nghiên cứu bối rối vì kết quả rất tích cực trong quá trình phát triển. Sau một lúc mọi người gãi đầu, một trong những nhà nghiên cứu nhận thấy rằng khi nhìn vào hai bộ ảnh, bầu trời tối hơn trong một bộ ảnh so với bộ kia.
Rõ ràng là thuật toán đã không thực sự học cách phát hiện những chiếc xe tăng được ngụy trang, mà thay vào đó là nhìn vào độ sáng của bầu trời!
Trong khi câu chuyện này làm trầm trọng thêm một trong những lời chỉ trích phổ biến về học sâu, thì có một sự thật là trong một mạng lưới thần kinh, và đặc biệt là một mạng lưới thần kinh sâu sắc, bạn không thực sự biết mô hình đang học gì.
Sự chỉ trích mạnh mẽ này và tầm quan trọng ngày càng tăng của việc học sâu trong học viện và ngành công nghiệp là điều đã dẫn đến sự tập trung gia tăng vào khả năng diễn giải và giải thích. Nếu một chuyên gia trong ngành không thể thuyết phục khách hàng của họ rằng họ hiểu mô hình mà họ xây dựng đang làm gì, liệu nó có thực sự được sử dụng khi có rủi ro lớn, chẳng hạn như tổn thất tài chính hoặc cuộc sống của mọi người?
Giải thích
Tại thời điểm này, bạn có thể tự hỏi làm thế nào trực quan hóa có thể giúp chúng ta diễn giải một mô hình, với điều kiện là có thể có vô số cách hiểu khả thi. Xác định và đo lường ý nghĩa của tính giải nghĩa không phải là một nhiệm vụ tầm thường và có rất ít sự đồng thuận về cách đánh giá nó.
Không có định nghĩa toán học về khả năng diễn giải. Hai định nghĩa được đề xuất trong tài liệu là:
Khả năng diễn giải là mức độ mà con người có thể hiểu được nguyên nhân của quyết định. - Tim Miller
Khả năng diễn giải là một mức độ mà con người có thể dự đoán một cách nhất quán kết quả của mô hình. - Đã Kim
Khả năng diễn giải của mô hình học máy càng cao, người khác càng dễ hiểu lý do tại sao một số quyết định hoặc dự đoán đã được đưa ra. Một mô hình có thể diễn giải tốt hơn một mô hình khác nếu các quyết định của nó dễ hiểu hơn so với các quyết định từ mô hình kia. Một cách chúng ta có thể bắt đầu để đánh giá khả năng diễn giải mô hình là thông qua một proxy định lượng.
A Proxy là một cái gì đó có tương quan cao với những gì chúng ta quan tâm nghiên cứu nhưng về cơ bản là khác với đối tượng quan tâm. Proxy có xu hướng đơn giản hơn để đo lường hơn đối tượng quan tâm, hoặc như trong trường hợp này, chỉ có thể đo lường được - trong khi đối tượng quan tâm của chúng tôi (như khả năng diễn giải) có thể không.
Ý tưởng về proxy là phổ biến trong nhiều lĩnh vực, một trong số đó là tâm lý học, nơi chúng được sử dụng để đo lường các khái niệm trừu tượng. Proxy nổi tiếng nhất có lẽ là chỉ số thông minh (IQ) là proxy cho trí thông minh. Mặc dù mối tương quan giữa IQ và trí thông minh không phải là 100%, nhưng nó đủ cao để chúng ta có thể có được một số thông tin hữu ích về trí thông minh từ việc đo IQ. Không có cách nào để đo trực tiếp trí thông minh.
Một thuật toán sử dụng giảm kích thước để cho phép chúng ta trực quan hóa dữ liệu chiều cao trong không gian chiều thấp hơn cung cấp cho chúng ta proxy để trực quan hóa phân phối dữ liệu. Tương tự, một tập hợp các hình ảnh đào tạo cung cấp cho chúng ta một proxy của phân phối dữ liệu quan tâm đầy đủ, nhưng chắc chắn sẽ có phần khác với phân phối thực sự (nếu bạn đã làm tốt việc xây dựng tập huấn luyện, thì nó không quá khác biệt so với bộ kiểm tra đã cho).
Điều gì về giải thích hậu hoc?
Giải thích sau hoc (hoặc giải thích sau thực tế) có thể hữu ích nhưng đôi khi sai lệch. Chúng chỉ đơn thuần cung cấp một sự hợp lý hóa hợp lý cho hành vi thuật toán của hộp đen, không nhất thiết là bằng chứng cụ thể và do đó nên được sử dụng thận trọng. Hợp lý hóa sau hoc có thể được thực hiện với các proxy có thể định lượng, và một số kỹ thuật chúng ta sẽ thảo luận để làm điều này.
Chọn một trực quan
Thiết kế một hình ảnh trực quan đòi hỏi chúng ta phải suy nghĩ về các yếu tố sau:
- Khán giả mà chúng tôi đang trình bày (ai) - điều này có được thực hiện cho mục đích gỡ lỗi không? Để thuyết phục một khách hàng? Để thuyết phục một người đánh giá ngang hàng cho một bài báo nghiên cứu?
- Mục tiêu của trực quan hóa (cái gì)- có phải chúng ta đang cố gắng hiểu các đầu vào (chẳng hạn như nếu siêu dữ liệu EXIF từ một hình ảnh được đọc chính xác để hình ảnh không đi vào một bên CNN), đầu ra hoặc phân phối tham số của mô hình của chúng tôi? Chúng ta có quan tâm đến cách các đầu vào phát triển qua mạng hoặc một tính năng tĩnh của mạng như bản đồ hoặc bộ lọc tính năng không?
- Mô hình đang được phát triển (Làm thế nào)- rõ ràng, nếu bạn không sử dụng mạng thần kinh, bạn không thể hình dung bản đồ đặc trưng của lớp mạng. Tương tự, tầm quan trọng của tính năng có thể được sử dụng cho một số mô hình, chẳng hạn như thuật toán XGBoost hoặc Random Forest, nhưng không phải là thuật toán khác. Do đó, lựa chọn mô hình vốn đã thiên vị những kỹ thuật nào có thể được sử dụng và một số kỹ thuật nói chung và linh hoạt hơn các kỹ thuật khác. Phát triển nhiều mô hình có thể cung cấp tính linh hoạt hơn trong những gì có thể được kiểm tra.
Mô hình sâu đưa ra những thách thức độc đáo để hình dung: chúng tôi có thể trả lời các câu hỏi tương tự về mô hình, nhưng phương pháp thẩm vấn của chúng tôi phải thay đổi! Vì tầm quan trọng của việc này, chúng tôi sẽ chủ yếu tập trung vào hình dung học tập sâu cho phần còn lại của bài viết.
Các trường con của Trực quan hóa học tập sâu
Phần lớn có ba lĩnh vực của văn học trực quan học tập sâu:
- Khả năng diễn giải và khả năng giải thích: giúp hiểu cách các mô hình học tập sâu đưa ra quyết định và các đại diện đã học của họ.
- Gỡ lỗi & Cải thiện: giúp người quản lý mô hình và nhà phát triển xây dựng và khắc phục sự cố mô hình của họ, với hy vọng thúc đẩy quá trình thử nghiệm lặp lại để cuối cùng cải thiện hiệu suất.
- Dạy học sâu: giúp giáo dục người dùng nghiệp dư về trí tuệ nhân tạo - cụ thể hơn là học máy.
Tại sao việc giải thích một mạng lưới thần kinh rất khó khăn?
Để hiểu tại sao việc diễn giải một mạng thần kinh là khó khăn và không trực quan, chúng ta phải hiểu mạng đang làm gì với dữ liệu của chúng ta.
Về cơ bản, dữ liệu chúng ta chuyển đến lớp đầu vào - đây có thể là hình ảnh hoặc tập hợp các tính năng có liên quan để dự đoán một biến - có thể được vẽ để tạo thành một phân phối phức tạp như được hiển thị trong hình ảnh bên dưới (đây chỉ là biểu diễn 2D, hãy tưởng tượng nó trong 1000 chiều).
Nếu chúng tôi chạy dữ liệu này thông qua trình phân loại tuyến tính, mô hình sẽ cố gắng hết sức để tách dữ liệu, nhưng vì chúng tôi bị giới hạn ở lớp giả thuyết chỉ chứa các hàm tuyến tính, mô hình của chúng tôi sẽ hoạt động kém vì một phần lớn dữ liệu không phải là tuyến tính tách.
Đây là nơi các mạng thần kinh đến. Mạng lưới thần kinh là một chức năng rất đặc biệt. Người ta đã chứng minh rằng một mạng nơ ron với một lớp ẩn duy nhất có khả năng đại diện cho lớp giả thuyết của tất cả các hàm phi tuyến tính, miễn là chúng ta có đủ các nút trong mạng. Điều này được gọi là định lý gần đúng phổ quát.
Nó chỉ ra rằng chúng ta càng có nhiều nút, lớp chức năng chúng ta có thể đại diện càng lớn. Nếu chúng ta có một mạng chỉ có mười lớp và đang cố gắng sử dụng nó để phân loại một triệu hình ảnh, mạng sẽ nhanh chóng bão hòa và đạt công suất tối đa. Nếu chúng ta có 10 triệu tham số, nó sẽ có thể tìm hiểu cách biểu diễn mạng tốt hơn nhiều, vì số lượng biến đổi phi tuyến tính tăng lên. Chúng tôi nói mô hình này có lớn hơn năng lực mô hình.
Mọi người sử dụng các mạng nơ-ron sâu thay vì một lớp vì số lượng nơ-ron cần thiết trong mạng một lớp tăng theo cấp số nhân với công suất mô hình. Sự trừu tượng của các lớp ẩn làm giảm đáng kể nhu cầu cần nhiều nơ-ron hơn nhưng điều này phải trả giá cho tính dễ hiểu. Chúng ta càng đi sâu, mạng càng trở nên khó hiểu.
Các phép biến đổi phi tuyến tính của mạng nơ ron cho phép chúng ta sắp xếp lại dữ liệu của mình vào một không gian có thể phân tách tuyến tính. Ở lớp đầu ra của mạng nơ ron, sau đó chúng ta sẽ tùy ý phân tách dữ liệu phi tuyến tính ban đầu của chúng ta thành hai lớp bằng cách sử dụng trình phân loại tuyến tính, như minh họa dưới đây.
Việc chuyển đổi một tập dữ liệu phi tuyến tính thành tập dữ liệu có thể phân tách tuyến tính bằng cách sử dụng mạng thần kinh. nguồn
Câu hỏi là, làm thế nào để chúng ta biết những gì đang diễn ra trong phép biến đổi phi tuyến tính nhiều lớp này, có thể chứa hàng triệu tham số?
Hãy tưởng tượng một Gan mô hình (hai mạng đấu tranh với nhau để bắt chước phân phối dữ liệu đầu vào) hoạt động trên bộ dữ liệu hình ảnh 512 × 512. Khi hình ảnh được đưa vào mạng thần kinh, mỗi pixel trở thành một tính năng của mạng thần kinh. Đối với một hình ảnh có kích thước này, số lượng tính năng là 262,144. Điều này có nghĩa là chúng tôi đang thực hiện 8 hoặc 9 phép biến đổi tích chập và phi tuyến tính trên hơn 200,000 tính năng. Làm thế nào người ta có thể giải thích điều này?
Thậm chí còn cực đoan hơn đối với trường hợp hình ảnh 1024 × 1024, được phát triển bởi triển khai StyleGAN của NVIDIA. Vì số lượng pixel tăng theo hệ số bốn với kích thước hình ảnh tăng gấp đôi, chúng tôi sẽ có hơn một triệu tính năng làm đầu vào cho GAN. Vì vậy, chúng tôi hiện có một triệu mạng lưới thần kinh, thực hiện các hoạt động tích chập và kích hoạt phi tuyến tính, và thực hiện điều này qua bộ dữ liệu gồm hàng trăm ngàn hình ảnh.
Hy vọng rằng, tôi đã thuyết phục bạn rằng việc diễn giải các mạng lưới thần kinh sâu sắc là vô cùng khó khăn. Mặc dù các hoạt động của một mạng lưới thần kinh có vẻ đơn giản, nhưng chúng có thể tạo ra kết quả cực kỳ phức tạp thông qua một số hình thức sự xuất hiện.
Hình dung
Trong phần còn lại của bài viết này, tôi sẽ thảo luận về các kỹ thuật trực quan có thể được sử dụng cho các mạng lưới thần kinh sâu, vì chúng đưa ra thách thức lớn nhất trong khả năng diễn giải và giải thích của học máy.
Biểu đồ cân nặng
Biểu đồ cân nặng thường được áp dụng cho bất kỳ loại dữ liệu nào, vì vậy tôi đã chọn bao gồm những dữ liệu này trước tiên. Biểu đồ cân nặng có thể rất hữu ích trong việc xác định phân bố tổng trọng lượng trên toàn mạng lưới thần kinh sâu. Nói chung, biểu đồ hiển thị số lần xuất hiện của một giá trị nhất định so với các giá trị khác. Nếu phân phối trọng số là đồng đều, phân phối bình thường hoặc đảm nhận một số cấu trúc có trật tự có thể cho chúng ta biết thông tin hữu ích.
Ví dụ: nếu chúng tôi muốn kiểm tra xem tất cả các lớp mạng của chúng tôi đang học từ một đợt nhất định, chúng tôi có thể thấy cách phân phối trọng lượng thay đổi sau khi đào tạo theo đợt. Mặc dù điều này có vẻ không phải là hình ảnh hữu ích nhất lúc đầu, chúng ta vẫn có thể có được cái nhìn sâu sắc có giá trị từ biểu đồ cân nặng.
Dưới đây cho thấy biểu đồ trọng lượng và sai lệch cho mạng bốn lớp trong Bảng kéo - Công cụ trực quan chính của Tensorflow.
Biểu đồ cân nặng trong Bảng kéo.
Đối với những người bạn không quen thuộc, có một công cụ khác để vẽ đồ thị phân phối trọng lượng là Trọng lượng và xu hướng (W&B), là một công ty tương đối mới chuyên theo dõi thử nghiệm để học sâu. Khi đào tạo một mạng lớn, chẳng hạn như GAN với hàng triệu tham số, theo dõi thử nghiệm do W&B cung cấp rất hữu ích cho mục đích ghi nhật ký và cung cấp nhiều chức năng hơn Tensorboard (và miễn phí cho những người bạn trong giới học thuật).
Biểu đồ cân nặng trong Trọng lượng và xu hướng.
Bản đồ vị trí
Quay trở lại vấn đề xe tăng mà chúng ta đã thảo luận trước đây, làm thế nào chúng ta có thể khắc phục sự cố mạng này để đảm bảo trình phân loại đang kiểm tra các phần chính xác của hình ảnh để đưa ra dự đoán của nó? Một cách để làm điều này là với bản đồ mặn.
Bản đồ vị trí đã được đề xuất trong tờ giấyMạng lưới kết hợp sâu bên trong: Trực quan hóa các mô hình phân loại hình ảnh và bản đồ vị tríNăm 2013, cùng với tối đa hóa lớp học (sẽ thảo luận sau). Ý tưởng đằng sau chúng khá đơn giản. Đầu tiên, chúng tôi tính toán độ dốc của danh mục đầu ra đối với hình ảnh đầu vào. Điều này cung cấp cho chúng tôi một chỉ báo về cách phân loại của chúng tôi thay đổi liên quan đến những thay đổi nhỏ trong từng pixel hình ảnh đầu vào. Nếu thay đổi nhỏ tạo ra độ dốc dương, thì chúng ta biết rằng thay đổi đối với pixel đó sẽ tăng giá trị đầu ra. Bằng cách trực quan hóa độ dốc, chúng ta có thể kiểm tra các pixel nào là quan trọng nhất để kích hoạt và đảm bảo rằng các phần của hình ảnh được kiểm tra tương ứng với đối tượng quan tâm.
Bản đồ độ mặn cung cấp một biểu diễn trực quan về độ nhạy đầu vào của lớp đầu ra.
Bản đồ vị trí cung cấp cho chúng ta một phương pháp để tính toán hỗ trợ không gian của một lớp nhất định trong một hình ảnh nhất định (bản đồ độ mặn của lớp cụ thể theo hình ảnh). Điều này có nghĩa là chúng ta có thể xem kết quả đầu ra phân loại từ mạng chập, thực hiện truyền ngược và xem phần nào của hình ảnh có liên quan đến việc phân loại hình ảnh thành một lớp nhất định.
Ví dụ về hình ảnh cụ thể của lớp và bản đồ vị trí tương lai của họ cho lớp đó. nguồn
Một điều chỉnh đơn giản khác cho phương pháp độ mặn được gọi là độ mặn được điều chỉnh có thể được sử dụng. Điều này liên quan đến việc cắt các gradient âm trong bước backpropagation để chỉ truyền bá thông tin gradient dương. Do đó, chỉ thông tin liên quan đến sự gia tăng sản lượng mới được truyền đạt. Bạn có thể tìm thấy nhiều hơn trong tờ giấyTrực quan hóa và hiểu các mạng kết hợp".
Đưa ra một hình ảnh với các vị trí pixel i và j, và với c các kênh màu (đỏ, xanh lam và xanh lục trong hình ảnh RGB), chúng tôi sao lưu đầu ra để tìm đạo hàm tương ứng với từng pixel. Sau đó, chúng tôi lấy tối đa giá trị tuyệt đối trên tất cả các kênh màu của các trọng số và sử dụng giá trị này làm ijgiá trị thứ của bản đồ M.
Bản đồ độ mặn M là hình ảnh 2D với các vị trí pixel i và j. Giá trị của bản đồ tại mỗi điểm là giá trị tuyệt đối tối đa của đạo hàm được tìm thấy từ việc sao lưu trong tất cả các kênh màu hình ảnh, c.
Trực quan hóa bản đồ vị trí có thể dễ dàng được thực hiện trong Keras bằng cách sử dụng các hàm 'visualize_saliency' và 'visualize_saliency_with_losses'.
Bản đồ loại trừ
Một kỹ thuật tương tự như ánh xạ độ mặn để làm rõ tầm quan trọng của pixel trong dự đoán của hình ảnh là ánh xạ tắc. Trong ánh xạ tắc, chúng tôi vẫn đang phát triển một bản đồ liên quan đến đầu ra của hình ảnh. Tuy nhiên, lần này chúng tôi quan tâm đến việc chặn một phần của hình ảnh ảnh hưởng đến đầu ra dự đoán của hình ảnh.
Các phương pháp dựa trên loại trừ ngăn chặn một cách có hệ thống (chặn) các phần của hình ảnh đầu vào bằng cách sử dụng một hình vuông màu xám và giám sát đầu ra của bộ phân loại. Hình ảnh bên dưới - cho thấy một bộ phân loại hình ảnh nhằm dự đoán khối u ác tính - cho thấy rõ mô hình đang định vị các vật thể trong cảnh, vì xác suất của lớp chính xác giảm đáng kể khi vật thể bị che khuất (bản đồ nhiệt bị tối hơn ở các vùng khối u ác tính là do việc này làm giảm hiệu suất đầu ra của bộ phân loại).
Trình phân loại hiển thị bản đồ tắc cho phân loại dự đoán khối u ác tính. nguồn
Ánh xạ loại trừ khá đơn giản để thực hiện vì nó chỉ liên quan đến việc làm biến dạng hình ảnh tại một vị trí pixel nhất định và lưu kết quả dự đoán vào âm mưu trong bản đồ nhiệt. Có thể tìm thấy triển khai tốt điều này trên GitHub của Akshay Chawla tại đây.
Tối đa hóa lớp học
Một kỹ thuật rất mạnh trong nghiên cứu mạng lưới thần kinh là tối đa hóa lớp. Điều này cho phép chúng ta xem mẫu của một lớp, tức là đầu vào sẽ làm cho giá trị lớp của trình phân loại được tối đa hóa trong đầu ra. Đối với dữ liệu hình ảnh, chúng tôi sẽ gọi đây là mẫu hình ảnh của một lớp. Về mặt toán học, điều này tương ứng với:
Ở đâu x* tương ứng với mẫu hình ảnh của lớp c. Ký hiệu này nói rằng chúng tôi muốn hình ảnh cung cấp cho chúng tôi đầu ra tối đa có thể cho lớp nào c là, có thể được hiểu là những gì là hoàn hảo c?
Đầu ra của điều này từ một mạng lưới phân loại quy mô lớn rất hấp dẫn. Dưới đây là một số hình ảnh được tạo bởi Nguyễn, Yosinski và Clune trong bài báo năm 2016 của họ về trực quan hóa tích chập sâu. Họ đã thực hiện tối đa hóa lớp học trên một mạng lưới thần kinh tích chập sâu được đào tạo trên bộ dữ liệu ILSVRC-2013.
Hình ảnh được tạo từ tối đa hóa lớp trên mạng tích chập sâu. nguồn
Tối đa hóa kích hoạt
Tương tự như tối đa hóa lớp, tối đa hóa kích hoạt giúp chúng ta hình dung ra mẫu mực của các bộ lọc tích chập. Tối đa hóa lớp là một tập hợp con của tối đa hóa kích hoạt, theo đó lớp softmax đầu ra của thuật toán phân loại được tối đa hóa. Về mặt toán học, tối đa hóa kích hoạt có thể được mô tả như sau:
Ở đâu x* tương ứng với mẫu của lớp ẩn l hoặc bộ lọc f trong một mạng lưới thần kinh sâu sắc. Ký hiệu này cho biết chúng tôi muốn đầu vào (một hình ảnh trong trường hợp mạng chập) tối đa hóa bộ lọc hoặc lớp. Điều này được minh họa dưới đây cho 8 lớp của mạng lưới thần kinh tích chập sâu.
Hình ảnh được tạo từ tối đa hóa kích hoạt trên một mạng chập sâu. nguồn
LIME (Giải thích mô hình không thể giải thích cục bộ)
LIME là viết tắt của giải thích thuyết bất khả tri theo mô hình địa phương và thậm chí có những giải thích riêng Gói Python. Bởi vì phương pháp này được thiết kế theo mô hình bất khả tri, nên nó có thể được áp dụng cho nhiều mô hình học máy khác nhau. Nó lần đầu tiên được thể hiện trong các bài báo của Marco Tulio Ribeiro và các đồng nghiệp, bao gồm Khả năng giải thích mô hình-thuyết bất khả thi của máy học và 'Tại sao tôi nên tin tưởng bạn? Một cách rõ ràng: Giải thích các dự đoán của bất kỳ phân loại nào', cả hai được xuất bản vào năm 2016.
Các mô hình thay thế cục bộ là các mô hình có thể hiểu được được sử dụng để giải thích các dự đoán riêng lẻ của các mô hình học máy hộp đen. LIME là một triển khai của các mô hình thay thế địa phương.
Các mô hình thay thế được đào tạo để ước tính gần đúng các dự đoán của mô hình hộp đen bên dưới.
Thay vì đào tạo một mô hình thay thế toàn cầu, LIME tập trung vào đào tạo các mô hình thay thế địa phương để giải thích các dự đoán riêng lẻ.
Giải thích dự đoán cá nhân cho một người ra quyết định của con người. nguồn
Trong LIME, chúng tôi nhiễu loạn đầu vào và phân tích dự đoán của chúng tôi thay đổi như thế nào. Mặc dù nghe có vẻ như thế nào, điều này rất khác với ánh xạ tắc và ánh xạ mặn. Mục đích của chúng tôi là gần đúng mô hình cơ bản, f, sử dụng một mô hình có thể hiểu được, g (chẳng hạn như một mô hình tuyến tính với một vài hệ số) từ một tập hợp các mô hình có thể, G, tại một địa điểm nhất định được quản lý bởi biện pháp gần πₓ. Chúng tôi cũng thêm một trình chỉnh sửa, Ω, để đảm bảo mô hình có thể hiểu được càng đơn giản càng tốt. Điều này được minh họa trong phương trình dưới đây.
Mô hình giải thích cho ví dụ x là mô hình g (ví dụ mô hình hồi quy tuyến tính) giảm thiểu tổn thất L (ví dụ lỗi bình phương trung bình), đo lường mức độ giải thích gần với dự đoán của mô hình gốc f (ví dụ mô hình xgboost), trong khi độ phức tạp của mô hình (g) được giữ ở mức thấp (ví dụ: thích ít tính năng hơn). G là họ của các giải thích có thể, ví dụ, tất cả các mô hình hồi quy tuyến tính có thể. Thước đo độ gần πₓ xác định vùng lân cận xung quanh thể hiện x lớn như thế nào mà chúng tôi xem xét để giải thích.
LIME cho hình ảnh hoạt động khác với LIME cho dữ liệu dạng bảng và văn bản. Theo trực giác, sẽ không có ý nghĩa gì khi làm nhiễu các pixel riêng lẻ, vì nhiều hơn một pixel đóng góp cho một lớp. Thay đổi ngẫu nhiên các pixel riêng lẻ có thể sẽ không thay đổi nhiều dự đoán. Do đó, các biến thể của hình ảnh được tạo ra bằng cách phân đoạn hình ảnh thành Superpixels trên YouTube và tắt hoặc bật các siêu ảnh.
Một hình ảnh của một con mèo đã được phân thành siêu sao. nguồn
Superpixels là các pixel được liên kết với các màu tương tự và có thể được tắt bằng cách thay thế từng pixel bằng một màu do người dùng xác định, chẳng hạn như màu xám. Người dùng cũng có thể chỉ định xác suất tắt siêu pixel trong mỗi lần hoán vị.
Giải thích dự đoán phân loại hình ảnh được tạo bởi mạng thần kinh Inception của Google. 3 lớp hàng đầu được dự đoán là Guitar Điện Guitar (p = 0.32), Guitar Acoustic Guitar (p = 0.24) và Nhạc Labrador Hồi (p = 0.21). nguồn
Sản phẩm thước đo độ trung thực (mô hình có thể giải thích gần đúng với các dự đoán hộp đen, được đưa ra bởi giá trị tổn thất của chúng tôi L) cho chúng ta một ý tưởng tốt về mức độ đáng tin cậy của mô hình có thể giải thích được trong việc giải thích các dự đoán hộp đen trong vùng lân cận của trường hợp dữ liệu quan tâm.
LIME cũng là một trong số ít các phương thức làm việc cho dữ liệu dạng bảng, văn bản và hình ảnh.
Lưu ý rằng chúng ta cũng có thể tạo các mô hình thay thế toàn cầu, theo cùng một ý tưởng nhưng được sử dụng như một mô hình gần đúng cho toàn bộ thuật toán hộp đen, không chỉ là một tập hợp con của thuật toán.
Lô đất phụ thuộc một phần
Biểu đồ phụ thuộc một phần cho thấy hiệu ứng cận biên một hoặc hai tính năng đối với kết quả dự đoán của mô hình học máy. Nếu chúng ta đang phân tích giá thị trường của một kim loại như vàng bằng cách sử dụng bộ dữ liệu với hàng trăm tính năng, bao gồm giá trị của vàng trong những ngày trước, chúng ta sẽ thấy rằng giá vàng có sự phụ thuộc cao hơn vào một số tính năng so với các tính năng khác. Ví dụ, giá vàng có thể được liên kết chặt chẽ với giá dầu, trong khi không liên kết chặt chẽ với giá bơ. Thông tin này được hiển thị trong một biểu đồ phụ thuộc một phần.
Một ví dụ về các lô phụ thuộc một phần cho thuê xe đạp liên quan đến nhiệt độ, độ ẩm và tốc độ gió. Chúng tôi thấy rằng trong ba biến số, nhiệt độ có sự phụ thuộc mạnh nhất vào số lượng thuê xe đạp. nguồn
Lưu ý rằng đây không giống như mô hình hồi quy tuyến tính. Nếu điều này được thực hiện trên mô hình hồi quy tuyến tính, thì mỗi ô phụ thuộc một phần sẽ là tuyến tính. Biểu đồ phụ thuộc một phần cho phép chúng ta thấy mối quan hệ trong toàn bộ độ phức tạp của nó, có thể là tuyến tính, hàm mũ hoặc một số mối quan hệ phức tạp khác.
Một trong những cạm bẫy chính của cốt truyện phụ thuộc một phần là nó chỉ có thể hiển thị một cách thực tế một diễn giải 2D liên quan đến một hoặc hai tính năng. Do đó, việc mô hình hóa các thuật ngữ tương tác bậc cao giữa nhiều biến là khó khăn.
Ngoài ra còn có một giả định cố hữu về tính độc lập của các biến, thường không phải là trường hợp (chẳng hạn như mối tương quan giữa chiều cao và cân nặng, là hai thông số phổ biến trong bộ dữ liệu y tế). Các mối tương quan giữa các biến có thể khiến một trong số chúng trở thành vấn đề dư thừa hoặc hiện tại cho thuật toán do đa cộng đồng. Trong trường hợp điều này trở thành một vấn đề, sử dụng Hiệu ứng cục bộ tích lũy (ALE) được ưu tiên hơn nhiều, vì nó không gặp phải những cạm bẫy giống như âm mưu phụ thuộc một phần khi nói đến cộng tuyến.
Để tránh diễn giải quá mức các kết quả trong các vùng tính năng thưa thớt dữ liệu, thật hữu ích khi thêm một cốt truyện thảm ở dưới cùng của biểu đồ phụ thuộc một phần để xem nơi có nhiều vùng dữ liệu và dữ liệu thưa thớt.
Kỳ vọng có điều kiện cá nhân (ICE)
ICE tương tự như các ô phụ thuộc một phần, ngoại trừ một dòng khác được vẽ cho từng trường hợp trong bộ dữ liệu. Do đó, âm mưu phụ thuộc một phần cho chúng ta một tính trung bình quan điểm về sự phụ thuộc của một biến tính năng vào biến đầu ra, trong khi ICE cho phép chúng ta thấy sự phụ thuộc theo trường hợp cụ thể của một biến tính năng. Điều này hữu ích khi có các biến tương tác có thể bị che đi khi nhìn vào kết quả trung bình, nhưng trở nên rất rõ ràng khi sử dụng ICE.
Một ví dụ về các ô dự kiến có điều kiện riêng cho thuê xe đạp liên quan đến nhiệt độ, độ ẩm và tốc độ gió. Chúng tôi thấy rằng mỗi ô không thể hiện bất kỳ sự không đồng nhất giữa các trường hợp và do đó không có khả năng có bất kỳ thuật ngữ tương tác quan trọng nào. nguồn
Các loại lô ICE khác nhau tồn tại, chẳng hạn như các lô ICE tập trung và phái sinh cũng tồn tại nhưng về cơ bản cung cấp cùng một thông tin dưới các hình thức khác nhau.
Giá trị Shapley
Giá trị Shapley là một khái niệm được rút ra từ một khía cạnh của lý thuyết trò chơi hợp tác được phát triển vào năm 1953 bởi Lloyd Shapley. Trong lý thuyết trò chơi hợp tác, giá trị Shapley tối ưu hóa khoản thanh toán cho mỗi người chơi dựa trên đóng góp trung bình của họ trên tất cả các hoán vị. Khi áp dụng vào học máy, chúng tôi giả định rằng mỗi tính năng là một người chơi trong trò chơi, tất cả cùng hoạt động để tối đa hóa dự đoán, có thể được coi là khoản thanh toán. Giá trị Shapley chỉ định một phần của khoản thanh toán cho từng tính năng dựa trên đóng góp của nó cho giá trị đầu ra.
Ví dụ: nếu bạn đang xem giá nhà và bạn loại bỏ một tính năng duy nhất khỏi phân tích, điều này ảnh hưởng đến dự đoán mô hình như thế nào? Nếu giá trị dự đoán giảm đi một lượng, chúng ta có thể suy ra rằng tính năng này đã đóng góp rất nhiều cho dự đoán này. Tất nhiên, nó không chính xác đơn giản như vậy, chúng ta phải thực hiện tính toán này cho mọi sự kết hợp các tính năng có thể, có nghĩa là chúng ta cần chạy 2ˣ mô hình trong đó x là số lượng tính năng.
Do đó, giá trị Shapley là đóng góp biên trung bình của một giá trị tính năng trên tất cả các liên minh có thể.
Phương trình cho giá trị Shapley,, từ lý thuyết trò chơi hợp tác.
Phương trình này có thể trông khó khăn, vì vậy hãy kiểm tra từng mảnh từ phải sang trái. Để biết rằng đóng góp cận biên của quan điểm của chúng tôi xᵢ chúng tôi tính toán giá trị dự đoán của mô hình bằng cách sử dụng tất cả các tính năng trong tập hợp tính năng của chúng tôi, S, không chứa tính năng xᵢ và chúng tôi trừ điều này khỏi giá trị dự đoán của tập hợp con với tính năng đó vẫn còn. Sau đó, chúng tôi chia tỷ lệ này cho tổng số hoán vị của các tính năng và sau đó tổng hợp tất cả các đóng góp này. Do đó, giờ đây chúng ta có một giá trị về cơ bản là sự đóng góp trung bình của một tính năng cho một mô hình được đào tạo sử dụng mọi tập hợp con các tính năng có thể.
Cuộc thảo luận này có vẻ khá trừu tượng, vì vậy một ví dụ sẽ hữu ích. Ví dụ được sử dụng trong Cuốn sách của Christoph là một trong những tuyệt vời để xem xét liên quan đến giá nhà. Nếu chúng ta có các tính năng để dự đoán giá nhà bao gồm (1) kích thước của căn hộ (số), (2) gần với công viên gần đó (nhị phân) và (3) tầng của tòa nhà đang ở. Để tính toán các giá trị Shapley cho từng tính năng, chúng tôi lấy mọi tập hợp con các tính năng có thể và dự đoán đầu ra trong từng trường hợp (bao gồm cả trường hợp không có tính năng). Sau đó chúng tôi tổng hợp các đóng góp cận biên của từng tính năng.
Tất cả các hoán vị tính năng có thể cần xem xét để tính giá trị Shapley cho mô hình dự đoán giá nhà đơn giản. nguồn
Trình phát có thể là một giá trị tính năng riêng lẻ, ví dụ: đối với dữ liệu dạng bảng, nhưng trình phát cũng có thể là một nhóm các giá trị tính năng. Ví dụ: để giải thích một hình ảnh, các pixel có thể được nhóm thành các siêu ảnh và dự đoán được phân phối giữa chúng.
Theo tôi biết, không có gói chính thức nào cho các giá trị Shapley trên Python, nhưng có một số kho lưu trữ có sẵn đã triển khai nó cho máy học. Một gói như vậy có thể được tìm thấy tại đây.
Nhược điểm chính của giá trị Shapley là nó rất tốn kém về mặt tính toán và tốn thời gian cho số lượng lớn các tính năng do sự gia tăng theo cấp số nhân của số lượng hoán vị có thể làm tăng số lượng tính năng. Do đó, đối với các ứng dụng có số lượng tính năng rất lớn, giá trị Shapley thường được xấp xỉ bằng cách sử dụng tập hợp các hoán vị tính năng.
neo
Được giới thiệu lần đầu tiên vào năm 2018 giấy của Marco Tulio Ribeiro, Sameer Singh và Carlos Guestrin, cùng các nhà nghiên cứu đã tạo ra LIME. Nó cũng có cái riêng Gói Python được phát triển bởi Marco. Nó cũng có sẵn trong BẰNG CHỨNG gói cho Python.
Neo giải quyết một thiếu sót quan trọng của phương pháp giải thích địa phương như GIỚI HẠN ủy quyền hành vi cục bộ của mô hình theo cách tuyến tính. Tuy nhiên, vẫn chưa rõ mức độ giải thích trong khu vực xung quanh trường hợp được giải thích vì cả mô hình và dữ liệu có thể biểu hiện hành vi phi tuyến tính trong vùng lân cận của thể hiện. Cách tiếp cận này có thể dễ dàng dẫn đến sự tự tin thái quá trong việc giải thích và kết luận sai lệch về các trường hợp không nhìn thấy nhưng tương tự. Thuật toán neo giải quyết vấn đề này bằng cách kết hợp phạm vi bảo hiểm, khu vực áp dụng giải thích, vào vấn đề tối ưu hóa.
Tương tự như LIME, các neo có thể được sử dụng trên dữ liệu văn bản, dạng bảng và hình ảnh. Đối với hình ảnh, trước tiên chúng tôi phân đoạn chúng thành các siêu ảnh trong khi vẫn duy trì cấu trúc hình ảnh cục bộ. Các đại diện có thể hiểu được sau đó bao gồm sự hiện diện hoặc vắng mặt của mỗi siêu pixel trong neo. Một số kỹ thuật phân đoạn hình ảnh có thể được sử dụng để phân chia một hình ảnh thành các siêu ảnh, chẳng hạn như thái lát or nhanh chóng.
Thuật toán hỗ trợ một số thuật toán phân đoạn hình ảnh tiêu chuẩn (felundredzwalb, lát và quickshift) và cho phép người dùng cung cấp chức năng phân đoạn tùy chỉnh.
Neo của beagle được đặt chồng lên các nền hình ảnh khác mà không giảm độ chính xác dự đoán khi được phân loại bằng mạng Inception. nguồn
Phản tác dụng
Phản tác dụng là trái ngược với neo. Neo là các tính năng mà khi có mặt là đủ để neo dự đoán (nghĩa là ngăn không cho nó bị thay đổi bằng cách thay đổi các tính năng khác). Trong phần neo, chúng tôi đã xem xét một ví dụ trong đó các neo này là siêu hình ảnh của một hình ảnh. Trên thực tế, mọi siêu pixel trong hình ảnh không phải là một phần của neo là phản tác dụng - chúng ta có thể thay đổi dự đoán bằng cách thay đổi các phản ứng, và không phải bằng cách thay đổi các neo.
Phản tác dụng lần đầu tiên được đề xuất trong bài báo của Wachter et al 2017 có tiêu đề Giải thích ngược lại mà không cần mở hộp đen: Các quyết định tự động và GDPR.. Ý tưởng cơ bản của các tác dụng phụ là chúng tôi muốn tìm ra sự thay đổi nhỏ nhất mà chúng tôi có thể thực hiện với số lượng tính năng nhỏ nhất để có được đầu ra mong muốn.
Một lời giải thích chính xác về dự đoán mô tả sự thay đổi nhỏ nhất đối với các giá trị tính năng thay đổi dự đoán thành đầu ra được xác định trước.
Một phản tác dụng là gì? Đó là thay đổi nhỏ nhất đối với không gian tính năng của chúng tôi cho phép chúng tôi vượt qua một ranh giới quyết định. nguồn
Điều này nghe có vẻ như là một nhiệm vụ chưa được xác định, vì có nhiều cách để chúng ta có thể thay đổi thể hiện của mình để đáp ứng đầu ra mong muốn. Hiện tượng này được gọi là "Hiệu ứng Rashomon" và kết quả là, chúng ta phải giải quyết vấn đề của mình dưới dạng một vấn đề tối ưu hóa. Đầu tiên, chúng tôi muốn đảm bảo rằng chúng tôi thay đổi càng ít tính năng càng tốt và thay đổi các tính năng này với số lượng nhỏ nhất có thể, đồng thời duy trì các trường hợp có khả năng phân phối dữ liệu chung. Hàm mất cho vấn đề tối ưu hóa của chúng tôi có thể được chọn là
Hàm mất mát được giảm thiểu như là một phần của vấn đề tối ưu hóa chính xác.
Thuật ngữ đầu tiên của hàm mất biểu thị khoảng cách bậc hai giữa dự đoán mô hình f '(x') và sản lượng dự kiến y '. Thuật ngữ thứ hai đại diện cho một thước đo khoảng cách giữa thể hiện ban đầu và thể hiện phản tác dụng. Thuật ngữ bậc hai có một tham số tỷ lệ chia tỷ lệ quan trọng của đầu ra dự đoán đến khoảng cách giữa thể hiện thông thường x và ví dụ phản tác dụng x '.
Số liệu khoảng cách chúng ta sử dụng là khoảng cách Manhattan vì đối tác không chỉ gần với thể hiện ban đầu mà còn phải thay đổi càng ít tính năng càng tốt. Hàm khoảng cách được mô tả là
Đây là khoảng cách Manhattan được thu nhỏ bằng độ lệch tuyệt đối trung vị.
Nếu chúng ta có một tham số tỷ lệ nhỏ, số liệu khoảng cách vì quan trọng hơn và chúng ta muốn thấy các phản ứng gần với thể hiện thông thường của chúng ta. Nếu chúng ta có một tham số tỷ lệ lớn, dự đoán sẽ trở nên quan trọng hơn và chúng ta sẽ lỏng lẻo hơn về mức độ phản tác dụng để thể hiện trường hợp thông thường của chúng ta.
Khi chúng tôi chạy thuật toán của mình, chúng tôi không cần chọn giá trị cho tham số tỷ lệ. Thay vào đó, các tác giả đề xuất rằng một dung sai, ϵ, được đưa ra bởi người dùng đại diện cho việc chúng ta sẽ chịu đựng được dự đoán từ đầu ra của chúng ta bao xa. Điều này được thể hiện như là
Một hạn chế bổ sung của vấn đề tối ưu hóa của chúng tôi.
Vấn đề tối ưu hóa của chúng tôi sau đó có thể được mô tả ngắn gọn như
Mục tiêu của chúng tôi là tìm ra phản ứng x 'làm giảm thiểu chức năng mất tổng thể của chúng tôi trong khi thay đổi tham số tỷ lệ.
Cơ chế tối ưu hóa cho các tác dụng phụ có thể được mô tả như một cách tiếp cận 'các quả cầu đang phát triển', theo đó, ví dụ đầu vào, x, giá trị sản phẩm đầu ra, y 'và tham số dung sai, ϵ, được đưa ra bởi người dùng. Ban đầu, một giá trị nhỏ cho tham số tỷ lệ, λ, được đặt. Một thể hiện ngẫu nhiên trong 'phạm vi' hiện tại của các phản ứng được phép được lấy mẫu và sau đó được sử dụng làm điểm bắt đầu để tối ưu hóa cho đến khi thể hiện thỏa mãn các ràng buộc trên (nghĩa là nếu chênh lệch giữa dự đoán và giá trị đầu ra nằm dưới dung sai của chúng tôi). Sau đó, chúng tôi thêm trường hợp này vào danh sách các tác dụng phụ và tăng giá trị của λ đó là tăng hiệu quả kích thước của 'quả cầu' của chúng tôi. Chúng tôi thực hiện điều này một cách đệ quy, tạo ra một danh sách các tác dụng phụ. Khi kết thúc thủ tục, chúng tôi chọn phản ứng làm giảm thiểu chức năng mất.
Counterfactuals được triển khai trong gói Python ALIBI, bạn có thể đọc về tại đây (họ cũng có một mô tả thay thế có thể hữu ích và rõ ràng hơn của tôi).
Kỹ thuật khác
Có những kỹ thuật khác mà tôi chưa từng chạm đến ở đây mà tôi giới thiệu người đọc quan tâm. Chúng bao gồm, nhưng không giới hạn:
Kỹ thuật giảm kích thước (PCA, t-SNE)
Một kho chủ đề tốt về khả năng diễn giải máy học cũng có thể được tìm thấy trên này Trang GitHub trong đó bao gồm các bài báo, bài giảng và các blog khác với tài liệu về chủ đề này.
Bình luận cuối cùng
Trực quan học tập sâu là một chủ đề phức tạp chỉ mới bắt đầu được nghiên cứu trong vài năm qua. Tuy nhiên, nó sẽ trở nên quan trọng hơn khi các kỹ thuật học sâu trở nên tích hợp hơn vào xã hội dựa trên dữ liệu của chúng ta. Hầu hết chúng ta có thể coi trọng hiệu suất hơn sự hiểu biết, nhưng tôi nghĩ rằng việc có thể diễn giải và giải thích các mô hình sẽ mang lại lợi thế cạnh tranh cho các cá nhân và công ty trong tương lai, chắc chắn sẽ có một thị trường cho nó.
Trực quan hóa không phải là phương pháp duy nhất hoặc phương pháp tốt nhất để diễn giải hoặc giải thích kết quả của các mạng lưới thần kinh sâu sắc, nhưng chúng chắc chắn là a phương pháp và họ có thể cung cấp cho chúng tôi cái nhìn sâu sắc hữu ích về quá trình ra quyết định của các mạng phức tạp.
Vấn đề là một số liệu duy nhất, chẳng hạn như độ chính xác phân loại, là một mô tả không đầy đủ của hầu hết các nhiệm vụ trong thế giới thực. - Doshi-Velez và Kim 2017
dự án
Dưới đây là những bài báo mà tôi đã tham khảo trong bài viết này cũng như những bài báo tôi nghĩ rằng người đọc có thể tìm thấy thông tin về chủ đề giải thích và giải thích thuật toán.
[1] Hướng tới một khoa học chặt chẽ về học máy có thể diễn giải - Doshi-Velez và Kim, 2017
[2] Thần thoại về khả năng diễn giải của mô hình - Lipton, 2017
[3] Tính minh bạch: Động lực và thách thức - Vâng, năm 2019
[4] Một đánh giá về khả năng giải thích của con người - Lage et. năm 2019
[5] Khả năng diễn giải và đo lường mô hình đo lường - Poursabzi-Sangdeh, 2018
[6] Phân loại có thể giải thích bằng cách sử dụng quy tắc và phân tích Bayes: Xây dựng mô hình dự đoán đột quỵ tốt hơn - Letham và Rudin, 2015
[7] Bộ quyết định có thể diễn giải: Khung mô tả và dự đoán chung - Lakkaraju et. năm 2016
[8] Học sâu để lập luận dựa trên tình huống thông qua nguyên mẫu: Mạng lưới thần kinh giải thích các dự đoán của nó - Li và cộng sự al., 2017
[9] Mô hình trường hợp Bayes: Phương pháp tiếp cận chung cho lý luận dựa trên tình huống và phân loại nguyên mẫu - Kim và. cộng sự, 2014
[10] Tìm hiểu Điểm rủi ro được tối ưu hóa - Ustun và Rudin, 2017
[11] Các mô hình đủ điều kiện cho HealthCare: Dự đoán nguy cơ viêm phổi và thời gian nằm viện trong 30 ngày - Caruana và. cộng sự, 2015
[12] “Tại sao tôi nên tin tưởng bạn?” Giải thích các dự đoán của bất kỳ bộ phân loại nào - Ribeiro et. năm 2016
[13] Ngừng giải thích các mô hình học máy hộp đen cho các quyết định có tỷ lệ cao và sử dụng các mô hình có thể diễn giải để thay thế - Rudin, 2019
[14] Diễn giải Mạng thần kinh là Mong manh - Ghorbani et. năm 2019
[15] Hình dung các quyết định về mạng lưới thần kinh sâu: Phân tích sự khác biệt về dự đoán - Zintgraf và. al., 2017
[16] Kiểm tra tình trạng cho Bản đồ độ mặn - Adebayo và. al., 2018
[17] Phương pháp tiếp cận thống nhất để diễn giải mô hình dự đoán - Lundberg và Lee, 2017
[18] Khả năng diễn giải ngoài Ghi nhận tính năng: Thử nghiệm định lượng với các vectơ kích hoạt khái niệm (TCAV) - Kim và. cộng sự, 2018
[19] Giải thích ngược thực tế mà không cần mở hộp đen: Quyết định tự động và GDPR - Wachter et. năm 2018
[20] Truy đòi có thể hành động trong phân loại tuyến tính - Ustun et. năm 2018
[21] Diễn giải Nhân quả của Mô hình Hộp đen - Zhao và Hastie, 2018
[22] Các Chế độ Điều trị Hiệu quả về Chi phí và Có thể hiểu được - Lakkaraju và Rudin, 2017
[23] Trước đó về khả năng phiên dịch giữa người trong vòng - Lage et. năm 2018
[24] Giải thích trung thực và có thể tùy chỉnh về mô hình hộp đen - Lakkaraju et. năm 2019
[25] Hiểu về Dự đoán hộp đen thông qua các chức năng ảnh hưởng - Koh và Liang, 2017
[26] Sự đơn giản tạo ra sự không công bằng: Hàm ý cho sự công bằng, khuôn mẫu và khả năng diễn giải - Kleinberg và Mullainathan, 2019
[27] Hiểu về mạng thần kinh thông qua hình dung sâu - Yosinski và cộng sự, 2015
[28] Deep Inside Convolutions Networks: Trực quan hóa các mô hình phân loại hình ảnh và bản đồ độ mặn - Simonyan, Vedaldi và Zisserman, 2014
[29] Hình ảnh hóa tính năng nhiều mặt: Khám phá các loại tính năng khác nhau được học bởi mỗi nơron trong mạng thần kinh sâu - Nguyễn, Yosinski và Clune, 2016
[30] Giải thích về trí tuệ nhân tạo: Những hiểu biết sâu sắc từ khoa học xã hội - Tim Miller, 2017
[31] Ví dụ là không đủ, học cách phê bình! Phê bình về tính giải nghĩa -Kim, Been, Rajiv Khanna và Oluwasanmi O. Koyejo, 2016
[32] Bên trong Hộp đen có gì? Những thách thức về AI đối với Luật sư và Nhà nghiên cứu - Ronald Yu và Gabriele Spina Ali, 2019
Bài viết này ban đầu được xuất bản vào Hướng tới khoa học dữ liệu và được xuất bản lại lên TOPBOTS với sự cho phép của tác giả.
Thưởng thức bài viết này? Đăng ký để cập nhật thêm nghiên cứu AI.
Chúng tôi sẽ cho bạn biết khi chúng tôi phát hành thêm các bài viết tóm tắt như thế này.
