Hiểu cách mạng lưới thần kinh suy nghĩ
Một vài năm trước, Google đã xuất bản một trong những bài báo quan trọng nhất về khả năng diễn giải của máy học.
Gần đây tôi đã bắt đầu một bản tin mới tập trung vào giáo dục AI. TheSequence là một bản tin không có BS (có nghĩa là không cường điệu, không có tin tức, v.v.) tập trung vào AI, mất 5 phút để đọc. Mục tiêu là giúp bạn cập nhật các dự án, tài liệu nghiên cứu và khái niệm về máy học. Vui lòng dùng thử bằng cách đăng ký bên dưới:
Một trong những yếu tố thách thức của bất kỳ giải pháp học sâu nào là hiểu được kiến thức và quyết định được đưa ra bởi mạng lưới thần kinh sâu. Mặc dù việc giải thích các quyết định do mạng lưới thần kinh đưa ra luôn khó khăn nhưng vấn đề này đã trở thành cơn ác mộng với sự phát triển của học sâu và sự phát triển của mạng lưới thần kinh quy mô lớn hoạt động với bộ dữ liệu đa chiều. Không có gì đáng ngạc nhiên khi việc giải thích mạng lưới thần kinh đã trở thành một trong những lĩnh vực nghiên cứu tích cực nhất trong hệ sinh thái học sâu.
Hãy thử tưởng tượng một mạng lưới thần kinh lớn với hàng trăm triệu tế bào thần kinh đang thực hiện nhiệm vụ học sâu như nhận dạng hình ảnh. Thông thường, bạn muốn hiểu cách mạng đưa ra các quyết định cụ thể. Hầu hết các nghiên cứu hiện nay đều tập trung vào việc phát hiện tế bào thần kinh nào trong mạng đã được kích hoạt. Biết rằng nơ-ron-12345 được kích hoạt năm lần là có liên quan nhưng không thực sự hữu ích trong quy mô của toàn bộ mạng. Nghiên cứu về việc hiểu các quyết định trong mạng lưới thần kinh đã tập trung vào ba lĩnh vực chính: trực quan hóa tính năng, phân bổ và giảm kích thước. Đặc biệt, Google đã thực hiện rất nhiều công việc trong lĩnh vực trực quan hóa tính năng, xuất bản một số nghiên cứu và công cụ đáng chú ý. Hơn một năm trước, các nhà nghiên cứu của Google đã xuất bản một bài báo có tựa đề “Các khối xây dựng của khả năng diễn giải” đã trở thành một bài báo quan trọng về khả năng diễn giải của máy học. Bài viết đề xuất một số ý tưởng mới để hiểu mạng lưới thần kinh sâu đưa ra quyết định như thế nào.
Cái nhìn sâu sắc chính trong nghiên cứu của Google là không xem các kỹ thuật có thể diễn giải khác nhau một cách biệt lập mà là các khối xây dựng có thể kết hợp được của các mô hình lớn hơn giúp hiểu được hành vi của mạng lưới thần kinh. Ví dụ: trực quan hóa đặc điểm là một kỹ thuật rất hiệu quả để hiểu thông tin được xử lý bởi từng nơ-ron riêng lẻ nhưng không thể liên hệ được thông tin chi tiết đó với quyết định tổng thể do mạng nơ-ron đưa ra. Ghi công là một kỹ thuật vững chắc hơn để giải thích mối quan hệ giữa các nơ-ron khác nhau nhưng không quá nhiều khi hiểu được quyết định của từng nơ-ron riêng lẻ. Kết hợp những khối xây dựng đó, Google đã tạo ra một mô hình có khả năng diễn giải không chỉ giải thích những gì mạng lưới thần kinh phát hiện nhưng nó trả lời làm thế nào mạng tập hợp các phần riêng lẻ này để đưa ra các quyết định sau này và tại sao những quyết định này đã được đưa ra.
Mô hình mới của Google về khả năng diễn giải hoạt động cụ thể như thế nào? Chà, theo tôi, cải tiến chính là nó phân tích các quyết định được đưa ra bởi các thành phần khác nhau của mạng lưới thần kinh ở các cấp độ khác nhau: các nơ-ron riêng lẻ, các nhóm nơ-ron được kết nối và các lớp hoàn chỉnh. Google cũng sử dụng một kỹ thuật nghiên cứu mới gọi là hệ số hóa ma trận để phân tích tác động mà các nhóm nơ-ron tùy ý có thể gây ra trong quyết định cuối cùng.
Một cách hay để suy nghĩ về các khối có khả năng diễn giải của Google là sử dụng một mô hình phát hiện những hiểu biết sâu sắc về các quyết định của mạng thần kinh ở các mức độ trừu tượng khác nhau từ biểu đồ tính toán cơ bản đến quyết định cuối cùng.
Nghiên cứu của Google về khả năng diễn giải mạng lưới thần kinh sâu không chỉ là một bài tập lý thuyết. Nhóm nghiên cứu đã đồng hành cùng bài báo với việc phát hành Minh mân, một thư viện trực quan hóa mạng thần kinh cho phép các nhà phát triển tạo ra các hình ảnh trực quan hóa tính năng rõ ràng để minh họa các quyết định được đưa ra bởi các phân đoạn riêng lẻ của mạng lưới thần kinh. Google cũng đã phát hành sổ tay cộng tác. Những sổ ghi chép này giúp việc sử dụng Lucid cực kỳ dễ dàng để tạo trực quan hóa Lucid trong môi trường tương tác.
Nguyên. Đăng lại với sự cho phép.
Liên quan:
Câu chuyện hàng đầu trong 30 ngày qua
Nguồn: https://www.kdnuggets.com/2020/07/under Hiểu-neural-networks-think.html
