신경망의 생각 이해
몇 년 전에 Google은 기계 학습 해석 능력에서 가장 중요한 논문 중 하나를 발표했습니다.
저는 최근 AI 교육에 관한 새로운 뉴스 레터를 시작했습니다. TheSequence는 5 분이 걸리는 BS가없는 AI 광고 뉴스 레터입니다. 목표는 머신 러닝 프로젝트, 연구 논문 및 개념을 최신 상태로 유지하는 것입니다. 아래를 구독하여 사용해보십시오.
딥 러닝 솔루션의 도전적인 요소 중 하나는 딥 뉴럴 네트워크가 내린 지식과 결정을 이해하는 것입니다. 신경망에 의해 내려진 결정의 해석은 항상 어려웠지만, 다차원 데이터 세트로 작동하는 대규모 신경망의 딥 러닝 및 확산으로 인해이 문제는 악몽이되었습니다. 당연히 신경망의 해석은 딥 러닝 생태계에서 가장 활발한 연구 분야 중 하나가되었습니다.
이미지 인식과 같은 딥 러닝 작업을 수행하는 수억 개의 뉴런이있는 대형 신경망을 상상해보십시오. 일반적으로 네트워크가 특정 결정에 도달하는 방식을 이해하려고합니다. 현재 연구의 대부분은 네트워크의 어떤 뉴런이 활성화되었는지를 탐지하는 데 중점을두고 있습니다. 뉴런 -12345가 XNUMX 번 발사되었다는 것을 아는 것은 관련이 있지만 전체 네트워크의 규모에있어 매우 유용하지는 않습니다. 신경망의 의사 결정 이해에 대한 연구는 XNUMX 가지 주요 영역 인 기능 시각화, 속성 및 차원 축소에 중점을 두었습니다. 특히 Google은 일부 기능 시각화 공간 게시에서 많은 작업을 수행했습니다. 놀라운 연구 및 도구. XNUMX 년 전, Google 연구원들은 제목의 논문을 발표했습니다. “통역의 빌딩 블록” 그것은 기계 학습 해석의 정식 논문이되었습니다. 이 논문은 심층 신경망이 결정을 내리는 방법을 이해하기위한 몇 가지 새로운 아이디어를 제안합니다.
Google 연구의 주요 통찰력은 다양한 해석 기술을 개별적으로 보지 않고 신경망의 동작을 이해하는 데 도움이되는 더 큰 모델의 구성 가능한 빌딩 블록으로 보는 것입니다. 예를 들어, 특징 시각화는 개별 뉴런에 의해 처리 된 정보를 이해하는 데 매우 효과적인 기술이지만 그 통찰력을 신경망에 의해 이루어진 전체 결정과 연관시키지 않습니다. 기여는 다른 뉴런들 사이의 관계를 설명하는보다 견고한 기술이지만 개별 뉴런의 결정을 이해하기에는 그리 많지 않습니다. Google은 이러한 구성 요소를 결합하여 해석 모델을 만들었을뿐만 아니라 무엇을 설명 신경망이 감지하지만 응답하지 않습니다 방법 네트워크는 이러한 개별 부분을 조립하여 나중에 결정에 도달합니다. why 이러한 결정이 내려졌습니다.
해석 성을위한 새로운 Google 모델은 어떻게 구체적으로 작동합니까? 제 생각에 주요 혁신은 개별 뉴런, 연결된 뉴런 그룹 및 완전한 레이어와 같은 다른 수준의 신경 네트워크의 여러 구성 요소에 의해 이루어진 결정을 분석한다는 것입니다. Google은 또한 행렬 인수 분해라는 새로운 연구 기법을 사용하여 임의의 뉴런 그룹이 최종 결정에 미칠 수있는 영향을 분석합니다.
Google의 해석 가능성 블록을 생각하는 좋은 방법은 기본 계산 그래프에서 최종 결정에 이르기까지 다양한 추상화 수준에서 신경망의 결정에 대한 통찰력을 감지하는 모델입니다.
심층 신경망 해석성에 대한 Google의 연구는 이론적 인 운동 일뿐입니다. 연구 그룹은 논문의 발표와 함께 맑은, 신경망 시각화 라이브러리는 개발자가 신경망의 개별 세그먼트에서 내린 결정을 설명하는 명료 한 기능 시각화를 만들 수 있도록합니다. 구글도 출시 콜랩 노트북. 이 노트북을 사용하면 대화식 환경에서 Lucid를 사용하여 Lucid 시각화를 매우 쉽게 만들 수 있습니다.
실물. 허가를 받아 다시 게시했습니다.
관련 :
지난 30 일 동안의 주요 기사
|
|
출처 : https://www.kdnuggets.com/2020/07/understanding-neural-networks-think.html
