출처: https://tutorials.datasciencedojo.com/building-robust-machine-learning-models/attachment/2412/

저는 최근에 AI 교육에 초점을 맞춘 새로운 뉴스 레터를 시작했습니다. TheSequence는 읽는 데 5 분이 소요되는 비 BS (과장, 뉴스 없음 등) AI 중심 뉴스 레터입니다. 목표는 기계 학습 프로젝트, 연구 논문 및 개념에 대한 최신 정보를 유지하는 것입니다. 아래에서 구독하여 사용해보세요.

기계 학습 시스템 구축은 수명주기의 여러 측면에서 기존 소프트웨어 개발과 다릅니다. 테스트, 디버깅 및 문제 해결을 위한 확립된 소프트웨어 방법론은 기계 학습 모델에 적용할 때 단순히 비실용적입니다. 웹 사이트, 모바일 앱 또는 API와 같은 기존 소프트웨어 구성 요소의 동작은 해당 코드에 의해서만 결정되지만 기계 학습 모델은 특정 데이터 세트에 따라 시간이 지남에 따라 지식을 발전시킵니다. 강력한 기계 학습 에이전트를 정의하고 작성하는 방법은 전체 공간에 대한 실존적 과제 중 하나입니다. 지난해 딥마인드 인공지능(AI) 연구진은 해당 주제에 대한 몇 가지 아이디어를 게시했습니다..

강력한 소프트웨어 작성에 대해 생각할 때 우리는 미리 정의된 사양 세트에 따라 작동하는 두 개의 코드를 즉각적으로 연관시킵니다. 기계 학습의 경우 올바른 사양이나 강력한 동작에 대한 확립된 정의가 없습니다. 허용되는 방식은 특정 데이터 세트를 사용하여 기계 학습 모델을 교육하고 다른 데이터 세트를 사용하여 테스트하는 것입니다. 이러한 접근 방식은 두 데이터 세트 모두에서 평균 이상의 동작을 달성하는 데 매우 효율적이지만 극단적인 경우에는 항상 효율적이지는 않습니다. 이러한 과제의 전형적인 예는 인간의 눈으로 전혀 감지할 수 없는 입력 데이터 세트에 작은 변형을 도입하여 완전히 중단될 수 있는 이미지 분류 모델을 보는 것입니다.

기계 학습 모델의 견고성 개념은 훈련 및 테스트 데이터 세트에 대해 우수한 성능을 발휘하는 것 이상이어야 하며 시스템의 바람직한 동작을 설명하는 사전 정의된 사양 세트에 따라 동작해야 합니다. 이전 예를 사용하여 요구 사항 사양은 적대적 교란 또는 주어진 안전 제약 조건 세트에 대한 기계 학습 모델의 예상 동작을 자세히 설명할 수 있습니다.
강력한 기계 학습 프로그램을 작성하는 것은 정확한 교육 데이터 세트부터 효율적인 최적화 기술에 이르기까지 다양한 측면의 조합입니다. 그러나 이러한 프로세스의 대부분은 DeepMind 연구의 핵심 초점을 구성하는 세 가지 주요 기둥의 변형으로 모델링될 수 있습니다.

1. 사양과의 일관성 테스트: 기계 학습 시스템이 시스템 설계자와 사용자가 원하는 속성(예: 불변성 또는 견고성)과 일치하는지 테스트하는 기술입니다.
2. 사양과 일치하도록 기계 학습 모델 교육: 풍부한 훈련 데이터가 있어도 표준 기계 학습 알고리즘은 견고성이나 공정성과 같은 바람직한 사양과 일치하지 않는 예측을 만드는 예측 모델을 생성할 수 있습니다. 이를 위해서는 훈련 데이터에 잘 맞을 뿐만 아니라 다음과도 일치하는 모델을 생성하는 훈련 알고리즘을 다시 고려해야 합니다. 사양 목록.
3. 기계 학습 모델이 사양과 일치함을 공식적으로 증명: 모델 예측이 가능한 모든 입력에 대한 관심 사양과 일치하는지 확인할 수있는 알고리즘이 필요합니다. 공식 검증 분야에서는 수십 년 동안 이러한 알고리즘을 연구했지만 이러한 접근 방식은 인상적인 진보에도 불구하고 현대 딥 러닝 시스템으로 쉽게 확장되지 않습니다.

사양 테스트

 
적대적 예는 주어진 사양 세트에 대해 기계 학습 모델의 동작을 테스트하는 훌륭한 메커니즘입니다. 불행히도, 적대적 훈련과 관련된 대부분의 작업은 이미지 분류 모델로 제한되었습니다. 이러한 아이디어 중 일부를 강화 학습과 같은 보다 일반적인 영역으로 확장하면 기계 학습 모델의 견고성을 테스트하는 범용 메커니즘을 제공할 수 있습니다.

적대적 훈련의 일부 아이디어에 따라 DeepMind는 RL 에이전트의 적대적 테스트를 위한 두 가지 보완적인 접근 방식을 개발했습니다. 첫 번째 기술은 미분 없는 최적화를 사용하여 에이전트의 예상 보상을 직접 최소화합니다. 두 번째 방법은 어떤 상황이 에이전트에 실패를 일으킬 가능성이 가장 높은지 경험을 통해 예측하는 적대적 가치 함수를 학습합니다. 학습된 함수는 최적화에 사용되어 가장 문제가 있는 입력에 대한 평가에 집중합니다. 이러한 접근 방식은 풍부하고 성장하는 잠재적인 알고리즘 공간의 작은 부분일 뿐이며 에이전트에 대한 엄격한 평가에서 향후 개발이 기대됩니다.

출처: https://deepmind.com/blog/article/robust-and-verified-ai

적대적 접근 방식은 강화 학습 에이전트의 기존 테스트 방법에 비해 실질적인 개선을 보여주었습니다. 적대적 테스트를 통해 일반적으로 눈에 띄지 않는 오류를 발견하는 동시에 훈련 데이터 세트의 구성을 기반으로 예상하지 못한 에이전트의 행동을 정성적으로 드러냈습니다. 예를 들어 다음 그림은 3D 탐색 작업에서 적대적 훈련의 효과를 보여줍니다. 에이전트가 인간 수준의 성능을 달성할 수 있더라도 적대적 훈련은 매우 간단한 작업에서는 여전히 실패할 수 있음을 보여줍니다.

사양 교육

 
적대적 테스트는 오류를 감지하는 데 매우 효과적이지만 여전히 주어진 사양에서 벗어나는 예를 발견하지 못합니다. 머신러닝 관점에서 요구사항 개념을 생각해보면 입력과 출력 간의 수학적 관계로 모델링할 수 있습니다. 이 아이디어를 사용하여 DeepMind 팀은 하한과 상한을 사용하여 주어진 사양으로 모델의 일관성을 기하학적으로 계산하는 방법을 만들었습니다. Interval Bound Propagation으로 알려진 DeepMind의 방법은 다음 그림과 같이 네트워크의 각 계층에서 평가할 수 있는 경계 상자에 사양을 매핑합니다. 다양한 기계 학습 모델에서 입증 가능한 오류율을 줄이는 것으로 입증된 기술입니다.

출처: https://deepmind.com/blog/article/robust-and-verified-ai

공식 검증

 
정확한 테스트 및 교육은 기계 학습 모델의 견고성을 달성하는 데 필요한 단계이지만 시스템이 기대에 따라 작동하는지 확인하기에는 대체로 충분하지 않습니다. 대규모 모델에서 주어진 입력 세트(예: 이미지에 대한 극미량 섭동)에 대해 가능한 모든 출력을 열거하는 것은 입력 섭동에 대한 선택의 천문학적 수로 인해 다루기 어렵습니다. 형식 검증 기술은 주어진 사양을 기반으로 기하학적 경계를 설정하는 효율적인 접근 방식을 찾는 데 초점을 맞춘 활발한 연구 영역입니다.

DeepMind는 최근 검증 문제를 검증 대상 속성의 가장 큰 위반 사항을 찾으려는 최적화 문제로 모델링하는 공식 검증 방법을 개발했습니다. 이 기술은 특정 속성을 더 이상 위반하지 않는다는 것을 간접적으로 보장하는 올바른 경계를 찾을 때까지 여러 번 반복됩니다. 처음에는 강화 학습 모델에 적용되었지만 DeepMind의 접근 방식은 다른 기계 학습 기술로 일반화하기가 매우 쉽습니다.

출처: https://deepmind.com/blog/article/robust-and-verified-ai

테스트, 교육 및 사양의 공식 검증의 조합은 강력한 기계 학습 모델 구현을 위한 세 가지 핵심 요소를 구성합니다. DeepMind 아이디어는 훌륭한 출발점이지만 이러한 개념이 기계 학습 모델과 관련된 사양의 모델링 및 검증을 가능하게 하는 기능적 데이터 세트 또는 프레임워크로 발전할 것으로 기대해야 합니다. 강력한 머신러닝을 향한 길도 머신러닝을 통해 가능해집니다.

 
실물. 허가를 받아 다시 게시했습니다.

관련 :

• 잊어 버린 학습 : 심층 신경망과 Jennifer Aniston Neuron
• 학습을 위한 DeepMind의 제안 #AtHomeWithAI
• Facebook, 베이지안 최적화를 사용하여 머신 러닝 모델에서 더 나은 실험 수행