By 에 멜리 드랄, CTO 및 Evidently AI &의 공동 설립자 엘레나 사무 일로 바, Evidently AI의 CEO 및 공동 설립자

세상과 데이터는 고정되어 있지 않습니다. 그러나 대부분의 기계 학습 모델은 그렇습니다. 일단 생산에 들어가면 시간이 지남에 따라 관련성이 떨어집니다. 그만큼 데이터 분포가 진화하고 행동 패턴이 바뀝니다., 그리고 모델은 새로운 현실을 따라잡기 위해 업데이트가 필요합니다. 

일반적인 프로세스는 정의된 간격으로 모델을 다시 훈련시키는 것입니다. 매우 간단해 보입니다. 새 데이터, 이전 학습 파이프라인을 가져와서 모델을 다시 적합시킵니다. 

그러나 얼마나 자주 해야 합니까? 매일, 매주 또는 매월 수행해야 합니까? 아니면 새로운 데이터 배치를 얻을 때마다?

 
너무 자주, 대답은 직감이나 편리함을 기반으로 합니다. 누군가는 적당한 간격을 선택하고 정기적인 재교육 작업을 예약합니다.

대신, 우리는 보다 데이터 중심적인 방식으로 접근할 수 있습니다. 모델 유지 관리를 계획할 때 보다 정확하게 하기 위해 사전에 몇 가지 검사를 실행할 수 있습니다.

모델이 얼마나 중요한지에 따라 전체 또는 일부만 수행할 수 있습니다. 

확인 #1. 모델은 이미 충분합니까? 

 
재교육 계획을 세우기 전에 교육이 완료되었는지 확인하는 것이 도움이 됩니다! 아마도 모델이 아직 최고 성능에 도달하지 않았습니까?

그렇게 하는 간단한 방법은 오래된 학습 곡선을 살펴보는 것입니다. 

어떻게 진행하나요? 모델 성능을 평가하는 데 사용하는 테스트 세트를 수정할 수 있습니다. 그런 다음 훈련 데이터의 다른 부분에 대해 모델을 훈련하여 일련의 실험을 실행합니다. 

무작위 분할 방법을 사용하고 기차 크기를 변경하여 반복할 수 있습니다. 이러한 방식으로 데이터 볼륨이 성능에 미치는 영향에 초점을 맞춥니다. 

그 결과 우리가 배울 수 있는 두 가지가 있습니다. 1) 최고 성능에 도달하는 데 필요한 데이터 양 2) 사용 가능한 훈련 데이터로 모델이 이 안정기에 도달하는지 여부. 

때때로 우리는 모델이 우리가 가지고 있는 모든 데이터를 필요로 하지 않는다는 것을 배웠습니다. 예를 들어, 여러 년 간의 판매 데이터가 있지만 XNUMX년의 교육 데이터만 사용해도 동일한 품질을 얻을 수 있습니다. 

모델을 더 가볍게 만들기 위해 추가 데이터를 삭제할 수 있습니다.

다른 경우에는 모델 품질이 계속해서 올라가는 것을 볼 수 있습니다.. 모델은 더 많은 데이터를 원합니다! 모델을 최상단 형태로 만들기 위해 더 많은 단계를 거쳐야 합니다. 

품질을 유지하기 위해 모델을 재교육하는 것이 아니라 지속적인 개선을 계획해야 합니다. 새로운 데이터가 충분히 확보되면 이를 사용하여 더 나은 성능에 도달할 수 있습니다.

이 첫 번째 테스트는 데이터에서 신호의 규모와 "밀도"에 대한 감각도 제공합니다. 모델 성능에 의미 있는 영향을 보기 위해 10, 100 또는 1000개의 관찰이 필요합니까? 그 정도의 새로운 데이터를 수집하는 데 하루 또는 한 달이 걸릴까요?

알아두면 유용한 정보입니다!

확인 #2. 얼마나 빨리 상황이 바뀌나요?

 
기계 학습 모델을 만들 때 실제 프로세스에 어느 정도 안정성이 있다고 가정합니다. 그렇지 않으면 과거로부터 배우는 것이 거의 의미가 없을 것입니다!

우리는 또한 상황이 변한다는 것을 알고 있습니다. 동적 프로세스로 작업할 때 이러한 새로운 패턴이 축적되는 특정 속도가 있다고 가정할 수도 있습니다.  

우리는 이것을 계산하려고 할 수 있습니다!

모델을 사용하여 과거에 응용 프로그램을 시뮬레이션한 경우 모델이 "지속되는" 시간을 살펴보겠습니다.

데이터의 일부 오래된 부분을 사용하여 모델을 훈련한 다음 이후 기간에 "적용"할 수 있습니다. 홀드아웃 세트와 마찬가지로 여기에서는 여러 개의 연속 세트를 가져옵니다. 

단일 지점 추정으로 시작하여 성능이 얼마나 빨리 저하되는지 확인할 수 있습니다.

과거 데이터가 충분하면 이 검사를 여러 번 반복한 다음 결과를 평균화할 수 있습니다. 잠재적인 이상값과 희귀한 이벤트를 주시하세요!

때때로 우리는 "오래된" 모델이 새 모델만큼 성능이 좋다는 것을 배웠습니다. 일부는 모델을 "신선한" 상태로 유지하기 위해 모델을 자주 재교육하는 것을 선호하지만 항상 정당화되는 것은 아닙니다. 

깨지지 않은 것을 고치지 마십시오! 

빈번한 재교육이 필요하지 않은 경우 더 가벼운 서비스 아키텍처를 사용할 수 있습니다. 또한 변경과 함께 발생하는 기술적 오류의 위험을 줄일 수 있습니다. 특히 새 모델에 승인 프로세스가 필요한 경우 조직의 간접비도 마찬가지입니다. 

다른 경우에는 모델이 매우 빨리 노화된다는 것을 알 수 있습니다! 적절한 모니터링을 설정하고 인프라를 준비하려면 미리 알아두는 것이 좋습니다. 

모델을 보다 안정적으로 만들기 위해 학습 접근 방식을 재고하기로 결정할 수 있습니다. 예를 들어, 기능 엔지니어링이나 모델 아키텍처를 변경하여 테스트 세트에서는 성능이 약간 떨어지지만 장기적으로는 더 안정적입니다. 다른 경우에는 더 짧은 훈련 기간을 사용하여 모델을 훈련하지만 자주 보정을 수행하거나 능동적 학습을 고려할 수 있습니다. 

또한 모델을 재학습하는 능력에 제약이 있을 수 있습니다.

그러면 다음 검사로 넘어갑니다. 

확인 #3. 언제 새 데이터를 받습니까?

여기서는 데이터가 아닌 비즈니스 프로세스를 살펴봅니다. 

때로는 실제 피드백을 거의 즉시 받습니다. 예를 들어 읽을 기사를 추천하면 사용자가 링크를 클릭했는지 빠르게 알 수 있습니다. 

다른 경우에는 모델을 재학습하는 데 사용할 수 있는 새 데이터가 지연됩니다. 

예측 범위가 길면 예측이 맞았는지 확인하기 위해 기다려야 합니다. 다른 작업의 경우 별도의 라벨링 프로세스가 필요합니다. 데이터가 이동되거나 생성되는 방식에서 제한이 발생하는 경우가 있습니다. 예를 들어 수동 데이터 입력은 한 달에 한 번 수행됩니다.

우리는 두 가지 상황 중 하나에 처할 수 있습니다. 

경우에 따라 새 데이터가 도착하기 전에 모델이 저하됩니다. 한계가 됩니다.

모델을 재학습할 시간에 데이터를 얻지 못하면 접근 방식을 다시 재고해야 할 수도 있습니다. 예를 들어, 다양한 재교육 기간을 가진 모델의 앙상블을 만들거나 기계 학습을 규칙 또는 인간-인-더-루프와 결합합니다. 최후의 수단으로 성능 기대치를 조정하고 저하된 모델 품질에 대처할 준비를 할 수도 있습니다. 

다른 경우에는 모델이 붕괴되기 전에 새 데이터가 누적되기 시작합니다. 이 경우 우리는 선택의 여지가 있습니다. 

물론 데이터가 제공된 후 언제든지 재교육을 시작할 수 있습니다. 더 정확하게 하고 싶다면 그렇게 하는 방법이 있습니다. 

읽어!

#4를 확인하십시오. 개선을 보려면 얼마나 많은 데이터가 필요합니까?

 
새 데이터가 매일 도착하지만 모델은 30일 후에만 성능이 저하된다고 가정합니다. 최적의 조치는 무엇입니까? 매일, 매주 또는 한 달에 한 번 재훈련해야 합니까?

새 데이터 버킷이 원하는 개선 사항을 가져오는지 확인하여 보다 정확한 판단을 내릴 수 있습니다. 

문제는 때때로 새로운 데이터 포인트의 작은 세트를 추가해도 아무 것도 변경되지 않는다는 것입니다. 성능에 가시적인 영향을 미치는 최소한의 필수 데이터 크기가 있습니다. 

우리는 이것을 평가할 수 있습니다. 

이를 위해 알려진 붕괴 기간에서 테스트 세트를 선택합니다. 성능이 저하될 때를 알고 있습니다. 그런 다음 새 데이터에 대한 재훈련이 성능을 향상시키는지 확인할 수 있습니다. 

데이터가 들어오는 대로 조금씩 추가할 수 있습니다. 그런 다음 테스트 성능에 어떤 영향을 미치는지 확인합니다. 

종종 발생하는 일은 "유용한" 양의 데이터를 수집하기 위해 약간 기다려야 한다는 것입니다. 예를 들어 관련 계절 패턴을 캡처하려면 데이터의 최소 일주일이 필요합니다. 

결과적으로 재교육 기간의 실제 선택은 생각보다 좁을 수 있습니다! 한편, 데이터 제공 속도에 제한이 있습니다. 다른 한편으로는 효과를 가져오기 위해 재교육을 위해 충분한 데이터를 수집해야 합니다. 

이 기간 내에서 실용적이고 사용 사례에 더 적합한 기간을 선택할 수 있습니다.

#5를 확인하십시오. 오래된 데이터를 유지해야 합니까?

 
자주 나오는 질문이 하나 더 있습니다. 모델을 어떻게 재학습시켜야 할까요? 새로운 데이터를 추가하고 오래된 데이터를 삭제해야 합니까? 훈련 세트를 지속적으로 늘려야 합니까?

이것은 우리가 실행할 수 있는 보너스 체크입니다. 

선택한 간격으로 모델 재교육을 모방한 다음 이전 데이터를 삭제하기 시작하면 상황이 어떻게 변하는지 확인할 수 있습니다.

우리는 종종 오래된 데이터를 생략해도 아무런 차이가 없다는 것을 알 수 있습니다. 그런 다음, 훈련을 더 가볍게 유지하기 위해 해야 할 일은 제정신일 것입니다. 

게다가 때로는 모델을 더 좋게 만듭니다! 오래된 관련 없는 데이터를 유지하면 동적 사용 사례가 있는 경우 성능이 저하될 수 있습니다. 미리 알아두시면 좋습니다.

물론, 당분간 가지고 있는 모든 것을 유지하는 것이 합리적이라고 생각할 수도 있습니다. 나중에 확인을 반복할 수 있습니다. 

무엇 향후 계획?

 
이러한 점검을 통해 모델 유지 보수를 준비할 수 있습니다. 선택한 간격으로 업데이트를 준비하도록 재교육 파이프라인을 설정할 수 있습니다. 

그러나 우리는 단순히 우리의 일정에 의존할 수 없습니다. 현실 확인도 필요하다. 즉, 모델이 출시되면 모니터링합니다. 

가시성을 확보하기 위해 모니터링 대시보드 또는 실제 모델 성능을 계산하기 위해 정기적인 검사를 예약하거나(실제 정보가 있는 경우) 통계 분포 드리프트 및 이상값에 대해 입력 데이터를 모니터링합니다.

안정적인 모델도 직면할 수 있습니다. 데이터 및 개념 드리프트 또는 특정 희귀 이벤트. 이 경우 계획보다 일찍 개입해야 할 수도 있습니다. 

반면에 상황이 안정적이고 계획보다 오래 업데이트를 건너뛸 수 있습니다. 

정기적인 재교육을 계획하고 이를 지속적 모니터링으로 보완하는 것이 일반적으로 모델이 약속된 성능을 발휘할 수 있도록 하는 최적의 전략입니다!

 
링크

이 기사의 확장 버전을 찾을 수 있습니다 여기에서 지금 확인해 보세요..

머신 러닝 모니터링 체크리스트 

  
에 멜리 드랄 그녀는 ML 모델을 분석하고 모니터링하기위한 도구를 만드는 Evidently AI의 공동 창립자 겸 CTO입니다. 이전에 그녀는 산업 AI 스타트 업을 공동 설립했으며 Yandex Data Factory에서 최고 데이터 과학자로 일했습니다. 그녀는 100,000 명이 넘는 학생들과 함께 Coursera의 기계 학습 및 데이터 분석 커리큘럼의 공동 저자입니다.
https://twitter.com/EmeliDral
 
엘레나 사무 일로 바 Evidently AI의 공동 창립자 겸 CEO입니다. 이전에 그녀는 산업 AI 스타트 업을 공동 설립하고 Yandex Data Factory에서 비즈니스 개발을 이끌었습니다. 2014 년부터 그녀는 ML 기반 솔루션을 제공하기 위해 제조에서 소매에 이르는 회사와 협력 해 왔습니다. 2018 년 Elena는 Product Management Festival에서 유럽 제품 50 명의 여성으로 선정되었습니다.
https://twitter.com/elenasamuylova/

관련 :

• 기계 학습 실수로부터 배우기
• 기계 학습 모델 모니터링 체크리스트 : 추적해야 할 7 가지
• MLOps : 모델 모니터링 101