스폰서 포스트

 
대부분의 데이터 과학자는 기계 학습 모델이 동적 시스템이라는 직관을 개발했습니다. 성능 메트릭을 설정하고, 과거 데이터로 모델을 교육하고, 결정을 내리기 위해 실제 세계에 적용합니다. 그러나 현실 세계는 변합니다.

그러나 현실 세계가 언제 변하는지 어떻게 알 수 있습니까? 이러한 모델과 그 성능은 어떻게 됩니까? 대부분의 경우 너무 늦을 때까지 알 수 없습니다.

“첫 번째 까다로운 상황은 지연된 실측입니다. 이것은 은행이나 다른 기관이 ML 모델을 사용하여 어떤 고객이 대출을 불이행할 가능성이 있는지 예측하는 금융 산업에서 매우 자주 발생합니다. 당연히 그들은 대출금이 완전히 상환될 때까지 특정 고객이 채무 불이행 여부를 알 수 없습니다.” Eryk Lewinson은 자신의 주제에 관한 기사. 

“오래된 데이터에서 모델이 어떻게 작동하는지 아무도 관심이 없습니다. 중요한 것은 모델이 새 데이터에 대해 어떻게 작동하는지입니다.”라고 Samuele Mazzanti는 말합니다. 주제에 대한 또 다른 기사. 그리고 실제 성능 정보가 지연되면 모델이 새 데이터를 처리하는 방법에 대한 불확실성으로 가득 찬 격차가 생깁니다.

그렇다면 이 격차를 어떻게 메우고 성능 지연의 저주에 맞서 싸울 수 있을까요? Samuele은 방법을 설명합니다. 내니ML (오픈 소스 파이썬 라이브러리)는 실측 데이터를 사용할 수 있기 전에 모델이 얼마나 잘 작동하는지 예측하여 도움을 줄 수 있습니다.

신뢰 기반 성능 추정 주력 알고리즘입니다. 예상 혼동 행렬을 재구성하고 실제 세계에서 n개의 예측 집합에 대한 예상 ROC AUC를 계산합니다. 모두 Ground Truth에 액세스할 수 없습니다.

모델 성능의 변화가 확인되면 NannyML은 데이터 드리프트를 성능 문제와 연결하여 근본 원인을 찾는 데 도움을 줍니다.

이에 대한 자세한 내용은 모델 성능 예측에 대해 논의하는 세 번째 블로그 미하우 올레자크!

ML 모델의 성능을 아는 것이 중요하다면 다음을 수행할 수 있습니다. Github에서 NannyML을 확인하세요., 그리고 별표를 표시하여 크리에이터에게 그것이 얼마나 중요한지 알 수 있도록 하세요!

그들은 또한 커뮤니티 슬랙 문제를 논의할 수 있는 곳, 문제를 해결하는 방법, 라이브러리에 포함되었으면 하는 내용!

출시를 축하하기 위해 NannyML은 새로운 RTX 3090 Ti 그래픽 카드를 무료로 제공합니다! 그들은 하나를 찾기 위해 여러 나라를 검색했습니다. 를 통해 입력하는 방법 알아보기 Linkedin에서 팔로우하기.

출처 :

• 마잔티, S. (2022년 11월 XNUMX일). 제어 그룹을 기다리지 않고 모델의 성능을 예측합니다. 데이터 과학을 향해. https://towardsdatascience.com/predict-your-models-performance-without-waiting-for-the-control-group-3f5c9363a7da 
• Lewinson, E. (2022년 12월 XNUMX일). 실측 자료가 없을 때 ML 모델의 성능을 추정합니다. 데이터 과학을 향해. https://towardsdatascience.com/estimating-the-performance-of-an-ml-model-in-the-absence-of-ground-truth-cc87dbf6e57 
• Oleszak, M. (2022년 13월 XNUMX일). 실측 없이 모델 성능 추정 – Michał Oleszak. 중급. https://michaloleszak.medium.com/estimating-model-performance-without-ground-truth-453b850dad9a 

이 주제에 대한 추가 정보 :

• Data Talk Club의 오픈 소스 스포트라이트
  https://www.youtube.com/watch?v=hWyDAVbUb40
  파레노.지. (2022년 9월 XNUMX일). 배포 후 모델 성능 소개 – MLearning.ai – Medium. 엠러닝.Ai. https://medium.com/mlearning-ai/intro-to-post-deployment-model-performance-eeecc6930aa5