아마존 세이지 메이커 이 발표 Amazon SageMaker에 대한 세 가지 새로운 완료 기준 지원 자동 모델 튜닝, 모델에 가장 적합한 하이퍼파라미터 구성을 찾을 때 튜닝 작업의 중지 기준을 제어하는 추가 레버 세트를 제공합니다.
이 게시물에서는 이러한 새로운 완료 기준, 사용 시기 및 이점에 대해 설명합니다.
SageMaker 자동 모델 튜닝
자동 모델 튜닝이라고도 함 하이퍼 파라미터 튜닝, 선택한 메트릭으로 측정한 모델의 최상의 버전을 찾습니다. 선택한 알고리즘과 지정된 하이퍼파라미터 범위를 사용하여 제공된 데이터 세트에서 많은 교육 작업을 실행합니다. 각 교육 작업은 목표 메트릭이 크게 개선되지 않을 때 일찍 완료할 수 있으며, 이를 조기 중단이라고 합니다.
지금까지는 최대 학습 작업 수를 지정하는 등 전체 튜닝 작업을 제어하는 방법이 제한적이었습니다. 그러나 이 매개변수 값의 선택은 기껏해야 발견적입니다. 값이 클수록 조정 비용이 증가하고 값이 작을수록 항상 최상의 모델 버전이 생성되지 않을 수 있습니다.
SageMaker 자동 모델 튜닝은 튜닝 작업에 대한 여러 완료 기준을 제공하여 이러한 문제를 해결합니다. 각 개별 교육 작업 수준이 아닌 튜닝 수준에서 적용되므로 더 높은 추상화 계층에서 작동합니다.
작업 완료 기준 조정의 이점
조정 작업이 중지되는 시기를 더 잘 제어하면 작업을 장기간 실행하지 않고 계산 비용이 많이 들기 때문에 비용 절감의 이점을 얻을 수 있습니다. 또한 작업이 너무 일찍 중단되지 않고 목표를 충족하는 충분히 우수한 품질의 모델을 얻을 수 있음을 의미합니다. 일련의 반복 후에 모델이 더 이상 개선되지 않거나 예상 잔여 개선이 컴퓨팅 리소스 및 시간을 정당화하지 못하는 경우 조정 작업을 중지하도록 선택할 수 있습니다.
기존 최대 교육 수 이수 기준 외에 MaxNumberOfTrainingJobs, 자동 모델 튜닝은 최대 튜닝 시간, 개선 모니터링 및 수렴 감지를 기반으로 튜닝을 중지하는 옵션을 도입합니다.
이러한 각 기준을 살펴보겠습니다.
최대 튜닝 시간
이전에는 컴퓨팅 리소스 측면에서 조정 예산을 제어하기 위해 최대 교육 작업 수를 리소스 제한 설정으로 정의하는 옵션이 있었습니다. 그러나 이로 인해 필요하거나 원하는 것보다 불필요하게 길거나 짧은 교육 시간이 발생할 수 있습니다.
최대 튜닝 시간 기준이 추가되어 이제 튜닝 작업을 실행하는 시간 측면에서 교육 예산을 할당하고 초 단위로 정의된 지정된 시간이 지나면 자동으로 작업을 종료할 수 있습니다.
위에서 본 것처럼 우리는 MaxRuntimeInSeconds 튜닝 시간을 초 단위로 정의합니다. 조정 시간 제한을 설정하면 조정 작업 기간과 실험의 예상 비용을 제한하는 데 도움이 됩니다.
계약 할인 전 총 비용은 다음 공식으로 추정할 수 있습니다.EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
최대 실행 시간(초)을 사용하여 비용과 실행 시간을 제한할 수 있습니다. 즉, 예산 통제 완료 기준입니다.
이 기능은 리소스 제어 기준의 일부이며 모델의 수렴을 고려하지 않습니다. 이 게시물의 뒷부분에서 볼 수 있듯이 정확도를 희생하지 않고 비용 제어를 달성하기 위해 이 기준을 다른 중지 기준과 함께 사용할 수 있습니다.
원하는 목표 메트릭
이전에 도입된 또 다른 기준은 대상 목적 목표를 미리 정의하는 것입니다. 기준은 특정 목표 메트릭을 기반으로 최상의 모델의 성능을 모니터링하고 모델이 지정된 목표 메트릭과 관련하여 정의된 임계값에 도달하면 튜닝을 중지합니다.
와 더불어 TargetObjectiveMetricValue 기준에 따라 최상의 모델의 목표 메트릭이 지정된 값에 도달한 후 모델 조정을 중지하도록 SageMaker에 지시할 수 있습니다.
이 예에서는 최상의 모델의 목표 지표가 0.95에 도달하면 모델 조정을 중지하도록 SageMaker에 지시합니다.
이 방법은 특정 수준의 정확도, 정밀도, 재현율, F1-점수, AUC, 로그 손실 등과 같이 모델이 도달하기를 원하는 특정 목표가 있는 경우에 유용합니다.
이 기준의 일반적인 사용 사례는 주어진 임계값에서 모델 성능에 이미 익숙한 사용자를 위한 것입니다. 탐색 단계의 사용자는 먼저 큰 데이터 세트의 작은 하위 집합으로 모델을 조정하여 전체 데이터 세트로 교육할 때 대상으로 삼을 만족스러운 평가 메트릭 임계값을 식별할 수 있습니다.
개선 모니터링
이 기준은 각 반복 후 모델의 수렴을 모니터링하고 정의된 수의 교육 작업 후에도 모델이 개선되지 않으면 조정을 중지합니다. 다음 구성을 참조하십시오.
이 경우 우리는 MaxNumberOfTrainingJobsNotImproving 즉, 10개의 교육 작업 후에 목표 메트릭이 개선되지 않으면 튜닝이 중지되고 최상의 모델 및 메트릭이 보고됩니다.
개선 모니터링을 사용하여 모델 품질과 전체 워크플로 기간 간의 절충안을 서로 다른 최적화 문제 간에 전환할 수 있는 방식으로 조정해야 합니다.
수렴 감지
수렴 감지는 자동 모델 튜닝이 튜닝을 중지할 시기를 결정할 수 있도록 하는 완료 기준입니다. 일반적으로 자동 모델 튜닝은 상당한 개선을 달성할 수 없다고 추정되면 튜닝을 중지합니다. 다음 구성을 참조하십시오.
이 기준은 처음에 어떤 중지 설정을 선택해야 할지 모를 때 가장 적합합니다.
주어진 문제와 데이터 세트가 주어진 좋은 예측을 위해 어떤 대상 목표 메트릭이 합리적인지 모르고 더 이상 개선되지 않을 때 튜닝 작업을 완료하려는 경우에도 유용합니다.
완료 기준 비교 실험
이 실험에서는 회귀 작업이 주어지면 총 3개의 하이퍼파라미터 구성을 갖는 2개의 하이퍼파라미터의 검색 공간 내에서 최적의 모델을 찾기 위해 200번의 튜닝 실험을 수행합니다. 직접 마케팅 데이터 세트.
다른 모든 것이 동일한 상태에서 첫 번째 모델은 BestObjectiveNotImproving 완료 기준, 두 번째 모델은 CompleteOnConvergence 세 번째 모델은 정의된 완료 기준 없이 조정되었습니다.
각 작업을 설명할 때 BestObjectiveNotImproving 기준은 훨씬 더 적은 수의 작업이 실행된 목표 지표에 비해 가장 최적의 리소스와 시간을 이끌어 냈습니다.
CompleteOnConvergence 기준은 또한 실험 중간에 튜닝을 중지할 수 있어 기준을 설정하지 않은 것에 비해 훈련 작업이 줄어들고 훈련 시간이 단축되었습니다.
완료 기준을 설정하지 않으면 비용이 많이 드는 실험이 발생하여 MaxRuntimeInSeconds 리소스 제한의 일부로 비용을 최소화하는 한 가지 방법이 될 것입니다.
위의 결과는 완료 기준을 정의할 때 Amazon SageMaker가 모델이 현재 결과 이상으로 개선될 가능성이 낮다는 것을 감지하면 조정 프로세스를 지능적으로 중지할 수 있음을 보여줍니다.
SageMaker 자동 모델 튜닝에서 지원되는 완료 기준은 상호 배타적이지 않으며 모델을 튜닝할 때 동시에 사용할 수 있습니다.
둘 이상의 완료 기준이 정의된 경우 기준 중 하나라도 충족되면 조정 작업이 완료됩니다.
예를 들어 최대 조정 시간과 같은 리소스 제한 기준과 개선 모니터링 또는 수렴 감지와 같은 수렴 기준의 조합은 최적의 비용 제어 및 최적의 목표 메트릭을 생성할 수 있습니다.
결론
이 게시물에서는 최대 조정 시간, 개선 모니터링 또는 수렴 감지와 같이 SageMaker에 새로 도입된 일련의 완료 기준을 선택하여 이제 조정 작업을 지능적으로 중지하는 방법에 대해 설명했습니다.
우리는 반복 전반에 걸쳐 개선 관찰을 기반으로 한 지능적인 중지가 완료 기준을 정의하지 않은 것에 비해 상당히 최적화된 예산 및 시간 관리로 이어질 수 있음을 실험을 통해 입증했습니다.
우리는 또한 이러한 기준이 상호 배타적이지 않고 예산 제어와 최적의 수렴을 모두 활용하기 위해 모델을 튜닝할 때 동시에 사용할 수 있음을 보여주었습니다.
자동 모델 튜닝을 구성하고 실행하는 방법에 대한 자세한 내용은 다음을 참조하십시오. 초매개변수 조정 작업 설정 지정.
저자에 관하여
더그 음바야 데이터 및 분석에 중점을 둔 수석 파트너 솔루션 설계자입니다. Doug는 AWS 파트너와 긴밀하게 협력하여 클라우드에서 데이터 및 분석 솔루션을 통합할 수 있도록 지원합니다.
차이트라 마투르 AWS의 수석 솔루션 아키텍트입니다. 그녀는 AWS에서 확장성이 뛰어나고 안정적이며 안전하고 비용 효율적인 솔루션을 구축할 수 있도록 고객과 파트너를 안내합니다. 그녀는 기계 학습에 열정적이며 고객이 AWS AI/ML 서비스를 사용하여 ML 요구 사항을 솔루션으로 변환하도록 돕습니다. 그녀는 ML Specialty 인증을 포함하여 5개의 인증을 보유하고 있습니다. 여가 시간에는 독서, 요가, 딸들과 시간 보내기를 즐깁니다.
이아로 슬라 프 슈 체르 바티 AWS의 기계 학습 엔지니어입니다. 그는 주로 Amazon SageMaker 플랫폼을 개선하고 고객이 해당 기능을 최대한 활용할 수 있도록 지원합니다. 여가 시간에는 체육관에 가고, 아이스 스케이팅이나 하이킹과 같은 야외 스포츠를 즐기고, 새로운 AI 연구를 따라잡는 것을 좋아합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
