Amazon SageMaker 모델 모니터로 기계 학습 모델을 자동으로 모니터링하고 Amazon A2I를 사용하여 인적 검토 워크플로로 예측 전송

머신 러닝 (ML)이 프로덕션에 배포 될 때 모델 모니터링은 예측 품질을 유지하는 데 중요합니다. 훈련 데이터의 통계적 속성은 미리 알려져 있지만 실제 데이터는 시간이 지남에 따라 점차적으로 편차가 발생하여 모델의 예측 결과에 영향을 미칠 수 있습니다. 데이터 드리프트. 프로덕션에서 이러한 조건을 감지하는 것은 어렵고 시간이 많이 소요될 수 있으며, 수신되는 실시간 데이터를 캡처하고, 통계 분석을 수행하고, 드리프트를 감지하기위한 규칙을 정의하고, 규칙 위반에 대한 경고를 보내는 시스템이 필요합니다. 또한 모델이 새로 반복 될 때마다 프로세스를 반복해야합니다.

Amazon SageMaker 모델 모니터 프로덕션에서 ML 모델을 지속적으로 모니터링 할 수 있습니다. 모델 품질의 편차를 감지하고 모델 재교육, 업스트림 시스템 감사 또는 데이터 품질 문제 수정과 같은 수정 조치를 취하도록 경고를 설정할 수 있습니다. 모델 모니터의 통찰력을 사용하여 데이터 드리프트로 인한 모델 예측 분산을 사전에 확인한 다음 사용할 수 있습니다. 아마존 증강 AI (Amazon A2I)는 Amazon SageMaker의 완전 관리 형 기능으로 ML 추론을 휴먼 워크 플로에 전송하여 검토합니다. Amazon A2I는 다음과 같은 여러 목적으로 사용할 수 있습니다.

임계 값 미만의 결과 검토
사람의 감독 및 감사 사용 사례
필요에 따라 AI 및 ML 결과 확대

이 게시물에서는 ML 워크 플로를 설정하는 방법을 보여줍니다. 아마존 세이지 메이커 유방암 예측을위한 XGBoost 알고리즘을 훈련합니다. 실시간 추론 엔드 포인트에 모델을 배포하고, 모델 모니터링 일정을 시작하고, 모니터링 결과를 평가하고, 임계 값 미만 예측에 대한 인적 검토 루프를 트리거합니다. 그런 다음 휴먼 루프 작업자가 예측을 검토하고 업데이트하는 방법을 보여줍니다.

함께 제공되는 Jupyter를 사용하여 다음 단계를 안내합니다. 수첩:

입력 데이터 세트를 전처리합니다.
XGBoost 모델을 훈련시키고 실시간 엔드 포인트에 배포합니다.
기준을 생성하고 모델 모니터를 시작합니다.
모델 모니터 보고서를 검토하고 통찰력을 얻으십시오.
Amazon A2I를 사용하여 신뢰도가 낮은 탐지를위한 휴먼 검토 루프를 설정하십시오.

사전 조건

시작하기 전에 인력을 생성하고 Amazon SageMaker Studio 노트북을 설정해야합니다.

인적 인력 창출

이 게시물에서는 개인 작업 팀을 만들고 한 명의 사용자 (귀하) 만 추가합니다. 지침은 인력 레이블 지정 페이지를 사용하여 Amazon Cognito 인력 생성.

작업자의 이메일 주소 상자에 이메일을 입력합니다. 검토 작업에 동료를 초대하려면이 상자에 동료의 이메일 주소를 포함하십시오.

비공개 팀을 생성하면 no-reply@verificationemail.com에서 인력 사용자 이름, 비밀번호 및 작업자 포털에 로그인하는 데 사용할 수있는 링크가 포함 된 이메일을받습니다. 로그인하려면 이메일로받은 사용자 이름과 암호를 입력하십시오. 그런 다음 기본이 아닌 새 암호를 만들어야합니다. 이것은 개인 근로자의 인터페이스입니다.

비공개 팀을 사용하여 Amazon A2I 인적 검토 작업을 생성 할 때 ( 휴먼 루프 시작 섹션), 작업이 작업 부분. 다음 스크린 샷을 참조하십시오.

개인 인력을 생성 한 후 다음에서 볼 수 있습니다. 라벨링 인력 페이지에서 프라이빗 투어 탭.

Amazon SageMaker Studio 노트북 설정

노트북을 설정하려면 다음 단계를 완료하십시오.

빠른 시작 절차를 통해 Amazon SageMaker Studio에 온 보딩.
만들 때 AWS 자격 증명 및 액세스 관리 (IAM) 역할은 노트북 인스턴스에 대한 액세스를 지정해야합니다. 아마존 단순 스토리지 서비스 (Amazon S3). 선택할 수 있습니다 모든 S3 버킷 또는 액세스를 활성화 할 S3 버킷을 지정합니다. AWS 관리 형 정책을 사용할 수 있습니다. AmazonSageMaker 전체 액세스 과 AmazonAugmentedAIFullAccess 이 두 서비스에 대한 일반 액세스 권한을 부여합니다.

사용자가 생성되고 활성화되면 오픈 스튜디오.

Studio 랜딩 페이지의 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에 드롭 다운 메뉴에서 신제품.
왼쪽 메뉴에서 단말기.

터미널에서 다음 코드를 입력하십시오.

git clone https://github.com/aws-samples/amazon-a2i-sample-jupyter-notebooks

선택하여 노트북을 엽니 다 Amazon-A2I-with-Amazon-SageMaker-Model-Monitor.ipynb FBI 증오 범죄 보고서 amazon-a2i-sample-jupyter-notebooks 폴더에 있습니다.

입력 데이터 세트 전처리

함께 제공되는 Jupyter를 사용하여이 게시물의 단계를 따를 수 있습니다. 수첩. 선택한 S3 버킷과 접두사를 제공해야합니다. 그런 다음 사용 사례를 실행하는 데 필요한 Python 데이터 과학 라이브러리와 Amazon SageMaker Python SDK를 가져옵니다.

데이터 셋로드

이 게시물에서는 유방암 예측을위한 데이터 세트를 사용합니다. UCI 머신 러닝 리포지토리. 함께 제공되는 Jupyter를 참조하십시오. 수첩 이 데이터 세트를로드하고 분할하는 코드입니다. 입력 특성을 기반으로 먼저 양성 (label=0) 또는 악성 (label=1) 질환.

다음 스크린 샷은 학습 데이터 세트의 일부 행을 보여줍니다.

Amazon SageMaker XGBoost 모델 교육 및 배포

XGBoost (eXtreme Gradient Boosting)은 그라디언트 부스트 트리 알고리즘의 인기 있고 효율적인 오픈 소스 구현입니다. 사용 사례에서는 binary : logistic 목표를 사용합니다. 모델은 이진 분류에 대해 로지스틱 회귀를 적용합니다 (이 예에서는 조건이 양성인지 악성인지 여부). 출력은 Bernoulli 분포의 로그 우도를 나타내는 확률입니다.

Amazon SageMaker를 사용하면 XGBoost를 기본 제공 알고리즘 또는 프레임 워크로 사용할 수 있습니다. 이 사용 사례에서는 기본 제공 알고리즘을 사용합니다. 지정하려면 Amazon Elastic Container Registry (Amazon ECR) XGBoost의 Amazon SageMaker 구현을위한 컨테이너 위치에 다음 코드를 입력합니다.

from sagemaker.amazon.amazon_estimator import get_image_uri
container = get_image_uri(boto3.Session().region_name, 'xgboost', '1.0-1')

XGBoost 추정기 만들기

XGBoost 컨테이너를 사용하여 Amazon SageMaker Estimator API를 사용하여 추정기를 구성하고 훈련 작업을 시작합니다 (전체 연습은 함께 제공되는 Jupyter에서 제공됩니다. 수첩):

sess = sagemaker.Session() xgb = sagemaker.estimator.Estimator(container, role, train_instance_count=1, train_instance_type='ml.m5.2xlarge', output_path='s3://{}/{}/output'.format(bucket, prefix), sagemaker_session=sess)

초 매개 변수 지정 및 훈련 시작

이제 훈련을위한 하이퍼 파라미터를 지정할 수 있습니다. 데이터에서 모델 매개 변수를 쉽게 추정 할 수 있도록 초 매개 변수를 설정합니다. 다음 코드를 참조하십시오.

xgb.set_hyperparameters(max_depth=5, eta=0.2, gamma=4, min_child_weight=6, subsample=0.8, silent=0, objective='binary:logistic', num_round=100) xgb.fit({'train': s3_input_train, 'validation': s3_input_validation})

자세한 내용은 다음 링크를 참조하세요 XGBoost 매개 변수.

XGBoost 모델 배포

실시간 추론 엔드 포인트 뒤에서 호스팅되는 모델을 배포합니다. 전제 조건으로 엔드 포인트가 배포 된 후 모델 모니터에 대한 data_capture_config를 설정하여 Amazon SageMaker가 모델 모니터에서 사용할 추론 요청 및 응답을 수집 할 수 있도록합니다. 자세한 내용은 함께 제공되는 수첩.

deploy 함수는 추론에 사용할 수있는 Predictor 객체를 반환합니다.

xgb_predictor = xgb.deploy(initial_instance_count=1, instance_type='ml.m5.2xlarge', endpoint_name=endpoint_name, data_capture_config=data_capture_config)

엔드 포인트를 사용하여 배포 된 모델 호출

이제이 엔드 포인트로 데이터를 보내 실시간으로 추론 할 수 있습니다. 요청 및 응답 페이로드는 추가 메타 데이터와 함께 사용자가 지정한 Amazon S3 위치에 저장됩니다. DataCaptureConfig. 연습의 단계를 따를 수 있습니다. 수첩.

다음 JSON 코드는 캡처 된 추론 요청 및 응답의 예입니다.

Amazon SageMaker 모델 모니터 시작

Amazon SageMaker Model Monitor는 프로덕션에서 ML 모델의 품질을 지속적으로 모니터링합니다. 모델 모니터 사용을 시작하기 위해 기준을 만들고 기준 작업 결과를 검사하고 모니터링 일정을 만듭니다.

기준선 만들기

통계 및 제약의 기준 계산은 데이터 드리프트 및 기타 데이터 품질 문제를 감지 할 수있는 표준으로 필요합니다. 훈련 데이터 세트는 일반적으로 좋은 기준 데이터 세트입니다. 훈련 데이터 세트 스키마와 추론 데이터 세트 스키마가 일치해야합니다 (특성 수 및 순서). 훈련 데이터 세트에서 Amazon SageMaker에 일련의 기준 제약 조건을 제안하고 설명 통계를 생성하여 데이터를 탐색하도록 요청할 수 있습니다. 기준선을 만들려면 연습의 세부 단계를 따를 수 있습니다. 수첩. 다음 코드를 참조하십시오.

# Start the baseline job
from sagemaker.model_monitor import DefaultModelMonitor
from sagemaker.model_monitor.dataset_format import DatasetFormat my_default_monitor = DefaultModelMonitor( role=role, instance_count=1, instance_type='ml.m5.4xlarge', volume_size_in_gb=100, max_runtime_in_seconds=3600,
) my_default_monitor.suggest_baseline( baseline_dataset=baseline_data_uri+'/train.csv', dataset_format=DatasetFormat.csv(header=False), # changed this to header=False since train.csv does not have header. output_s3_uri=baseline_results_uri, wait=True
)

기본 작업 결과 검사

기본 작업이 완료되면 결과를 검사 할 수 있습니다. 두 개의 파일이 생성됩니다.

통계.json –이 파일에는 분석되는 데이터 세트의 각 기능에 대한 열 통계가있을 것으로 예상됩니다. 이 파일의 스키마는 다음을 참조하십시오. 통계 스키마.
Constraints.json –이 파일에는 관찰 된 기능에 대한 제약이있을 것으로 예상됩니다. 이 파일의 스키마는 다음을 참조하십시오. 제약 조건에 대한 스키마.

모델 모니터는 열 / 특성 통계 당 계산합니다. 다음 스크린 샷에서 c0 과 c1 FBI 증오 범죄 보고서 name 열은 헤더 행이없는 학습 데이터 세트의 열을 나타냅니다.

제약 조건 파일은 데이터 세트가 충족해야하는 제약 조건을 표현하는 데 사용됩니다. 다음 스크린 샷을 참조하십시오.

다음으로 모니터링 구성을 검토합니다. constraints.json 파일 :

datatype_check_threshold – 기준 단계 동안 생성 된 제약 조건은 각 열에 대해 추론 된 데이터 유형을 제안합니다. 당신은 조정할 수 있습니다 monitoring_config.datatype_check_threshold 매개 변수를 사용하여 위반으로 플래그 된 경우 임계 값을 조정합니다.
domain_content_threshold – 기준 데이터 세트보다 현재 데이터 세트의 문자열 필드에 알 수없는 값이 더 많은 경우이 임계 값을 사용하여 위반으로 플래그를 지정해야하는지 여부를 지정할 수 있습니다.
비교 _ 임계 값 –이 값은 모델 드리프트를 계산하는 데 사용됩니다.

제약 조건에 대한 자세한 내용은 제약 조건에 대한 스키마.

모니터링 일정 만들기

모니터링 일정을 통해 Amazon SageMaker는 지정된 빈도로 작업 처리를 시작하여 지정된 기간 동안 수집 된 데이터를 분석 할 수 있습니다. Amazon SageMaker는 현재 분석에 대한 데이터 세트를 제공된 기준 통계 및 제약 조건과 비교하고 위반 보고서를 생성합니다. 시간별 모니터링 일정을 만들려면 다음 코드를 입력하십시오.

from sagemaker.model_monitor import CronExpressionGenerator
from time import gmtime, strftime mon_schedule_name = 'xgb-breast-cancer-' + strftime("%Y-%m-%d-%H-%M-%S", gmtime())
my_default_monitor.create_monitoring_schedule( monitor_schedule_name=mon_schedule_name, endpoint_input=xgb_predictor.endpoint, output_s3_uri=s3_report_path, statistics=my_default_monitor.baseline_statistics(), constraints=my_default_monitor.suggested_constraints(), schedule_cron_expression=CronExpressionGenerator.hourly(), enable_cloudwatch_metrics=True, )

그런 다음 엔드 포인트를 지속적으로 호출하여 모델 모니터가 선택할 트래픽을 생성합니다. 시간별 일정을 설정했기 때문에 트래픽이 감지 될 때까지 최소 한 시간을 기다려야합니다.

모델 모니터링 검토

위반 파일은 분석 된 현재 데이터 세트에 대해 제약 조건 (constraints.json 파일에 지정됨)을 평가 한 결과를 나열하는 MonitoringExecution의 출력으로 생성됩니다. 위반 검사에 대한 자세한 내용은 위반에 대한 스키마. 사용 사례의 경우 모델 모니터는 엔드 포인트로 전송 된 요청 중 하나에서 데이터 유형 불일치 위반을 감지합니다. 다음 스크린 샷을 참조하십시오.

자세한 내용은 연습을 참조하십시오. 수첩.

결과 평가

실험의 다음 단계를 결정하려면 다음 두 가지 관점을 고려해야합니다.

모델 모니터 위반 : 모델 모니터에서 datatype_check 위반 만 확인했습니다. 우리는 모델 드리프트 위반을 보지 못했습니다. 사용 사례에서 Model Monitor는 다음을 기반으로 강력한 비교 방법을 사용합니다. XNUMX- 표본 KS 테스트 테스트 데이터 세트의 경험적 분포와 기준 데이터 세트의 누적 분포 사이의 거리를 정량화합니다. 이 거리는 comparison_threshold에 설정된 값을 초과하지 않았습니다. 예측 결과는 훈련 데이터 세트의 결과와 일치합니다.
예측 결과의 확률 분포 : 114 개의 요청으로 구성된 테스트 데이터 세트를 사용했습니다. 이 중에서 모델이 악성 요청의 60 % (예측 결과에서 90 % 이상의 확률 출력), 30 %의 양성 (예측 결과에서 10 % 미만의 확률 출력), 나머지 10 개를 예측하는 것을 볼 수 있습니다. 요청의 %가 불확실합니다. 다음 차트는 이러한 결과를 요약합니다.

다음 단계로 10 % 이상 90 % 미만의 출력 확률로 배포 된 예측 결과를 모델 결과를 볼 수있는 도메인 전문가에게 전송해야합니다 (모델이 충분한 확신을 가지고 예측할 수 없기 때문에). 종양이 양성인지 악성인지 확인합니다. Amazon A2I를 사용하여 인적 검토 워크 플로를 설정하고 검토 루프를 활성화하기위한 조건을 정의합니다.

인적 검토 워크 플로 시작

인적 검토 워크 플로우를 구성하려면 다음 상위 레벨 단계를 완료하십시오.

휴먼 태스크 UI를 생성합니다.
워크 플로 정의를 만듭니다.
휴먼 루프를 활성화하기위한 트리거 조건을 설정합니다.
휴먼 루프를 시작하십시오.
휴먼 루프 태스크가 완료되었는지 확인하십시오.

휴먼 태스크 UI 생성

다음 예제 코드는 유동적 HTML로 UI 템플릿을 제공하는 휴먼 태스크 UI 리소스를 만드는 방법을 보여줍니다. 이 템플릿은 휴먼 루프가 필요할 때마다 휴먼 워커에게 렌더링됩니다. 함께 제공되는 Jupyter를 사용하여 전체 단계를 수행 할 수 있습니다. 수첩. 템플릿을 정의한 후 UI 작업 기능을 설정하고 실행합니다.

def create_task_ui(): ''' Creates a Human Task UI resource. Returns: struct: HumanTaskUiArn ''' response = sagemaker_client.create_human_task_ui( HumanTaskUiName=taskUIName, UiTemplate={'Content': template}) return response
# Create task UI
humanTaskUiResponse = create_task_ui()
humanTaskUiArn = humanTaskUiResponse['HumanTaskUiArn']
print(humanTaskUiArn)

워크 플로 정의 만들기

다음을 지정하기 위해 흐름 정의를 만듭니다.

작업이 전송되는 인력입니다.
직원이받는 지침. 이는 작업자 작업 템플릿을 사용하여 지정됩니다.
출력 데이터가 저장되는 위치.

다음 코드를 참조하십시오.

create_workflow_definition_response = sagemaker_client.create_flow_definition( FlowDefinitionName= flowDefinitionName, RoleArn= role, HumanLoopConfig= { "WorkteamArn": WORKTEAM_ARN, "HumanTaskUiArn": humanTaskUiArn, "TaskCount": 1, "TaskDescription": "Review the model predictions and determine if you agree or disagree. Assign a label of 1 to indicate malignant result or 0 to indicate a benign result based on your review of the inference request", "TaskTitle": "Using Model Monitor and A2I Demo" }, OutputConfig={ "S3OutputPath" : OUTPUT_PATH } )
flowDefinitionArn = create_workflow_definition_response['FlowDefinitionArn'] # let's save this ARN for future use

휴먼 루프 활성화를위한 트리거 조건 설정

10 % 이상 90 % 미만의 출력 확률로 분포 된 예측 결과를 보내야합니다 (모델이이 범위에서 충분한 신뢰도로 예측할 수 없기 때문). 다음 코드와 같이이를 활성화 조건으로 사용합니다.

# assign our original test dataset model_data_categorical = test_data[list(test_data.columns)[1:]] LOWER_THRESHOLD = 0.1
UPPER_THRESHOLD = 0.9
small_payload_df = model_data_categorical.head(len(predictions))
small_payload_df['prediction_prob'] = predictions
small_payload_df_res = small_payload_df.loc[ (small_payload_df['prediction_prob'] > LOWER_THRESHOLD) & (small_payload_df['prediction_prob'] < UPPER_THRESHOLD)
]
print(small_payload_df_res.shape)
small_payload_df_res.head(10)

휴먼 루프 시작

휴먼 루프는 휴먼 리뷰 워크 플로를 시작하고 휴먼 워커에게 데이터 검토 작업을 보냅니다. 다음 코드를 참조하십시오.

# Activate human loops
import json
humanLoopName = str(uuid.uuid4()) start_loop_response = a2i.start_human_loop( HumanLoopName=humanLoopName, FlowDefinitionArn=flowDefinitionArn, HumanLoopInput={ "InputContent": json.dumps(ip_content) } )

이 사용 사례의 작업자는 요청 기능을 검증하고 결과가 악성인지 양성인지 판단 할 수있는 도메인 전문가입니다. 이 작업을 수행하려면 모델 예측을 검토하고, 동의하거나 동의하지 않으며, 예측을 악성 인 경우 1, 양성인 경우 0으로 업데이트해야합니다. 다음 스크린 샷은 수신 된 작업의 샘플을 보여줍니다.

다음 스크린 샷은 업데이트 된 예측을 보여줍니다.

테이블 형식 데이터 세트의 작업 UI 디자인에 대한 자세한 내용은 테이블 형식 데이터 및 ML 예측에 대한 사람 검토를 위해 Amazon Augmented AI와 함께 Amazon SageMaker 사용.

작업 완료 및 휴먼 루프 상태 확인

태스크 및 휴먼 루프의 상태를 확인하려면 다음 코드를 입력하십시오.

completed_human_loops = []
resp = a2i.describe_human_loop(HumanLoopName=humanLoopName)
print(f'HumanLoop Name: {humanLoopName}')
print(f'HumanLoop Status: {resp["HumanLoopStatus"]}')
print(f'HumanLoop Output Destination: {resp["HumanLoopOutput"]}')
print('n') if resp["HumanLoopStatus"] == "Completed": completed_human_loops.append(resp)

휴먼 루프 작업이 완료되면 검토 결과와 예측 결과에 대한 수정 사항을 검사합니다.

사람이 라벨링 한 출력을 사용하여 재 학습을 위해 학습 데이터 세트를 보강 할 수 있습니다. 이렇게하면 분포 분산이 임계 값 내로 유지되고 데이터 드리프트가 방지되어 모델 정확도가 향상됩니다. 모델 재교육을 위해 Amazon A2I 출력을 사용하는 방법에 대한 자세한 내용은 Amazon SageMaker 및 Amazon Augmented AI를 사용한 객체 감지 및 모델 재교육.

청소

불필요한 요금이 발생하지 않도록하려면 다음을 포함하여 사용하지 않을 때이 연습에 사용 된 리소스를 삭제합니다.

결론

이 게시물은 Amazon SageMaker Model Monitor 및 Amazon A2I를 사용하여 Amazon SageMaker 모델 엔드 포인트에 대한 모니터링 일정을 설정하는 방법을 보여주었습니다. 제약 임계 값을 포함하는 기준선을 지정합니다. 추론 트래픽 관찰 모델 드리프트, 완전성 및 데이터 유형 위반과 같은 통찰력을 도출합니다. 결과를 검토하고 업데이트하기 위해 라벨러가있는 휴먼 워크 플로에 낮은 신뢰도 예측을 보냅니다. 비디오 프레젠테이션, 샘플 Jupyter 노트북 및 문서 처리, 콘텐츠 조정, 감정 분석, 객체 감지, 텍스트 번역 등과 같은 사용 사례에 대한 자세한 내용은 다음을 참조하십시오. Amazon A2I 리소스.

참고자료

[1] Dua, D. 및 Graff, C. (2019). UCI 머신 러닝 리포지토리 [http://archive.ics.uci.edu/ml]. 캘리포니아 어바인 : 캘리포니아 대학교, 정보 및 컴퓨터 과학부.

저자에 관하여

프렘 랑가 텍사스 휴스턴에 본사를 둔 AWS의 엔터프라이즈 솔루션 아키텍트입니다. 그는 기계 학습 기술 분야 커뮤니티의 일원이며 ML 및 AI 여정에서 고객과 협력하는 것을 좋아합니다. Prem은 로봇 공학에 열정적이며 자율 주행 차량 연구원이며 휴스턴 및 기타 지역에서 Alexa 제어 Beer Pours를 구축했습니다.

재스퍼 황 AWS의 테크니컬 라이터 인턴이며 펜실베이니아 대학교에서 컴퓨터 과학 학사 및 석사를 추구하는 학생입니다. 그의 관심 분야는 클라우드 컴퓨팅, 기계 학습 및 이러한 기술을 활용하여 흥미롭고 복잡한 문제를 해결하는 방법입니다. 직장 밖에서는 Jasper가 테니스, 하이킹 또는 새로운 트렌드에 대한 독서를 할 수 있습니다.

탈리아 초프라 기계 학습 및 인공 지능을 전문으로하는 AWS의 기술 저술가입니다. 그녀는 AWS의 여러 팀과 협력하여 Amazon SageMaker, MxNet 및 AutoGluon을 사용하는 고객을위한 기술 문서 및 자습서를 만듭니다. 여가 시간에는 명상, 기계 학습, 자연 속에서 산책을 즐깁니다.

출처 : https://aws.amazon.com/blogs/machine-learning/automated-monitoring-of-your-machine-learning-models-with-amazon-sagemaker-model-monitor-and-sending-predictions-to- amazon-a2i /를 사용하는 인간 검토 워크 플로

생성 데이터 인텔리전스

Amazon SageMaker Model Monitor를 사용하여 기계 학습 모델을 자동으로 모니터링하고 Amazon A2I를 사용하여 인간 검토 워크 플로에 예측 전송