광범위한 사용 사례에 걸친 머신 러닝(ML)의 확산은 모든 산업에서 널리 퍼지고 있습니다. 그러나 이는 전통적으로 비즈니스 결과를 실현하기 위해 이러한 기술 솔루션을 구현하는 책임을 맡은 ML 실무자 수의 증가를 능가합니다.

오늘날의 기업에서는 머신러닝의 기반이 되는 데이터에 능숙한 머신러닝이 아닌 실무자도 사용할 수 있는 머신러닝이 필요합니다. 이를 실현하기 위해 ML의 가치는 코드 없는 ML 플랫폼을 통해 전사적으로 실현되고 있습니다. 이러한 플랫폼을 사용하면 비즈니스 분석가와 같은 다양한 페르소나가 코드를 한 줄도 작성하지 않고 ML을 사용하고 빠르고 간단하며 직관적인 방식으로 비즈니스 문제에 대한 솔루션을 제공할 수 있습니다. Amazon SageMaker 캔버스 비즈니스 분석가가 ML을 사용하여 ML 경험이 필요하거나 코드 한 줄을 작성할 필요 없이 스스로 정확한 예측을 생성하여 비즈니스 문제를 해결할 수 있도록 하는 시각적 포인트 앤 클릭 서비스입니다. Canvas는 기업이 솔루션을 신속하게 구현할 수 있도록 지원하는 사용이 간편하고 직관적인 인터페이스를 통해 기업에서 ML 사용을 확대했습니다.

Canvas가 ML의 민주화를 가능하게 했지만 안전한 방식으로 ML 환경을 프로비저닝하고 배포하는 문제는 여전히 남아 있습니다. 일반적으로 이것은 대부분의 대기업에서 중앙 IT 팀의 책임입니다. 이 게시물에서는 IT 팀이 다음을 사용하여 보안 ML 환경을 관리, 프로비저닝 및 관리할 수 있는 방법에 대해 설명합니다. Amazon SageMaker 캔버스, AWS 클라우드 개발 키트 (AWS CDK) 및 AWS 서비스 카탈로그. 이 게시물은 IT 관리자가 이를 대규모로 신속하게 달성할 수 있는 단계별 가이드를 제공합니다.

AWS CDK 및 AWS 서비스 카탈로그 개요

AWS CDK는 클라우드 애플리케이션 리소스를 정의하는 오픈 소스 소프트웨어 개발 프레임워크입니다. 안전하고 반복 가능한 방식으로 리소스를 프로비저닝하면서 애플리케이션을 모델링하기 위해 프로그래밍 언어의 친숙함과 표현력을 사용합니다.

AWS Service Catalog를 사용하면 배포된 IT 서비스, 애플리케이션, 리소스 및 메타데이터를 중앙에서 관리할 수 있습니다. AWS Service Catalog를 사용하면 코드형 인프라(IaC) 템플릿을 사용하여 클라우드 리소스를 생성, 공유, 구성 및 관리하고 빠르고 간단한 프로비저닝을 지원합니다.

솔루션 개요

Canvas를 사용하여 XNUMX단계로 ML 환경 프로비저닝을 활성화합니다.

1. 먼저 AWS Service Catalog를 사용하여 승인된 Canvas 사용에 필요한 리소스 포트폴리오를 관리하는 방법을 공유합니다.
2. 그런 다음 AWS CDK를 사용하여 Canvas용 AWS Service Catalog 포트폴리오의 예를 배포합니다.
3. 마지막으로 주문형 Canvas 환경을 몇 분 안에 프로비저닝할 수 있는 방법을 보여줍니다.

사전 조건

Canvas, AWS CDK 및 AWS Service Catalog로 ML 환경을 프로비저닝하려면 다음을 수행해야 합니다.

1. 서비스 카탈로그 포트폴리오가 배포될 AWS 계정에 액세스할 수 있습니다. AWS CDK 스택을 계정에 배포할 수 있는 자격 증명과 권한이 있는지 확인하십시오. 그만큼 AWS CDK 워크샵 지원이 필요한 경우 참조할 수 있는 유용한 리소스입니다.
2. 다음 리소스에 자세히 설명된 개념을 통해 강조 표시된 특정 모범 사례를 따르는 것이 좋습니다.
3. 복제 이 GitHub 저장소 당신의 환경에.

AWS Service Catalog를 사용하여 Amazon SageMaker Canvas로 승인된 ML 환경 프로비저닝

규제 대상 산업과 대부분의 대기업에서는 ML 환경을 프로비저닝하고 관리하기 위해 IT 팀에서 요구하는 요구 사항을 준수해야 합니다. 여기에는 안전한 사설 네트워크, 데이터 암호화, 다음과 같이 승인되고 인증된 사용자만 허용하는 제어가 포함될 수 있습니다. AWS 자격 증명 및 액세스 관리 (IAM) Canvas와 같은 솔루션에 액세스하고 감사 목적으로 엄격한 로깅 및 모니터링.

IT 관리자는 AWS Service Catalog를 사용하여 SageMaker Canvas로 안전하고 재현 가능한 ML 환경을 생성하고 제품 포트폴리오로 구성할 수 있습니다. 이는 앞서 언급한 요구 사항을 충족하도록 내장된 IaC 제어를 사용하여 관리되며 몇 분 이내에 요청 시 프로비저닝할 수 있습니다. 또한 제품 출시를 위해 이 포트폴리오에 액세스할 수 있는 사람을 제어할 수 있습니다.

다음 다이어그램은이 아키텍처를 보여줍니다.

예시 흐름

이 섹션에서는 SageMaker Canvas가 포함된 AWS 서비스 카탈로그 포트폴리오의 예를 보여줍니다. 포트폴리오는 서비스 카탈로그 포트폴리오의 일부인 Canvas 환경의 다양한 측면으로 구성됩니다.

• 스튜디오 도메인 – Canvas는 내에서 실행되는 응용 프로그램입니다. 스튜디오 도메인. 도메인은 다음으로 구성됩니다. 아마존 탄성 파일 시스템 (Amazon EFS) 볼륨, 승인된 사용자 목록, 다양한 보안, 애플리케이션, 정책 및 아마존 가상 프라이빗 클라우드 (VPC) 구성. AWS 계정은 리전당 하나의 도메인에 연결됩니다.
• 아마존 S3 버킷 – Studio 도메인이 생성된 후 아마존 단순 스토리지 서비스 (Amazon S3) 버킷은 로컬 파일 업로드라고도 하는 로컬 파일에서 데이터 세트를 가져올 수 있도록 Canvas용으로 프로비저닝됩니다. 이 버킷은 고객 계정에 있으며 한 번 프로비저닝됩니다.
• 캔버스 사용자 – SageMaker Canvas는 데이터 세트 가져오기, 코드 작성 없이 ML 모델 빌드 및 교육, 모델에 대한 예측 실행을 진행할 수 있는 각 Canvas 사용자에 대해 Studio 도메인 내에 사용자 프로필을 추가할 수 있는 애플리케이션입니다.
• Canvas 세션의 예정된 종료 – Canvas 사용자는 작업이 끝나면 Canvas 인터페이스에서 로그아웃할 수 있습니다. 또는, 관리자는 Canvas 세션을 종료할 수 있습니다. 인사말 AWS 관리 콘솔 Canvas 세션 관리의 일부로. AWS 서비스 카탈로그 포트폴리오의 이 부분에서는 AWS 람다 기능 정의된 일정 간격으로 Canvas 세션을 자동으로 종료하도록 생성 및 프로비저닝됩니다. 이렇게 하면 열린 세션을 관리하고 사용하지 않을 때 종료하는 데 도움이 됩니다.

이 예제 흐름은 다음에서 찾을 수 있습니다. GitHub 저장소 빠른 참조를 위해.

AWS CDK를 사용하여 흐름 배포

이 섹션에서는 AWS CDK를 사용하여 앞서 설명한 흐름을 배포합니다. 배포 후에는 버전 추적을 수행하고 포트폴리오를 관리할 수도 있습니다.

포트폴리오 스택은 다음에서 찾을 수 있습니다. app.py 그리고 제품 스택 아래 products/ 폴더. IAM 역할을 반복할 수 있습니다. AWS 키 관리 서비스 (AWS KMS) 키 및 VPC 설정 studio_constructs/ 폴더. 스택을 계정에 배포하기 전에 다음 행을 편집할 수 있습니다. app.py 선택한 IAM 역할에 대한 액세스 권한을 포트폴리오에 부여합니다.

관련 IAM 사용자, 그룹 및 역할에 대한 포트폴리오 액세스를 관리할 수 있습니다. 보다 사용자에게 액세스 권한 부여 자세한 내용은.

계정에 포트폴리오 배포

이제 다음 명령을 실행하여 AWS CDK를 설치하고 포트폴리오를 배포하는 데 적합한 종속성이 있는지 확인할 수 있습니다.

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

다음 명령을 실행하여 계정에 포트폴리오를 배포합니다.

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

처음 두 명령은 다음을 사용하여 계정 ID와 현재 리전을 가져옵니다. AWS 명령 줄 인터페이스 (AWS CLI) 컴퓨터에서. 이에 이어, cdk bootstrap 과 cdk deploy 자산을 로컬로 구축하고 몇 분 안에 스택을 배포합니다.

이제 다음 스크린샷과 같이 AWS 서비스 카탈로그에서 포트폴리오를 찾을 수 있습니다.

주문형 프로비저닝

포트폴리오에 포함된 제품은 고객의 요구에 따라 빠르고 쉽게 출시될 수 있습니다. 프로 비저닝 AWS Service Catalog 콘솔의 메뉴. 일반적인 흐름은 일반적으로 일회성 작업이기 때문에 Studio 도메인과 Canvas 자동 종료를 먼저 시작하는 것입니다. 그런 다음 Canvas 사용자를 도메인에 추가할 수 있습니다. 도메인 ID 및 사용자 IAM 역할 ARN은 다음 위치에 저장됩니다. AWS 시스템 관리자 다음 스크린샷과 같이 사용자 매개변수로 자동으로 채워집니다.

각 사용자에게 첨부된 비용 할당 태그를 사용할 수도 있습니다. 예를 들어, UserCostCenter 각 사용자의 이름을 추가할 수 있는 샘플 태그입니다.

Canvas를 사용하여 ML 환경을 관리하기 위한 주요 고려 사항

이제 Canvas에 중점을 둔 AWS Service Catalog 포트폴리오를 프로비저닝하고 배포했으므로 도메인 및 사용자 프로필에 중점을 둔 Canvas 기반 ML 환경을 관리하기 위해 몇 가지 고려 사항을 강조하고자 합니다.

다음은 Studio 도메인과 관련된 고려 사항입니다.

• Networking for Canvas는 보안 연결을 위해 도메인이 프라이빗 VPC 서브넷에 배포되는 Studio 도메인 수준에서 관리됩니다. 보다 프라이빗 VPC를 사용하여 Amazon SageMaker Studio 연결 보호 드리겠습니다.
• 기본 IAM 실행 역할은 도메인 수준에서 정의됩니다. 이 기본 역할은 도메인의 모든 Canvas 사용자에게 할당됩니다.
• 암호화는 도메인의 EFS 볼륨을 암호화하여 AWS KMS를 사용하여 수행됩니다. 추가 제어를 위해 CMK(고객 관리 키)라고도 하는 자체 관리 키를 지정할 수 있습니다. 보다 암호화를 사용하여 저장 데이터 보호 드리겠습니다.
• 로컬 디스크에서 파일을 업로드하는 기능은 Canvas에서 사용하는 S3 버킷에 CORS(원본 간 리소스 공유) 정책을 연결하여 수행됩니다. 보다 사용자에게 로컬 파일 업로드 권한 부여 드리겠습니다.

다음은 사용자 프로필에 대한 고려 사항입니다.

• Studio에서 인증은 SSO(Single Sign-On) 및 IAM을 통해 수행할 수 있습니다. 콘솔에 액세스할 수 있도록 사용자를 연합하는 기존 자격 증명 공급자가 있는 경우 IAM을 사용하여 각 연동 자격 증명에 Studio 사용자 프로필을 할당할 수 있습니다. 섹션 참조 Studio 사용자에게 정책 할당 in 완전한 리소스 격리를 사용하여 팀 및 그룹을위한 Amazon SageMaker Studio 구성 드리겠습니다.
• 각 사용자 프로필에 IAM 실행 역할을 할당할 수 있습니다. Studio를 사용하는 동안 사용자는 기본 실행 역할을 재정의하는 사용자 프로필에 매핑된 역할을 맡습니다. 팀 내에서 세분화된 액세스 제어에 사용할 수 있습니다.
• ABAC(속성 기반 액세스 제어)를 사용하여 격리를 달성하여 사용자가 팀의 리소스에만 액세스할 수 있도록 할 수 있습니다. 보다 완전한 리소스 격리를 사용하여 팀 및 그룹을위한 Amazon SageMaker Studio 구성 드리겠습니다.
• 사용자 프로필에 비용 할당 태그를 적용하여 세분화된 비용 추적을 수행할 수 있습니다.

정리

위의 AWS CDK 스택에서 생성된 리소스를 정리하려면 AWS CloudFormation 스택 페이지로 이동하여 캔버스 스택을 삭제하십시오. 당신은 또한 실행할 수 있습니다 cdk destroy 저장소 폴더 내에서 동일한 작업을 수행합니다.

결론

이 게시물에서는 AWS Service Catalog 및 AWS CDK를 사용하여 Canvas로 ML 환경을 빠르고 쉽게 프로비저닝하는 방법을 공유했습니다. AWS Service Catalog에서 포트폴리오를 생성하고, 포트폴리오를 프로비저닝하고, 계정에 배포하는 방법에 대해 논의했습니다. IT 관리자는 이 방법을 사용하여 Canvas를 프로비저닝하는 동안 사용자, 세션 및 관련 비용을 배포 및 관리할 수 있습니다.

Canvas에 대해 자세히 알아보기 G 시리즈 페이지 그리고 개발자 가이드. 추가 읽기를 위해 다음 방법을 배울 수 있습니다. 비즈니스 분석가가 콘솔 없이 AWS SSO를 사용하여 SageMaker Canvas에 액세스할 수 있습니다.. 당신은 또한 방법을 배울 수 있습니다 비즈니스 분석가와 데이터 과학자는 Canvas와 Studio를 사용하여 더 빠르게 협업할 수 있습니다..

저자에 관하여

다비드 갈리텔리 EMEA 지역의 AI/ML 전문 솔루션 설계자입니다. 그는 브뤼셀에 거주하며 베네룩스 전역의 고객과 긴밀하게 협력하고 있습니다. 그는 아주 어렸을 때부터 개발자였으며 ​​7세에 코딩을 시작했습니다. 그는 대학에서 AI/ML을 배우기 시작했고 그때부터 사랑에 빠졌습니다.

소피아 하미티 AWS의 AI / ML 전문 솔루션 아키텍트입니다. 그는 업계 전반의 고객이 엔드 투 엔드 머신 러닝 솔루션을 구축하고 운영 할 수 있도록 지원하여 AI / ML 여정을 가속화하도록 돕습니다.

샤암 스리니바산 AWS AI/ML 팀의 수석 제품 관리자이며 Amazon SageMaker Canvas의 제품 관리를 이끌고 있습니다. Shyam은 기술을 통해 세상을 더 나은 곳으로 만드는 데 관심을 갖고 있으며 AI와 ML이 이 여정에서 촉매제가 될 수 있는 방법에 대해 열정적입니다.

아비 파텔 Amazon SageMaker Canvas 팀에서 소프트웨어 엔지니어로 일하고 있습니다. 그의 배경은 프론트엔드에 초점을 맞춘 전체 스택 작업으로 구성됩니다. 여가 시간에 그는 암호화 공간의 오픈 소스 프로젝트에 기여하고 새로운 DeFi 프로토콜에 대해 배우는 것을 좋아합니다.

자레드 헤이우드 AWS의 선임 비즈니스 개발 관리자입니다. 그는 코드 없는 머신 러닝으로 고객을 지원하는 글로벌 AI/ML 전문가입니다. 그는 지난 5년 동안 AutoML 분야에서 일했으며 Amazon SageMaker JumpStart 및 Amazon SageMaker Canvas와 같은 제품을 Amazon에서 출시했습니다.