MySQL용 Amazon Relational Database Service(Amazon RDS) 제로 ETL 통합 아마존 레드 시프트 였다 발표 Amazon RDS for MySQL 버전 2023 이상에 대해 AWS re:Invent 8.0.28에서 미리 보기로 제공됩니다. 이 게시물에서는 이 기능을 사용하여 거의 실시간 운영 분석을 시작하는 방법에 대한 단계별 지침을 제공합니다. 이번 포스팅은 XNUMX년부터 시작된 zero-ETL 시리즈의 연속입니다. Amazon Redshift와 Amazon Aurora zero-ETL 통합을 사용하여 거의 실시간 운영 분석을 위한 시작 안내서.

도전

오늘날 업계 전반의 고객은 개인화 전략, 사기 탐지, 재고 모니터링 등과 같은 거의 실시간 분석 사용 사례를 구현하여 경쟁 우위를 확보하고 수익과 고객 참여를 높이기 위해 데이터를 사용하려고 합니다. 이러한 사용 사례에 대한 운영 데이터를 분석하는 데는 두 가지 광범위한 접근 방식이 있습니다.

• 운영 데이터베이스(예: 읽기 전용 복제본, 통합 쿼리, 분석 가속기)의 데이터를 분석합니다.
• 데이터 웨어하우스와 같은 사용 사례별 쿼리 실행에 최적화된 데이터 저장소로 데이터 이동

제로 ETL 통합은 후자의 접근 방식을 단순화하는 데 중점을 둡니다.

ETL(추출, 변환 및 로드) 프로세스는 운영 데이터베이스에서 분석 데이터 웨어하우스로 데이터를 이동하는 일반적인 패턴이었습니다. ELT는 추출된 데이터를 그대로 타겟에 먼저 로딩한 후 변환하는 방식입니다. ETL 및 ELT 파이프라인은 구축 비용이 많이 들고 관리가 복잡할 수 있습니다. 여러 접점을 사용하면 ETL 및 ELT 파이프라인의 간헐적인 오류로 인해 오랜 지연이 발생하고 데이터 웨어하우스 애플리케이션에 오래되거나 누락된 데이터가 남아 비즈니스 기회를 놓칠 수 있습니다.

또는 내부에서 데이터를 분석하는 솔루션은 단일 데이터베이스에 대한 쿼리를 가속화하는 데 효과적일 수 있지만, 이러한 솔루션은 통합 분석을 실행해야 하는 고객을 위해 여러 운영 데이터베이스에서 데이터를 집계할 수 없습니다.

제로 ETL

데이터가 하나의 데이터베이스에 격리되어 있고 사용자가 통합 분석과 성능 사이에서 절충점을 찾아야 하는 기존 시스템과 달리, 데이터 엔지니어는 이제 여러 RDS for MySQL 데이터베이스의 데이터를 단일 Redshift 데이터 웨어하우스로 복제하여 전체에 대한 전체적인 통찰력을 얻을 수 있습니다. 많은 응용 프로그램이나 파티션. 트랜잭션 데이터베이스의 업데이트는 Amazon Redshift에 자동으로 지속적으로 전파되므로 데이터 엔지니어는 거의 실시간으로 최신 정보를 얻을 수 있습니다. 관리할 인프라가 없으며 통합은 데이터 볼륨에 따라 자동으로 확장 및 축소될 수 있습니다.

AWS에서 우리는 제로 ETL 비전 인생에. 현재 제로 ETL 통합에는 다음 소스가 지원됩니다.

Amazon Redshift에 대한 제로 ETL 통합을 생성하면 기본 소스 데이터베이스와 대상 Redshift 데이터베이스 사용량에 대한 비용을 계속 지불하게 됩니다. 인용하다 ETL 통합 비용 없음(미리보기) 자세한 내용은.

Amazon Redshift와의 제로 ETL 통합을 통해 통합은 소스 데이터베이스의 데이터를 대상 데이터 웨어하우스로 복제합니다. 데이터는 몇 초 내에 Amazon Redshift에서 사용할 수 있게 되므로 Amazon Redshift의 분석 기능과 데이터 공유, 워크로드 최적화 자율성, 동시성 확장, 기계 학습 등과 같은 기능을 사용할 수 있습니다. Amazon RDS에서 트랜잭션 처리를 계속할 수 있습니다. Amazon Aurora 동시에 보고 및 대시보드와 같은 분석 워크로드에 Amazon Redshift를 사용합니다.

다음 다이어그램은이 아키텍처를 보여줍니다.

솔루션 개요

고려하자. 티켓, 사용자가 스포츠 이벤트, 쇼, 콘서트 티켓을 온라인으로 사고 파는 가상의 웹사이트입니다. 이 웹 사이트의 트랜잭션 데이터는 MySQL 8.0.28(또는 상위 버전) 데이터베이스용 Amazon RDS에 로드됩니다. 회사의 비즈니스 분석가는 시간 경과에 따른 티켓 이동, 판매자의 성공률, 가장 많이 팔리는 이벤트, 장소 및 시즌을 식별하는 메트릭을 생성하려고 합니다. 그들은 제로 ETL 통합을 사용하여 거의 실시간으로 이러한 측정항목을 얻고 싶어합니다.

통합은 Amazon RDS for MySQL(소스)과 Amazon Redshift(대상) 간에 설정됩니다. 소스의 트랜잭션 데이터는 분석 쿼리를 처리하는 대상에서 거의 실시간으로 새로 고쳐집니다.

Amazon Redshift에 서버리스 옵션이나 암호화된 RA3 클러스터를 사용할 수 있습니다. 이 게시물에서는 프로비저닝된 RDS 데이터베이스와 Redshift 프로비저닝된 데이터 웨어하우스를 사용합니다.

다음 다이어그램은 상위 수준 아키텍처를 보여줍니다.

다음은 제로 ETL 통합을 설정하는 데 필요한 단계입니다. 이러한 단계는 제로 ETL 마법사를 통해 자동으로 수행할 수 있지만 마법사가 Amazon RDS 또는 Amazon Redshift에 대한 설정을 변경하는 경우 다시 시작해야 합니다. 아직 구성되지 않은 경우 이러한 단계를 수동으로 수행하고 편의에 따라 다시 시작을 수행할 수 있습니다. 전체 시작 안내서를 보려면 다음을 참조하세요. Amazon Redshift(미리 보기)와 Amazon RDS zero-ETL 통합 작업 과 제로 ETL 통합 작업.

1. 사용자 지정 DB 파라미터 그룹을 사용하여 RDS for MySQL 소스를 구성합니다.
2. 대소문자 구분 식별자를 활성화하도록 Redshift 클러스터를 구성합니다.
3. 필요한 권한을 구성합니다.
4. 제로 ETL 통합을 생성합니다.
5. Amazon Redshift의 통합에서 데이터베이스를 생성합니다.

사용자 지정된 DB 파라미터 그룹을 사용하여 RDS for MySQL 소스 구성

MySQL용 RDS 데이터베이스를 생성하려면 다음 단계를 완료하세요.

1. Amazon RDS 콘솔에서 다음과 같은 DB 파라미터 그룹을 생성합니다. zero-etl-custom-pg.

Zero-ETL 통합은 MySQL 데이터베이스에서 생성된 바이너리 로그(binlogs)를 사용하여 작동합니다. MySQL용 Amazon RDS에서 binlog를 활성화하려면 특정 파라미터 세트를 활성화해야 합니다.

2. 다음 binlog 클러스터 파라미터 설정을 지정합니다.
   • binlog_format = ROW
   • binlog_row_image = FULL
   • binlog_checksum = NONE

또한 다음 사항을 확인하세요. binlog_row_value_options 매개변수가 다음으로 설정되지 않았습니다. PARTIAL_JSON. 기본적으로 이 매개변수는 설정되지 않습니다.

3. 왼쪽 메뉴에서 데이터베이스 탐색 창에서 다음을 선택합니다. 데이터베이스 생성.
4. 럭셔리 엔진 버전선택한다. MySQL의 8.0.28 (또는 더 높게).

5. 럭셔리 Canva의 제작된 채널아트 템플릿을, 고르다 생산.
6. 럭셔리 가용성 및 내구성, 다중 AZ DB 인스턴스 or 단일 DB 인스턴스 (이 글을 쓰는 시점에서는 다중 AZ DB 클러스터가 지원되지 않습니다.)
7. 럭셔리 DB 인스턴스 식별자, 입력 zero-etl-source-rms.

8. $XNUMX Million 미만 인스턴스 구성, 고르다 메모리 최적화 클래스 인스턴스를 선택하고 db.r6g.largeTICKIT 사용 사례에는 충분합니다.

9. $XNUMX Million 미만 추가 구성에 대한 DB 클러스터 파라미터 그룹, 이전에 생성한 파라미터 그룹을 선택합니다(zero-etl-custom-pg).

10. 왼쪽 메뉴에서 데이터베이스 생성.

몇 분 안에 MySQL용 RDS 데이터베이스를 제로 ETL 통합의 소스로 가동해야 합니다.

Redshift 대상 구성

원본 DB 클러스터를 생성한 후에는 Amazon Redshift에서 대상 데이터 웨어하우스를 생성하고 구성해야 합니다. 데이터 웨어하우스는 다음 요구 사항을 충족해야 합니다.

• RA3 노드 유형 사용(ra3.16xlarge, ra3.4xlarge및 ra3.xlplus) 또는 Amazon Redshift 서버리스
• 암호화됨(프로비저닝된 클러스터를 사용하는 경우)

사용 사례에서는 다음 단계를 완료하여 Redshift 클러스터를 생성합니다.

1. Amazon Redshift 콘솔에서 다음을 선택합니다. 구성 그런 다음 워크로드 관리.
2. 매개변수 그룹 섹션에서 다음을 선택합니다. 만들기.
3. 이름이 지정된 새 매개변수 그룹을 생성합니다. zero-etl-rms.
4. 왼쪽 메뉴에서 매개변수 편집 의 값을 변경 enable_case_sensitive_identifier 에 True.
5. 왼쪽 메뉴에서 찜하기.

당신은 또한 사용할 수 있습니다 AWS 명령 줄 인터페이스 (AWS CLI) 명령 업데이트 작업 그룹 Redshift 서버리스의 경우:

aws redshift-serverless update-workgroup --workgroup-name <your-workgroup-name> --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=true

6. 왼쪽 메뉴에서 프로비저닝된 클러스터 대시보드.

콘솔 창 상단에 다음이 표시됩니다. 새로운 Amazon Redshift 기능을 미리 보기로 사용해 보세요 기치.

7. 왼쪽 메뉴에서 미리보기 클러스터 만들기.

8. 럭셔리 트랙 미리보기, 선택 preview_2023.
9. 럭셔리 노드 유형, 지원되는 노드 유형 중 하나를 선택합니다(이 게시물에서는 ra3.xlplus).

10. $XNUMX Million 미만 추가 구성, 확장하다 데이터베이스 구성.
11. 럭셔리 매개변수 그룹선택한다. zero-etl-rms.
12. 럭셔리 암호화, 고르다 AWS 키 관리 서비스 사용.

13. 왼쪽 메뉴에서 클러스터 생성.

클러스터는 다음과 같아야 합니다. 유효한 몇 분 안에.

14. 네임스페이스로 이동 zero-etl-target-rs-ns 선택하고 리소스 정책 탭.
15. 왼쪽 메뉴에서 승인된 주체 추가.
16. AWS 사용자 또는 역할의 Amazon 리소스 이름(ARN) 또는 통합 생성이 허용된 AWS 계정 ID(IAM 보안 주체)를 입력합니다.

계정 ID는 루트 사용자의 ARN으로 저장됩니다.

17. . 승인된 통합 소스 섹션 선택 승인된 통합 소스 추가 제로 ETL 통합을 위한 데이터 소스인 RDS for MySQL DB 인스턴스의 ARN을 추가합니다.

Amazon RDS 콘솔로 이동하여 다음으로 이동하여 이 값을 찾을 수 있습니다. 구성 탭 zero-etl-source-rms DB 인스턴스.

리소스 정책은 다음 스크린샷과 유사해야 합니다.

필요한 권한 구성

제로 ETL 통합을 생성하려면 사용자 또는 역할에 연결되어 있어야 합니다. 자격 증명 기반 정책 해당로 AWS 자격 증명 및 액세스 관리 (IAM) 권한. AWS 계정 소유자는 다음을 수행할 수 있습니다. 필요한 권한 구성 제로 ETL 통합을 생성할 수 있는 사용자 또는 역할을 위한 것입니다. 샘플 정책을 사용하면 연결된 보안 주체가 다음 작업을 수행할 수 있습니다.

• MySQL DB 인스턴스용 소스 RDS에 대한 제로 ETL 통합을 생성합니다.
• 모든 제로 ETL 통합을 보고 삭제합니다.
• 대상 데이터 웨어하우스에 인바운드 통합을 생성합니다. 동일한 계정이 Redshift 데이터 웨어하우스를 소유하고 이 계정이 해당 데이터 웨어하우스의 승인된 주체인 경우에는 이 권한이 필요하지 않습니다. 또한 Amazon Redshift는 프로비저닝된 클러스터와 서버리스 클러스터에 대해 서로 다른 ARN 형식을 가지고 있습니다.
  • 프로비저닝 됨 - arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid
  • 서버리스 - arn:aws:redshift-serverless:{region}:{account-id}:namespace/namespace-uuid

권한을 구성하려면 다음 단계를 완료하십시오.

1. IAM 콘솔에서 정책 탐색 창에서
2. 왼쪽 메뉴에서 정책 만들기.
3. 라는 새 정책을 만듭니다. rds-integrations 다음 JSON을 사용하여(교체 region 과 account-id 실제 값으로) :

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "rds:CreateIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:db:source-instancename",
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DescribeIntegration"
        ],
        "Resource": ["*"]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DeleteIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "redshift:CreateInboundIntegration"
        ],
        "Resource": [
            "arn:aws:redshift:{region}:{account-id}:cluster:namespace-uuid"
        ]
    }]
}

4. 생성한 정책을 IAM 사용자 또는 역할 권한에 연결합니다.

제로 ETL 통합 생성

제로 ETL 통합을 생성하려면 다음 단계를 완료하십시오.

1. Amazon RDS 콘솔에서 다음을 선택합니다. 제로 ETL 통합 탐색 창에서
2. 왼쪽 메뉴에서 제로 ETL 통합 생성.

3. 럭셔리 통합 식별자, 예를 들어 이름을 입력하십시오. zero-etl-demo.

4. 럭셔리 소스 데이터베이스선택한다. RDS 데이터베이스 찾아보기 소스 클러스터를 선택합니다. zero-etl-source-rms.
5. 왼쪽 메뉴에서 다음 보기.

6. $XNUMX Million 미만 목표에 대한 Amazon Redshift 데이터 웨어하우스선택한다. Redshift 데이터 웨어하우스 찾아보기 Redshift 데이터 웨어하우스(zero-etl-target-rs).
7. 왼쪽 메뉴에서 다음 보기.

8. 해당하는 경우 태그와 암호화를 추가합니다.
9. 왼쪽 메뉴에서 다음 보기.
10. 통합 이름, 소스, 대상 및 기타 설정을 확인합니다.
11. 왼쪽 메뉴에서 제로 ETL 통합 생성.

통합을 선택하여 세부 정보를 보고 진행 상황을 모니터링할 수 있습니다. 상태가 바뀌는 데 약 30분 정도 걸렸습니다. 만들기 에 최근활동.

시간은 소스의 데이터세트 크기에 따라 달라집니다.

Amazon Redshift의 통합에서 데이터베이스 생성

제로 ETL 통합에서 데이터베이스를 생성하려면 다음 단계를 완료하세요.

1. Amazon Redshift 콘솔에서 다음을 선택합니다. 클러스터 탐색 창에서
2. 열기 zero-etl-target-rs 클러스터.
3. 왼쪽 메뉴에서 쿼리 데이터 쿼리 편집기 v2를 엽니다.

4. 다음을 선택하여 Redshift 데이터 웨어하우스에 연결합니다. 찜하기.

5. 획득 integration_id 인사말 svv_integration 시스템 테이블:

select integration_id from svv_integration; -- copy this result, use in the next sql

6. 사용 integration_id 이전 단계에서 통합에서 새 데이터베이스를 생성합니다.

CREATE DATABASE zetl_source FROM INTEGRATION '<result from above>';

이제 통합이 완료되었으며 소스의 전체 스냅샷이 대상에 그대로 반영됩니다. 진행 중인 변경사항은 거의 실시간으로 동기화됩니다.

실시간에 가까운 거래 데이터 분석

이제 TICKIT의 운영 데이터에 대한 분석을 실행할 수 있습니다.

원본 TICKIT 데이터 채우기

소스 데이터를 채우려면 다음 단계를 완료하십시오.

1. CSV 입력 데이터 파일을 로컬 디렉터리에 복사합니다. 다음은 예시 명령입니다.

aws s3 cp 's3://redshift-blogs/zero-etl-integration/data/tickit' . --recursive

2. MySQL용 RDS 클러스터에 연결하고 TICKIT 데이터 모델에 대한 데이터베이스 또는 스키마를 생성하고 해당 스키마의 테이블에 기본 키가 있는지 확인한 후 로드 프로세스를 시작합니다.

mysql -h <rds_db_instance_endpoint> -u admin -p password --local-infile=1

3. 다음을 사용하십시오. CREATE TABLE 명령.
4. LOAD DATA 명령을 사용하여 로컬 파일에서 데이터를 로드합니다.

다음은 예시입니다. 입력 CSV 파일은 여러 파일로 나누어져 있습니다. 모든 데이터를 로드하려면 모든 파일에 대해 이 명령을 실행해야 합니다. 데모 목적의 경우 부분 데이터 로드도 작동해야 합니다.

대상에서 원본 TICKIT 데이터 분석

Amazon Redshift 콘솔에서 통합 설정의 일부로 생성한 데이터베이스를 사용하여 쿼리 편집기 v2를 엽니다. 다음 코드를 사용하여 시드 또는 CDC 활동을 확인하세요.

SELECT * FROM SYS_INTEGRATION_ACTIVITY ORDER BY last_commit_timestamp DESC;

이제 데이터 웨어하우스에 복제된 데이터에 직접 변환을 위한 비즈니스 논리를 적용할 수 있습니다. 또한 복제된 테이블과 기타 로컬 테이블을 조인하는 Redshift 구체화된 뷰 생성과 같은 성능 최적화 기술을 사용하여 분석 쿼리의 쿼리 성능을 향상시킬 수도 있습니다.

모니터링

Amazon Redshift에서 다음 시스템 보기와 테이블을 쿼리하여 Amazon Redshift와의 제로 ETL 통합에 대한 정보를 얻을 수 있습니다.

게시된 통합 관련 지표를 보려면 아마존 클라우드 워치, Amazon Redshift 콘솔을 엽니다. 선택하다 제로 ETL 통합 탐색 창에서 통합을 선택하여 활동 지표를 표시합니다.

Amazon Redshift 콘솔에서 사용 가능한 지표는 통합 지표와 테이블 통계이며, 테이블 통계는 MySQL용 Amazon RDS에서 Amazon Redshift로 복제된 각 테이블의 세부 정보를 제공합니다.

통합 측정항목에는 테이블 복제 성공, 실패 횟수, 지연 세부정보가 포함됩니다.

수동 재동기화

제로 ETL 통합은 테이블 동기화 상태가 실패 또는 재동기화 필요로 표시되면 자동으로 재동기화를 시작합니다. 그러나 자동 재동기화가 실패하는 경우 테이블 수준 세분성에서 재동기화를 시작할 수 있습니다.

ALTER DATABASE zetl_source INTEGRATION REFRESH TABLES tbl1, tbl2;

테이블은 여러 가지 이유로 실패 상태가 될 수 있습니다.

• 기본 키가 테이블에서 제거되었습니다. 이러한 경우 기본 키를 다시 추가하고 앞서 언급한 ALTER 명령을 수행해야 합니다.
• 복제 중에 잘못된 값이 발견되었거나 지원되지 않는 데이터 유형이 있는 새 열이 테이블에 추가되었습니다. 이러한 경우 지원되지 않는 데이터 형식의 열을 제거하고 앞서 언급한 ALTER 명령을 수행해야 합니다.
• 드문 경우지만 내부 오류로 인해 테이블 ​​오류가 발생할 수 있습니다. ALTER 명령으로 이 문제를 해결해야 합니다.

정리

ETL이 없는 통합을 삭제하면 트랜잭션 데이터가 소스 RDS 또는 대상 Redshift 데이터베이스에서 삭제되지 않지만 Amazon RDS는 Amazon Redshift에 새로운 변경 사항을 보내지 않습니다.

제로 ETL 통합을 삭제하려면 다음 단계를 완료하십시오.

1. Amazon RDS 콘솔에서 다음을 선택합니다. 제로 ETL 통합 탐색 창에서
2. 삭제할 제로 ETL 통합을 선택하고 다음을 선택합니다. ..
3. 삭제를 확인하려면 다음을 선택하십시오. ..

결론

이 게시물에서는 Amazon RDS for MySQL에서 Amazon Redshift로 제로 ETL 통합을 설정하는 방법을 보여주었습니다. 이를 통해 복잡한 데이터 파이프라인을 유지 관리할 필요성이 최소화되고 트랜잭션 및 운영 데이터에 대한 거의 실시간 분석이 가능해집니다.

Amazon Redshift와 Amazon RDS zero-ETL 통합에 대해 자세히 알아보려면 다음을 참조하십시오. Amazon Redshift(미리 보기)와 Amazon RDS zero-ETL 통합 작업.

 저자에 관하여

마일드 오케 Amazon Web Services에서 3년 동안 근무한 선임 Redshift 전문 솔루션 아키텍트입니다. 그는 뉴욕 퀸즈에 본사를 둔 AWS 인증 SA Associate, Security Specialty 및 Analytics Specialty 인증 보유자입니다.

아디트야 사만트 2년 넘게 상용 및 오픈 소스 데이터베이스 작업 경험을 보유한 관계형 데이터베이스 업계 베테랑입니다. 그는 현재 Amazon Web Services에서 수석 데이터베이스 전문가 솔루션 설계자로 일하고 있습니다. 그는 자신의 역할에서 고객과 협력하여 확장 가능하고 안전하며 강력한 클라우드 네이티브 아키텍처를 설계하는 데 시간을 보냅니다. Aditya는 서비스 팀과 긴밀히 협력하며 Amazon 관리형 데이터베이스의 새로운 기능을 설계하고 제공하는 데 협력합니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/big-data/unlock-insights-on-amazon-rds-for-mysql-data-with-zero-etl-integration-to-amazon-redshift/