최근 몇 년 동안 데이터 레이크는 주류 아키텍처가 되었으며, 데이터 품질 검증은 데이터의 재사용성과 일관성을 향상시키는 중요한 요소입니다. AWS Glue 데이터 품질 데이터 검증에 필요한 노력을 며칠에서 몇 시간으로 줄이고 데이터 검증을 실행하는 데 필요한 리소스에 대한 컴퓨팅 권장 사항, 통계 및 통찰력을 제공합니다.

AWS Glue 데이터 품질은 다음을 기반으로 합니다. 디쿠는 데이터 품질 지표를 계산하고 데이터 품질 제약 조건과 데이터 분포의 변경 사항을 확인하기 위해 Amazon에서 개발 및 사용하는 오픈 소스 도구입니다. 따라서 알고리즘을 구현하는 대신 데이터가 어떻게 보이는지 설명하는 데 집중할 수 있습니다.

이 게시물에서는 사전 정의된 테스트 데이터 세트에 대해 점점 더 복잡해지는 데이터 품질 규칙 세트를 실행한 벤치마크 결과를 제공합니다. 결과의 일부로 AWS Glue 데이터 품질이 ETL(추출, 변환 및 로드) 작업의 런타임, DPU(데이터 처리 단위)로 측정된 리소스에 대한 정보를 제공하는 방법, 비용을 추적하는 방법을 보여줍니다. AWS Cost Explorer에서 사용자 지정 비용 보고를 정의하여 ETL 파이프라인용 AWS Glue 데이터 품질을 실행할 수 있습니다.

솔루션 개요

AWS Glue 데이터 품질이 입력 데이터 세트에 따라 자동으로 확장되는 방식을 탐색하기 위해 테스트 데이터 세트를 정의하는 것부터 시작합니다.

데이터세트 세부정보

테스트 데이터세트에는 Parquet 형식으로 저장된 104개의 열과 1만 개의 행이 포함되어 있습니다. 당신은 할 수 있습니다 데이터 세트 다운로드 또는 다음에 제공된 Python 스크립트를 사용하여 로컬로 다시 생성합니다. 저장소. 생성기 스크립트를 실행하려면 다음을 설치해야 합니다. 판다 과 의태 Python 환경의 패키지:

pip install pandas mimesis

데이터 세트 스키마는 내장된 AWS Glue 데이터 품질 조합을 사용하기에 충분한 속성을 갖기 위해 숫자, 범주 및 문자열 변수의 조합입니다. 규칙 유형. 이 스키마는 상품 티커, 거래량, 가격 예측 등 금융 시장 데이터에서 발견되는 가장 일반적인 속성 중 일부를 복제합니다.

데이터 품질 규칙 세트

벤치마크 구조를 정의하기 위해 내장된 AWS Glue 데이터 품질 규칙 유형 중 일부를 분류합니다. 범주는 규칙이 행 수준 검사(간단한 규칙), 행별 분석(중간 규칙) 또는 데이터 유형 검사가 필요하지 않은 열 확인을 수행하는지 여부를 고려하여 결국 행 값을 다른 데이터 소스(복잡한 규칙)와 비교합니다. ). 다음 표에는 이러한 규칙이 요약되어 있습니다.

우리는 데이터 품질 규칙 세트를 실행하는 8가지 AWS Glue ETL 작업을 정의합니다. 각 작업에는 이와 관련된 데이터 품질 규칙 수가 다릅니다. 각 직업에는 연관된 사용자 정의 비용 할당 태그 나중에 AWS Cost Explorer에서 데이터 품질 비용 보고서를 생성하는 데 사용됩니다.

다음 표에서는 각 규칙 세트에 대한 일반 텍스트 정의를 제공합니다.

데이터 품질 규칙 세트가 포함된 AWS Glue ETL 작업 생성

우리는 테스트 데이터 세트 에 아마존 단순 스토리지 서비스 (Amazon S3) 및 AWS Glue 데이터 품질에서 참조 무결성 규칙을 평가하는 데 사용할 두 개의 추가 CSV 파일(isocodes.csv 과 exchanges.csv)가 AWS Glue 데이터 카탈로그에 추가된 후입니다. 다음 단계를 완료하세요.

1. Amazon S3 콘솔에서 계정에 새 S3 버킷을 생성하고 테스트 데이터 세트.
2. S3 버킷에 다음과 같은 폴더를 만듭니다. isocodes 그리고 업로드 isocodes.csv 파일.
3. exchange라는 S3 버킷에 또 다른 폴더를 생성하고 exchanges.csv 파일.
4. AWS Glue 콘솔에서 각 폴더에 하나씩 두 개의 AWS Glue 크롤러를 실행하여 AWS Glue 데이터 카탈로그(data_quality_catalog). 지침은 다음을 참조하세요. AWS Glue 크롤러 추가.

AWS Glue 크롤러는 두 개의 테이블(exchanges 과 isocodes)를 AWS Glue 데이터 카탈로그의 일부로 포함합니다.

이제 우리는 AWS 자격 증명 및 액세스 관리 (나는) 역할 런타임 시 ETL 작업에 의해 가정됩니다.

5. IAM 콘솔에서 다음과 같은 새 IAM 역할을 생성합니다. AWSGlueDataQualityPerformanceRole
6. 럭셔리 신뢰할 수 있는 항목 유형, 고르다 AWS 서비스.
7. 럭셔리 서비스 또는 사용 사례선택한다. 아교.
8. 왼쪽 메뉴에서 다음 보기.

9. 럭셔리 권한 정책, 입력 AWSGlueServiceRole
10. 왼쪽 메뉴에서 다음 보기.
    
11. 새 인라인 정책을 생성하고 연결합니다(AWSGlueDataQualityBucketPolicy) 다음 내용으로 구성됩니다. 자리 표시자를 이전에 생성한 S3 버킷 이름으로 바꿉니다.

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:GetObject",
          "Resource": [
            "arn:aws:s3:::<your_Amazon_S3_bucket_name>/*"
          ]
        }
      ]
    }

다음으로 AWS Glue ETL 작업 중 하나를 생성합니다. ruleset-5.

12. AWS Glue 콘솔의 ETL 작업 탐색 창에서 비주얼 ETL.
13. . 직업 만들기 섹션 선택 비주얼 ETL.x
    
14. 시각적 편집기에서 데이터 소스 – S3 버킷 소스 노드:
    1. 럭셔리 S3 URL, 테스트 데이터세트가 포함된 S3 폴더를 입력하세요.
    2. 럭셔리 데이터 형식선택한다. 나무 마루로.

    

15. 새로운 액션 노드를 생성하고, 변환: 평가-데이터-카탈로그:
16. 럭셔리 노드 부모에서 생성한 노드를 선택합니다.
17. 추가 규칙 세트-5 정의 아래에 규칙 세트 편집기.
    
18. 끝과 아래로 스크롤 성능 구성, 활성화 데이터 캐쉬.

19. $XNUMX Million 미만 직업 세부 정보에 대한 IAM 역할선택한다. AWSGlueDataQualityPerformanceRole.
    
20. . 태그 섹션, 정의 dqjob 태그로 rs5.

이 태그는 데이터 품질 ETL 작업마다 다릅니다. AWS Cost Explorer에서 이를 사용하여 ETL 작업 비용을 검토합니다.

21. 왼쪽 메뉴에서 찜하기.
22. 나머지 규칙 세트에 대해 이 단계를 반복하여 모든 ETL 작업을 정의합니다.

AWS Glue ETL 작업 실행

ETL 작업을 실행하려면 다음 단계를 완료하세요.

1. AWS Glue 콘솔에서 비주얼 ETL 아래에 ETL 작업 탐색 창에서
2. ETL 작업을 선택하고 작업 실행.
3. 모든 ETL 작업에 대해 반복합니다.

ETL 작업이 완료되면 작업 실행 모니터링 페이지에 작업 세부정보가 표시됩니다. 다음 스크린샷에 표시된 것처럼 DPU 시간 각 ETL 작업에 대해 열이 제공됩니다.

성능 검토

다음 표에는 동일한 테스트 데이터 세트에 대해 104개의 서로 다른 데이터 품질 규칙 세트를 실행하는 데 따른 기간, DPU 시간 및 예상 비용이 요약되어 있습니다. 모든 규칙 세트는 앞에서 설명한 전체 테스트 데이터 세트(1개 열, XNUMX만 행)를 사용하여 실행되었습니다.

빈 규칙 세트를 평가하는 데 드는 비용은 3에 가깝지만, AWS Glue 데이터 품질 작업과 연결된 IAM 역할을 검증하고 Amazon S100의 테스트 데이터 세트에 대한 읽기 권한을 확인하는 빠른 테스트로 사용할 수 있기 때문에 포함되었습니다. 데이터 품질 작업 비용은 XNUMX개 이상의 규칙이 포함된 규칙 세트를 평가한 후에만 증가하기 시작하며 해당 숫자 이하에서는 일정하게 유지됩니다.

벤치마크에서 가장 큰 규칙 세트(400개 규칙)에 대해 데이터 품질을 실행하는 데 드는 비용이 여전히 0.50달러를 약간 넘는다는 것을 확인할 수 있습니다.

AWS Cost Explorer의 데이터 품질 비용 분석

AWS Cost Explorer에서 데이터 품질 ETL 작업 태그를 보려면 다음을 수행해야 합니다. 사용자 정의 비용 할당 태그 활성화 먼저.

사용자 정의 태그를 생성하고 리소스에 적용한 후 활성화를 위해 태그 키가 비용 할당 태그 페이지에 표시되는 데 최대 24시간이 걸릴 수 있습니다. 그런 다음 태그 키가 활성화되는 데 최대 24시간이 걸릴 수 있습니다.

1. AWS에서 비용 탐색기 콘솔, 선택 비용 탐색기 저장된 보고서 탐색 창에서
2. 왼쪽 메뉴에서 새 보고서 만들기.
   
3. 선택 비용 및 사용량 보고서 유형으로
4. 왼쪽 메뉴에서 보고서 작성.
   
5. 럭셔리 날짜 범위에서 날짜 범위를 입력하세요.
6. 럭셔리 입상¸ 선택 매일.
7. 럭셔리 외형 치수선택한다. 꼬리표, 다음을 선택하십시오. dqjob 꼬리표.
   
8. $XNUMX Million 미만 적용된 필터을 선택하십시오 dqjob 태그와 데이터 품질 규칙 세트(rs0, rs1, rs5, rs10, rs50, rs100, rs200 및 rs400)에 사용되는 XNUMX개의 태그입니다.
   
9. 왼쪽 메뉴에서 신청.

비용 및 사용량 보고서가 업데이트됩니다. X축에는 데이터 품질 규칙 세트 태그가 카테고리로 표시됩니다. 그만큼 비용 및 사용량 AWS Cost Explorer의 그래프는 ETL 작업별로 집계된 최신 데이터 품질 ETL 작업 실행의 총 월간 비용을 새로 고치고 표시합니다.

정리

인프라를 정리하고 추가 비용을 피하려면 다음 단계를 완료하십시오.

1. 테스트 데이터세트를 저장하기 위해 처음 생성된 S3 버킷을 비웁니다.
2. AWS Glue에서 생성한 ETL 작업을 삭제합니다.
3. 삭제 AWSGlueDataQualityPerformanceRole IAM 역할.
4. AWS Cost Explorer에서 생성된 사용자 지정 보고서를 삭제합니다.

결론

AWS Glue 데이터 품질은 데이터 품질 검증을 ETL 파이프라인의 일부로 통합하고 증가하는 데이터 볼륨을 수용할 수 있도록 자동으로 확장하는 효율적인 방법을 제공합니다. 기본 제공 데이터 품질 규칙 유형은 데이터 품질 검사를 사용자 정의하고 획일적인 논리를 구현하는 대신 데이터가 어떻게 표시되어야 하는지에 집중할 수 있는 다양한 옵션을 제공합니다.

이 벤치마크 분석에서는 일반 크기의 AWS Glue 데이터 품질 규칙 세트에 오버헤드가 거의 또는 전혀 없는 반면, 복잡한 경우에는 비용이 선형적으로 증가한다는 사실을 보여주었습니다. 또한 빠른 보고를 위해 AWS Glue 데이터 품질 작업에 태그를 지정하여 AWS Cost Explorer에서 비용 정보를 사용할 수 있는 방법도 검토했습니다.

AWS Glue 데이터 품질은 일반적으로 이용 가능한 AWS Glue를 사용할 수 있는 모든 AWS 리전에서. AWS Glue 데이터 품질 및 AWS Glue 데이터 카탈로그에 대해 자세히 알아보십시오. AWS Glue 데이터 카탈로그에서 AWS Glue 데이터 품질 시작하기.

저자에 관하여

루벤 아폰소 AWS의 글로벌 금융 서비스 솔루션 아키텍트입니다. 그는 자동화 및 최적화에 대한 열정을 갖고 분석 및 AI/ML 문제에 대한 작업을 즐깁니다. 일하지 않을 때 그는 바르셀로나 주변의 사람이 많이 모이는 숨겨진 장소를 찾는 것을 즐깁니다.

칼얀 쿠마르 닐람푸디(KK) AWS의 전문 파트너 솔루션 아키텍트(데이터 분석 및 생성 AI)입니다. 그는 기술 고문으로 활동하며 다양한 AWS 파트너와 협력하여 데이터 분석 및 AI/ML 워크로드에 대한 사례를 설계, 구현 및 구축합니다. 직장 밖에서 그는 배드민턴 애호가이자 요리 모험가로서 현지 요리를 탐구하고 파트너와 함께 새로운 맛과 경험을 발견하기 위해 여행합니다.

곤잘로 헤레 로스 AWS Glue 팀의 수석 빅 데이터 설계자입니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/big-data/measure-performance-of-aws-glue-data-quality-for-etl-pipelines/