제퍼넷 로고

AWS 데이터베이스 및 Amazon Redshift와의 제로 ETL 통합 발표 | 아마존 웹 서비스

시간

고객이 점점 더 데이터 중심으로 변하고 데이터를 경쟁 우위의 원천으로 사용함에 따라 데이터에 대한 분석을 쉽게 실행하여 핵심 비즈니스 동인을 더 잘 이해하여 매출을 늘리고 비용을 절감하며 비즈니스를 최적화하기를 원합니다. 운영 데이터에 대한 분석을 실행하기 위해 고객은 데이터베이스, 데이터 웨어하우스, ETL(추출, 변환 및 로드) 파이프라인이 결합된 솔루션을 구축하는 경우가 많습니다. ETL은 데이터 엔지니어가 다양한 소스의 데이터를 결합하는 데 사용하는 프로세스입니다.

고객 피드백을 통해 우리는 트랜잭션 데이터베이스와 데이터 웨어하우스 간의 ETL 파이프라인을 구축하고 관리하는 데 많은 획일적인 시간과 리소스가 사용된다는 사실을 알게 되었습니다. ~에 Amazon Web Services (AWS), 우리의 목표는 고객이 모든 데이터에 더 쉽게 연결하고 사용할 수 있도록 하며 필요한 속도와 민첩성을 제공하는 것입니다. 우리는 차별화되지 않은 부분을 자동화함으로써 데이터 사일로를 허물고 데이터 통합을 단순화함으로써 고객이 데이터 중심 혁신의 속도를 높이도록 도울 수 있다고 생각합니다.

운영 데이터를 분석 워크플로우에 더 가깝게 가져오기

고객은 조직 전반에 걸쳐 데이터를 통합하여 고객에 대한 더 나은 그림을 제공하고, 운영을 간소화하며, 팀이 더 빠르고 더 나은 결정을 내릴 수 있도록 지원하는 유연한 데이터 아키텍처를 원합니다. 하지만 데이터를 통합하는 것은 쉽지 않습니다. 오늘날 이러한 파이프라인을 구축하고 아키텍처를 조립하여 모든 데이터 소스를 상호 연결하고 분석 결과를 최적화하는 것은 복잡하고 고도로 숙련된 리소스가 필요하며 오류가 있거나 종종 일관성이 없는 데이터를 렌더링합니다.

아마존 레드 시프트 분석 워크로드에 최고의 가격 대비 성능을 제공하는 완전 관리형 인공 지능(AI) 기반 클라우드 데이터 웨어하우스를 통해 매일 수만 명의 고객이 데이터 중심 의사 결정을 내릴 수 있도록 지원합니다.

Zero-ETL은 ETL 데이터 파이프라인을 구축할 필요가 없는 통합 세트입니다. Amazon Redshift와 제로 ETL 통합 고객이 통합 쿼리를 사용하여 데이터에 액세스하거나 데이터베이스 전체에서 완전 관리형 솔루션을 사용하여 Amazon Redshift로 수집할 수 있도록 지원합니다. 다음에서 파일 수집을 단순화하고 자동화하는 자동 복사 지원과 같은 최신 기능 Amazon Simple Storage Service(Amazon S3), 모든 양의 스트리밍 데이터를 웨어하우스에 직접 지속적으로 수집하는 Redshift 스트리밍 수집 기능, 데이터 이동을 최소화하고 타사 데이터에 대한 액세스도 제공하는 멀티 클러스터 데이터 공유 아키텍처를 통해 Amazon Redshift는 데이터 통합 ​​및 데이터에 대한 빠른 액세스를 지원합니다. 수동 파이프라인 구축.

모든 데이터가 통합되어 사용 가능하므로 Amazon Redshift는 모든 데이터 사용자가 분석을 실행하고 AI, 기계 학습(ML) 및 생성적 AI 애플리케이션을 구축할 수 있도록 지원합니다. 개발자는 다음과 같은 AWS 분석 서비스에서 웨어하우스의 데이터에 대해 직접 Apache Spark 애플리케이션을 실행할 수 있습니다. 아마존 EMRAWS 접착제. SaaS 애플리케이션의 판매 및 마케팅 데이터와 같은 다른 소스와의 제로 ETL 통합을 통해 복제된 운영 데이터를 결합하여 데이터 세트를 풍부하게 할 수 있으며 심지어 아마존 퀵 사이트 이 데이터 위에 대시보드를 설치하여 판매, 웹사이트 분석, 운영 등의 주요 지표를 모두 한 곳에서 추적할 수 있습니다.

또한 고객은 Amazon Redshift 데이터 공유를 사용하여 AWS 계정 내외에서 다양한 팀이 사용하는 여러 소비자 클러스터와 이 데이터를 안전하게 공유할 수 있습니다. 이를 통해 비즈니스에 대한 통합된 보기를 제공하고 거버넌스를 유지하면서 팀 클러스터 내의 애플리케이션 데이터에 대한 셀프 서비스 액세스를 촉진할 수 있습니다. 민감한 운영 데이터에 대해

또한 고객은 Amazon Redshift ML의 운영 데이터에 직접 기계 학습 모델을 구축할 수 있습니다(기본 통합 아마존 세이지 메이커) 데이터 파이프라인을 구축할 필요 없이 이를 사용하여 SQL 명령으로 수십억 건의 예측을 실행할 수 있습니다. 또는 Amazon Redshift 구체화된 뷰를 사용하여 통합 데이터에 대한 복잡한 변환 및 집계를 구축할 수 있습니다.

Amazon Redshift와 XNUMX개의 AWS 데이터베이스 제로 ETL 통합을 공유하게 되어 기쁘게 생각합니다.

AWS는 다양한 데이터베이스 서비스를 분석에 더 가깝게 제공함으로써 데이터에 대한 액세스를 간소화하고 기업이 혁신을 가속화하고 경쟁 우위를 창출하며 데이터 자산에서 추출된 비즈니스 가치를 극대화할 수 있도록 지원합니다.

Amazon Redshift와 Amazon Aurora 제로 ETL 통합

Amazon Redshift와 Amazon Aurora 제로 ETL 통합 Amazon Redshift의 거의 실시간 분석을 통해 Amazon Aurora의 트랜잭션 데이터를 통합합니다. 이렇게 하면 두 시스템 간에 사용자 정의 ETL 파이프라인을 구축하고 유지 관리해야 하는 부담이 사라집니다. 성능과 분석 사이의 균형을 강제하는 기존의 사일로화된 데이터베이스와 달리, 제로 ETL 통합은 여러 Aurora 클러스터의 데이터를 동일한 Amazon Redshift 웨어하우스로 복제합니다. 이를 통해 프로덕션 워크로드에 영향을 주지 않고 애플리케이션 전반에 걸쳐 전체적인 통찰력을 얻을 수 있습니다. 전체 시스템은 서버리스일 수 있으며 인프라 관리 없이 데이터 볼륨의 변동을 처리하기 위해 자동 확장이 가능합니다.

Amazon Redshift와 Amazon Aurora MySQL의 제로 ETL 통합은 여러 Aurora 데이터베이스에서 분당 1만 건 이상의 트랜잭션(분당 17.5만 건의 행 삽입/업데이트/삭제 작업에 해당)을 처리하고 15초 이내에 Amazon Redshift에서 사용할 수 있게 해줍니다( p50 대기 시간 지연). 그림 1은 Amazon Redshift와 Aurora MySQL의 zero-ETL 통합이 어떻게 높은 수준에서 작동하는지 보여줍니다.

그림 1: Amazon Redshift와 Aurora MySQL의 zero-ETL 통합에 대한 높은 수준의 작업

고객 중 한 명이 Amazon Redshift와 Aurora MySQL zero-ETL 통합을 어떻게 사용하고 있는지 직접 들어보십시오.

예를 들어, 소매 업계에서 Infosys는 매장 관리 시스템의 거래를 기반으로 베스트셀러 제품, 고수익 매장 등 비즈니스에 대한 더 빠른 통찰력을 얻고자 했습니다. 이를 달성하기 위해 Amazon Redshift와 Amazon Aurora MySQL zero-ETL 통합을 사용했습니다. 이 통합을 통해 Infosys는 Aurora 데이터를 Amazon Redshift에 복제하고 제품 관리자와 채널 리더를 위한 Amazon QuickSight 대시보드를 몇 시간이 아닌 단 몇 초 만에 생성했습니다. 이제 Infosys Cobalt 및 Infosys Topaz 청사진의 일부로 기업은 거래 데이터에 대해 거의 실시간 분석을 수행할 수 있으며, 이를 통해 매장 관리와 관련된 현명한 결정을 내리는 데 도움이 됩니다.

– Sunil Senan, Infosys SVP 겸 데이터, 분석, AI 글로벌 책임자

자세한 내용은 오로라 문서, Amazon Redshift 문서AWS 뉴스 블로그.

Amazon Redshift와 MySQL zero-ETL 통합용 Amazon RDS

새로운 Amazon RDS for MySQL 통합과 Amazon Redshift를 통해 고객은 자신의 컴퓨터에서 쉽게 분석을 수행할 수 있습니다. MySQL용 RDS 데이터. 몇 번의 클릭만으로 RDS for MySQL 데이터를 Amazon Redshift로 원활하게 복제하여 초기 데이터 로드, 지속적인 변경 동기화 및 스키마 복제를 자동으로 처리합니다. 이를 통해 기존 ETL 작업의 복잡성이 제거됩니다. 제로 ETL 통합을 통해 최적의 성능을 위한 워크로드 격리가 가능합니다. RDS for MySQL은 고속 트랜잭션에 중점을 두고 있으며 Amazon Redshift는 분석 워크로드를 처리합니다. 고객은 여러 소스의 데이터를 Aurora MySQL 호환 버전 및 Aurora PostgreSQL 호환 버전과 같은 Amazon Redshift로 통합할 수도 있습니다. 이 통합 보기는 한 곳에서 애플리케이션 전반에 대한 전체적인 통찰력을 제공하여 상당한 비용과 운영 효율성을 제공합니다.

그림 2는 고객이 Amazon RDS용 AWS Management Console을 사용하여 RDS for MySQL, Aurora MySQL 호환 버전 및 Aurora PostgreSQL 호환 버전에서 Amazon Redshift로의 제로 ETL 통합 생성을 시작하는 방법을 보여줍니다.

그림 2: Amazon RDS를 사용하여 제로 ETL 통합을 생성하는 방법.

이 통합은 현재 공개 미리 보기로 제공됩니다. 시작 안내서 드리겠습니다.

Amazon DynamoDB zero-ETL과 Amazon Redshift 통합

최대 XNUMXW 출력을 제공하는 아마존 DynamoDB Amazon Redshift(제한된 미리 보기)와의 제로 ETL 통합은 DynamoDB의 데이터를 Amazon Redshift의 분석에 사용할 수 있도록 하는 완전 관리형 솔루션을 제공합니다. 최소한의 구성으로 고객은 분석을 위해 DynamoDB 데이터를 Amazon Redshift로 복제할 수 있습니다. DynamoDB 읽기 용량 단위(RCU). 이 제로 ETL 통합은 고속 SQL 쿼리, 기계 학습 통합, 빠른 집계를 위한 구체화된 보기, 안전한 데이터 공유 등 DynamoDB 데이터에 대한 강력한 Amazon Redshift 기능을 잠금 해제합니다.

이 통합은 현재 제한된 미리 보기로 제공됩니다. 이 링크 액세스를 요청합니다.

통합 서비스로 제로 ETL에 더 가까워졌습니다.

우리의 임무는 고객이 데이터에서 최대의 가치를 얻을 수 있도록 돕는 것이며, 통합 서비스가 이를 위한 핵심입니다. 이것이 바로 우리가 오늘날 제로 ETL 미래를 향해 나아가고 있는 이유입니다. 복잡한 ETL 프로세스를 자동화함으로써 데이터 엔지니어는 데이터에서 가치를 창출하는 데 집중할 수 있습니다. 데이터 관리에 대한 이러한 현대적인 접근 방식을 통해 조직은 데이터 사용을 가속화하여 운영을 간소화하고 비즈니스 성장을 촉진할 수 있습니다.


저자에 관하여

죠티 아가르왈 Amazon Redshift zero-ETL의 제품 관리 책임자입니다. 그녀는 클라우드 컴퓨팅 및 스토리지, 데이터 웨어하우스, B2B/B2C 고객 경험에 대한 전문 지식을 제공합니다.

spot_img

최신 인텔리전스

spot_img