고객은 데이터 웨어하우스를 다음으로 마이그레이션하고 있습니다. 아마존 레드 시프트 빠르고 확장 가능하며 비용 효율적이기 때문입니다. 그러나 데이터 웨어하우스 마이그레이션 프로젝트는 복잡하고 어려울 수 있습니다. 이 게시물에서는 데이터 웨어하우스 마이그레이션의 일반적인 동인, 마이그레이션 전략, 마이그레이션 프로젝트를 지원하는 데 사용할 수 있는 도구 및 서비스를 이해하는 데 도움이 됩니다.

먼저 빅 데이터 환경, 최신 데이터 아키텍처의 의미, 최신 데이터 아키텍처를 구축할 때 데이터 웨어하우스 마이그레이션 프로젝트에 대해 고려해야 할 사항에 대해 논의하겠습니다.

사업 기회

데이터는 우리가 일하고, 생활하고, 즐기는 방식을 바꾸고 있습니다. 이러한 모든 행동 변화와 클라우드로의 이동으로 인해 지난 20년 동안 데이터가 폭발적으로 증가했습니다. 사물 인터넷과 스마트폰의 보급으로 매일 생성되는 데이터의 양이 가속화되었습니다. 비즈니스 모델이 바뀌었고 이러한 비즈니스를 운영하는 사람들의 요구 사항도 바뀌었습니다. 우리는 불과 몇 년 전만 해도 테라바이트의 데이터에서 지금은 페타바이트와 엑사바이트의 데이터로 이동했습니다. 데이터를 효율적으로 활용하고 수집된 데이터에서 심층적인 비즈니스 통찰력을 구축함으로써 다양한 산업 및 다양한 규모의 기업이 광범위한 비즈니스 결과를 달성할 수 있습니다. 이는 다음과 같은 핵심 비즈니스 결과로 크게 분류할 수 있습니다.

• 운영 효율성 향상 – 다양한 운영 프로세스에서 수집된 데이터를 이해함으로써 기업은 고객 경험을 개선하고 생산 효율성을 높이며 영업 및 마케팅 민첩성을 높일 수 있습니다.
• 더 많은 정보에 입각한 결정 내리기 – 조직 전체의 데이터에 대한 전체 그림을 통합하여 보다 의미 있는 통찰력을 개발함으로써 기업은 정보에 입각한 결정을 내릴 수 있습니다.
• 혁신 가속화 – 내부 및 외부 데이터 소스를 결합하면 기업이 프로세스를 자동화하고 이전에는 할 수 없었거나 너무 어려웠던 비즈니스 기회를 여는 데 도움이 되는 다양한 AI 및 머신 러닝(ML) 사용 사례가 가능합니다.

비즈니스 과제

기하급수적인 데이터 증가는 비즈니스 과제도 제시했습니다.

우선 기업은 조직 전체의 모든 데이터에 액세스해야 하며 데이터가 사일로에 분산될 수 있습니다. 다양한 데이터 유형과 대용량 및 속도로 다양한 소스에서 제공됩니다. 일부 데이터는 관계형 데이터베이스에 구조화된 데이터로 저장될 수 있습니다. 다른 데이터는 미디어 파일 및 모바일 장치에서 지속적으로 스트리밍되는 클릭스트림 데이터와 같은 객체 저장소에 반구조화된 데이터로 저장될 수 있습니다.

둘째, 데이터에서 통찰력을 구축하기 위해 기업은 분석을 수행하여 데이터를 심층적으로 분석해야 합니다. 이러한 분석 활동에는 일반적으로 동시에 시스템에 액세스해야 하는 수십, 수백 명의 데이터 분석가가 포함됩니다. 쿼리 수요를 충족할 수 있도록 확장 가능한 고성능 시스템을 보유하는 것은 종종 어려운 일입니다. 기업이 분석된 데이터를 고객과 공유해야 하는 경우 더욱 복잡해집니다.

마지막으로 기업은 데이터 사일로, 성능, 확장성, 보안 및 규정 준수 문제를 해결하기 위한 비용 효율적인 솔루션이 필요합니다. 기업이 솔루션의 비용 효율성을 측정하려면 비용을 시각화하고 예측할 수 있어야 합니다.

이러한 문제를 해결하기 위해 기업은 미래 지향적인 최신 데이터 아키텍처와 강력하고 효율적인 분석 시스템이 필요합니다.

최신 데이터 아키텍처

최신 데이터 아키텍처를 통해 조직은 모든 ​​양의 데이터를 개방형 형식으로 저장하고, 연결이 끊긴 데이터 사일로를 허물고, 사용자가 선호하는 도구 또는 기술을 사용하여 분석 또는 ML을 실행할 수 있으며, 적절한 보안을 통해 특정 데이터에 액세스할 수 있는 사람을 관리할 수 있습니다. 및 데이터 거버넌스 제어.

AWS 데이터 레이크 아키텍처는 다음 그림과 같이 데이터 레이크에 데이터를 저장하고 레이크 주변에서 목적에 맞게 구축된 데이터 서비스의 링을 사용할 수 있게 해주는 최신 데이터 아키텍처입니다. 이를 통해 규모에 맞게 비용 효율적으로 신속하고 민첩하게 의사 결정을 내릴 수 있습니다. 자세한 내용은 AWS의 최신 데이터 아키텍처.

최신 데이터 웨어하우스

아마존 레드 시프트 빠르고 쉽고 안전한 대규모 분석을 통해 통찰력 확보 시간을 단축하는 완전 관리형의 확장 가능한 최신 데이터 웨어하우스입니다. Amazon Redshift를 사용하면 저렴하고 예측 가능한 비용으로 모든 데이터를 분석하고 규모에 상관없이 성능을 얻을 수 있습니다.

Amazon Redshift는 다음과 같은 이점을 제공합니다.

• 모든 데이터 분석 – Amazon Redshift를 사용하면 일관된 보안 및 거버넌스 정책으로 데이터 웨어하우스와 데이터 레이크 전체의 모든 데이터를 쉽게 분석할 수 있습니다. 우리는 이것을 현대 데이터 아키텍처라고 부릅니다. 와 함께 아마존 레드시프트 스펙트럼, 로드 또는 기타 데이터 준비 없이 데이터 레이크의 데이터를 쿼리할 수 있습니다. 그리고 데이터 레이크 내보내기, Amazon Redshift 쿼리 결과를 다시 레이크에 저장할 수 있습니다. 즉, Amazon Redshift가 데이터 레이크와 완전히 통합되어 있으므로 아키텍처를 재설계하지 않고도 실시간 분석 및 ML/AI 사용 사례를 활용할 수 있습니다. 다음과 같은 새로운 기능으로 데이터 공유, 내부 및 외부에서 Amazon Redshift 클러스터에서 데이터를 쉽게 공유할 수 있으므로 모든 사람이 실시간으로 데이터를 일관되게 볼 수 있습니다. 아마존 레드시프트 ML 데이터로 더 많은 작업을 쉽게 수행할 수 있습니다. Amazon Redshift 데이터 웨어하우스에서 직접 친숙한 SQL 명령을 사용하여 ML 모델을 생성, 교육 및 배포할 수 있습니다.
• 모든 규모에서 빠른 성능 – Amazon Redshift는 정렬 키 및 배포 키 정의, 구체화 된 뷰, 자동 새로 고침 및 자동 쿼리 재작성. Amazon Redshift는 기가바이트에서 페타바이트에 이르는 데이터와 소수의 사용자에서 수천 명의 데이터까지 일관되게 빠른 결과를 제공하도록 확장됩니다. 사용자 기반이 수천 명의 동시 사용자로 확장됨에 따라 동시성 확장 기능은 추가 로드를 관리하는 데 필요한 컴퓨팅 리소스를 자동으로 배포합니다. Amazon Redshift RA3 인스턴스 관리형 스토리지로 별도의 컴퓨팅 및 스토리지를 사용하므로 각각 독립적으로 확장하고 필요한 스토리지에 대해서만 비용을 지불할 수 있습니다. Amazon Redshift용 AQUA(고급 쿼리 가속기) 특정 유형의 쿼리를 자동으로 향상시키는 새로운 분산 및 하드웨어 가속 캐시입니다.
• 모두를 위한 손쉬운 분석 – Amazon Redshift는 세부적인 인프라 관리 또는 성능 최적화의 부담을 덜어주는 완전관리형 데이터 웨어하우스입니다. 인프라 프로비저닝, 백업 생성, 데이터 레이아웃 설정 및 기타 작업과 같은 유지 관리 작업을 수행하는 대신 통찰력을 얻는 데 집중할 수 있습니다. 개방형 형식으로 데이터를 조작하고 친숙한 SQL 명령을 사용하며 새로운 쿼리 편집기 v2. 또한 소프트웨어 드라이버를 구성하고 데이터베이스 연결을 관리하지 않고도 보안 데이터 API를 통해 모든 애플리케이션의 데이터에 액세스할 수 있습니다. Amazon Redshift는 BI(비즈니스 인텔리전스) 도구와 호환되므로 BI 도구 내에서 작업하는 비즈니스 사용자에게 Amazon Redshift의 강력한 기능과 통합을 제공합니다.

데이터 레이크 아키텍처가 포함된 최신 데이터 아키텍처와 Amazon Redshift가 포함된 최신 데이터 웨어하우스는 다양한 규모의 기업이 빅 데이터 문제를 해결하고, 많은 양의 데이터를 이해하고, 비즈니스 결과를 이끌어내는 데 도움이 됩니다. 데이터 웨어하우스를 Amazon Redshift로 마이그레이션하여 최신 데이터 아키텍처를 구축하는 여정을 시작할 수 있습니다.

마이그레이션 고려 사항

데이터 웨어하우스 마이그레이션은 프로젝트 복잡성 측면에서 문제를 제시하고 리소스, 시간 및 비용 측면에서 위험을 내포합니다. 데이터 웨어하우스 마이그레이션의 복잡성을 줄이려면 기존 데이터 웨어하우스 환경과 Amazon Redshift로 마이그레이션하는 데 필요한 변환의 양에 따라 올바른 마이그레이션 전략을 선택하는 것이 중요합니다. 다음은 마이그레이션 전략 결정에 영향을 줄 수 있는 주요 요소입니다.

• 크기 – 마이그레이션할 원본 데이터 웨어하우스의 전체 크기는 마이그레이션에 포함된 개체, 테이블 및 데이터베이스에 의해 결정됩니다. Amazon Redshift로 이전하는 데 필요한 데이터 원본과 데이터 도메인을 잘 이해하면 마이그레이션 프로젝트의 규모를 최적화할 수 있습니다.
• 데이터 전송 – 데이터 웨어하우스 마이그레이션에는 소스 데이터 웨어하우스 서버와 AWS 간의 데이터 전송이 포함됩니다. 다음과 같이 소스 위치와 AWS 간의 네트워크 상호 연결을 통해 데이터를 전송할 수 있습니다. AWS Direct Connect 또는 다음과 같은 도구 또는 서비스를 통해 오프라인으로 데이터를 전송합니다. AWS 스노우 패밀리.
• 데이터 변경률 – 데이터 웨어하우스에서 데이터 업데이트 또는 변경이 얼마나 자주 발생합니까? 기존 데이터 웨어하우스 데이터 변경률은 원본 데이터 웨어하우스와 대상 Amazon Redshift를 동기화 상태로 유지하는 데 필요한 업데이트 간격을 결정합니다. 데이터 변경률이 높은 소스 데이터 웨어하우스는 업데이트 간격 내에 완료되기 위해 소스에서 Amazon Redshift로의 서비스 전환이 필요하므로 마이그레이션 전환 기간이 단축됩니다.
• 데이터 변환 – 기존 데이터 웨어하우스를 Amazon Redshift로 이동하는 것은 데이터 매핑 및 스키마 변경과 같은 데이터 변환과 관련된 이기종 마이그레이션입니다. 데이터 변환의 복잡성은 마이그레이션 반복에 필요한 처리 시간을 결정합니다.
• 마이그레이션 및 ETL 도구 – 마이그레이션 및 ETL(추출, 변환 및 로드) 도구를 선택하면 마이그레이션 프로젝트에 영향을 미칠 수 있습니다. 예를 들어 이러한 도구의 배포 및 설정에 필요한 노력은 다를 수 있습니다. 곧 AWS 도구 및 서비스에 대해 자세히 살펴보겠습니다.

이러한 모든 고려 사항을 고려한 후 Amazon Redshift 마이그레이션 프로젝트에 대한 마이그레이션 전략 옵션을 선택할 수 있습니다.

마이그레이션 전략

XNUMX단계 마이그레이션, XNUMX단계 마이그레이션 또는 웨이브 기반 마이그레이션의 세 가지 마이그레이션 전략 중에서 선택할 수 있습니다.

원스텝 마이그레이션은 원본과 대상 간의 지속적인 데이터 변경을 동기화 상태로 유지하기 위해 연속 복제와 같은 연속 작업이 필요하지 않은 데이터베이스에 적합한 옵션입니다. 기존 데이터베이스를 CSV(쉼표로 구분된 값) 파일로 추출하거나 Parquet과 같은 열 형식으로 추출한 다음 다음과 같은 AWS Snow Family 서비스를 사용할 수 있습니다. AWS 스노우볼 데이터 세트를 전달하기 위해 아마존 단순 스토리지 서비스 (Amazon S3) Amazon Redshift에 로드합니다. 그런 다음 원본과의 데이터 일관성을 위해 대상 Amazon Redshift 데이터베이스를 테스트합니다. 모든 유효성 검사가 통과되면 데이터베이스가 AWS로 전환됩니다.

XNUMX단계 마이그레이션은 일반적으로 연속 복제와 같이 연속 작업이 필요한 모든 크기의 데이터베이스에 사용됩니다. 마이그레이션하는 동안 원본 데이터베이스에는 지속적인 데이터 변경 사항이 있으며 연속 복제는 원본과 Amazon Redshift 간에 동기화된 데이터 변경 사항을 유지합니다. XNUMX단계 마이그레이션 전략의 분석은 다음과 같습니다.

• 초기 데이터 마이그레이션 – 영향을 최소화하기 위해 사용량이 많지 않을 때 소스 데이터베이스에서 데이터를 추출하는 것이 좋습니다. 그런 다음 앞서 설명한 XNUMX단계 마이그레이션 접근 방식에 따라 데이터가 Amazon Redshift로 마이그레이션됩니다.
• 변경된 데이터 마이그레이션 – 초기 데이터 마이그레이션 후 원본 데이터베이스에서 변경된 데이터는 전환 전에 대상으로 전파됩니다. 이 단계는 원본 및 대상 데이터베이스를 동기화합니다. 변경된 데이터를 모두 마이그레이션한 후 대상 데이터베이스의 데이터를 검증하고 필요한 테스트를 수행할 수 있습니다. 모든 테스트를 통과하면 Amazon Redshift 데이터 웨어하우스로 전환합니다.

웨이브 기반 마이그레이션은 대규모 데이터 웨어하우스 마이그레이션 프로젝트에 적합합니다. 웨이브 기반 마이그레이션의 원칙은 복잡한 마이그레이션 프로젝트를 여러 개의 논리적이고 체계적인 웨이브로 나누는 예방 조치를 취하는 것입니다. 이 전략은 복잡성과 위험을 크게 줄일 수 있습니다. 상당한 수의 데이터 원본과 중간 정도의 복잡성을 가진 주제 영역을 다루는 워크로드에서 시작한 다음 각 후속 웨이브에서 더 많은 데이터 원본과 주제 영역을 추가합니다. 이 전략을 사용하면 원본 데이터 웨어하우스를 완전히 폐기하기 전에 일정 시간 동안 원본 데이터 웨어하우스와 Amazon Redshift 프로덕션 환경을 모두 병렬로 실행합니다. 보다 Amazon Redshift로 데이터 웨어하우스를 현대화하는 애플리케이션 마이그레이션 방법론 개발 웨이브 기반 마이그레이션 접근 방식을 사용하여 소스 데이터 웨어하우스에서 Amazon Redshift로 마이그레이션할 데이터 소스 및 분석 애플리케이션을 식별하고 그룹화하는 방법에 대한 자세한 내용은

마이그레이션 전략 결정을 안내하려면 다음 표를 참조하여 고려 요소를 선호하는 마이그레이션 전략과 매핑하십시오.

마이그레이션 프로세스

이 섹션에서는 마이그레이션 프로세스의 세 가지 상위 수준 단계를 검토합니다. 1단계 마이그레이션 전략 및 웨이브 기반 마이그레이션 전략에는 세 가지 마이그레이션 단계가 모두 포함됩니다. 그러나 웨이브 기반 마이그레이션 전략에는 많은 반복이 포함됩니다. 연속 작업이 필요하지 않은 데이터베이스만 2단계 마이그레이션에 적합하므로 마이그레이션 프로세스의 XNUMX단계와 XNUMX단계만 필요합니다.

1단계: 스키마 및 주제 영역 변환

이 단계에서는 다음과 같은 스키마 변환 도구를 사용하여 소스 데이터 웨어하우스 스키마를 변환하여 Amazon Redshift 스키마와 호환되는 소스 데이터 웨어하우스 스키마를 만듭니다. AWS 스키마 변환 도구 (AWS SCT) 및 AWS 파트너의 기타 도구. 경우에 따라 사용자 지정 코드를 사용하여 복잡한 스키마 변환을 수행해야 할 수도 있습니다. 이후 섹션에서 AWS SCT 및 마이그레이션 모범 사례에 대해 자세히 다룹니다.

2단계: 초기 데이터 추출 및 로드

이 단계에서는 초기 데이터 추출을 완료하고 처음으로 소스 데이터를 Amazon Redshift에 로드합니다. 당신이 사용할 수있는 AWS SCT 데이터 추출기 데이터 크기 및 데이터 전송 요구 사항이 상호 연결된 네트워크를 통해 데이터를 전송할 수 있는 경우 원본 데이터 웨어하우스에서 데이터를 추출하고 Amazon S3에 데이터를 로드합니다. 또는 네트워크 용량 제한과 같은 제한 사항이 있는 경우 Snowball에 데이터를 로드하고 거기에서 Amazon S3로 데이터를 로드할 수 있습니다. 원본 데이터 웨어하우스의 데이터를 Amazon S3에서 사용할 수 있으면 Amazon Redshift로 로드됩니다. 원본 데이터 웨어하우스 기본 도구가 AWS SCT 데이터 추출기보다 더 나은 데이터 언로드 및 로드 작업을 수행하는 상황에서 기본 도구를 사용하여 이 단계를 완료할 수 있습니다.

3단계: 델타 및 증분 로드

이 단계에서는 AWS SCT와 소스 데이터 웨어하우스 기본 도구를 사용하여 소스에서 Amazon Redshift로의 델타 또는 증분 변경 사항을 캡처하고 로드합니다. 이를 종종 CDC(변경 데이터 캡처)라고 합니다. CDC는 데이터베이스의 변경 사항을 캡처하고 이러한 변경 사항이 데이터 웨어하우스와 같은 대상에 복제되도록 하는 프로세스입니다.

이제 데이터 웨어하우스에 대한 마이그레이션 계획 개발을 시작하기에 충분한 정보가 있어야 합니다. 다음 섹션에서는 데이터 웨어하우스를 Amazon Redshift로 마이그레이션하는 데 도움이 되는 AWS 서비스와 이러한 서비스를 사용하여 데이터 웨어하우스 마이그레이션 프로젝트의 성공적인 제공을 가속화하는 모범 사례에 대해 자세히 설명합니다.

데이터 웨어하우스 마이그레이션 서비스

데이터 웨어하우스 마이그레이션에는 마이그레이션 프로세스를 지원하는 일련의 서비스 및 도구가 포함됩니다. 먼저 데이터베이스 마이그레이션 평가 보고서를 생성한 다음 AWS SCT를 사용하여 Amazon Redshift와 호환되도록 소스 데이터 스키마를 변환합니다. 데이터를 이동하려면 다음과 통합된 AWS SCT 데이터 추출 도구를 사용할 수 있습니다. AWS 데이터 마이그레이션 서비스 (AWS DMS)를 사용하여 AWS DMS 작업을 생성 및 관리하고 데이터 마이그레이션을 오케스트레이션합니다.

소스와 AWS 간의 상호 연결된 네트워크를 통해 소스 데이터를 전송하려면 다음을 사용할 수 있습니다. AWS 스토리지 게이트웨이, 아마존 키네 시스 데이터 파이어 호스, 직접 연결, AWS Transfer Family 서비스, Amazon S3 전송 가속화및 AWS 데이터싱크. 대용량 데이터가 포함된 데이터 웨어하우스 마이그레이션의 경우 또는 상호 연결된 네트워크 용량에 제약이 있는 경우 AWS Snow Family of services를 사용하여 데이터를 전송할 수 있습니다. 이 접근 방식을 사용하면 데이터를 디바이스에 복사하고 AWS로 다시 보내고 Amazon S3를 통해 데이터를 Amazon Redshift로 복사할 수 있습니다.

AWS SCT는 데이터 웨어하우스를 Amazon Redshift로 빠르게 마이그레이션하는 데 필수적인 서비스입니다. 더 깊이 들어가 보겠습니다.

AWS SCT를 사용하여 마이그레이션

AWS SCT는 데이터 웨어하우스 스키마를 Amazon Redshift 데이터베이스 스키마로 변환하는 대부분의 프로세스를 자동화합니다. 소스 및 대상 데이터베이스 엔진에는 다양한 기능이 있을 수 있으므로 AWS SCT는 가능한 경우 대상 데이터베이스에 동등한 스키마를 생성하려고 시도합니다. 직접 변환이 불가능한 경우 AWS SCT는 스키마 변환에 도움이 되는 데이터베이스 마이그레이션 평가 보고서를 생성합니다. 데이터베이스 마이그레이션 평가 보고서는 소스 데이터베이스에서 대상 데이터베이스로의 스키마 변환에 대한 중요한 정보를 제공합니다. 보고서는 모든 스키마 변환 작업을 요약하고 대상 데이터베이스의 DB 엔진으로 변환할 수 없는 스키마 개체에 대한 작업 항목을 자세히 설명합니다. 보고서에는 자동으로 변환할 수 없는 대상 데이터베이스에 동등한 코드를 작성하는 데 소요되는 노력의 추정치도 포함됩니다.

스토리지 최적화는 데이터 웨어하우스 변환의 핵심입니다. Amazon Redshift 데이터베이스를 소스로 사용하고 테스트 Amazon Redshift 데이터베이스를 대상으로 사용할 때 AWS SCT는 정렬 키와 배포 키를 권장하여 데이터베이스를 최적화합니다.

AWS SCT를 사용하면 다음 데이터 웨어하우스 스키마를 Amazon Redshift로 변환할 수 있습니다.

• 아마존 레드 시프트
• Azure Synapse 분석(버전 10)
• Greenplum 데이터베이스(버전 4.3 이상)
• Microsoft SQL Server(버전 2008 이상)
• Netezza(버전 7.0.3 이상)
• Oracle(버전 10.2 이상)
• 눈송이(버전 3)
• Teradata(버전 13 이상)
• Vertica(버전 7.2 이상)

At
AWS는 제품을 개선하기 위해 계속해서 새로운 기능과 개선 사항을 출시하고 있습니다. 지원되는 최신 변환에 대해서는 다음을 방문하십시오. AWS SCT 사용 설명서.

AWS SCT 데이터 추출 도구를 사용하여 데이터 마이그레이션

AWS SCT 데이터 추출 도구를 사용하여 온프레미스 데이터 웨어하우스에서 데이터를 추출하고 Amazon Redshift로 마이그레이션할 수 있습니다. 에이전트는 데이터를 추출하고 Amazon S3 또는 대규모 마이그레이션의 경우 AWS Snowball Family 서비스에 데이터를 업로드합니다. 그런 다음 AWS SCT를 사용하여 데이터를 Amazon Redshift에 복사할 수 있습니다. Amazon S3는 저장 및 검색 서비스입니다. Amazon S3에 객체를 저장하려면 저장하려는 파일을 S3 버킷에 업로드합니다. 파일을 업로드할 때 개체 및 모든 메타데이터에 대한 권한을 설정할 수 있습니다.

AWS Snowball Family 서비스로의 데이터 업로드와 관련된 대규모 마이그레이션에서는 AWS SCT의 마법사 기반 워크플로를 사용하여 데이터 추출 도구가 AWS DMS를 조정하여 실제 마이그레이션을 수행하는 프로세스를 자동화할 수 있습니다.

Amazon Redshift 마이그레이션 도구에 대한 고려 사항

Amazon Redshift로의 데이터 웨어하우스 마이그레이션을 개선하고 가속화하려면 다음 팁과 모범 사례를 고려하십시오. 이 목록은 완전하지 않습니다. 데이터 웨어하우스 프로필을 잘 이해하고 마이그레이션 프로젝트에 사용할 수 있는 모범 사례를 결정하십시오.

• AWS SCT를 사용하여 마이그레이션 평가 보고서를 만들고 마이그레이션 노력 범위를 지정합니다.
• 가능한 경우 AWS SCT를 사용하여 마이그레이션을 자동화하십시오. 고객 경험에 따르면 AWS SCT는 대부분의 DDL 및 SQL 스크립트를 자동으로 생성할 수 있습니다.
• 자동화된 스키마 변환이 불가능한 경우 코드 변환을 위해 사용자 정의 스크립팅을 사용하십시오.
• 데이터 마이그레이션 성능과 안정성을 개선하려면 AWS SCT 데이터 추출기 에이전트를 데이터 원본에 최대한 가깝게 설치하십시오.
• 데이터 마이그레이션 성능을 향상시키려면 아마존 엘라스틱 컴퓨트 클라우드 (Amazon EC2) 인스턴스 및 데이터 추출기 에이전트가 설치된 이에 상응하는 가상 머신.
• 할당된 네트워크 대역폭의 사용을 최대화하여 데이터 마이그레이션 성능을 개선하기 위해 여러 작업을 병렬로 실행하도록 여러 데이터 추출기 에이전트를 구성합니다.
• AWS SCT 메모리 구성을 조정하여 스키마 변환 성능을 개선하십시오.
• Amazon S3를 사용하여 기존 데이터 웨어하우스의 이미지, PDF 및 기타 바이너리 데이터와 같은 대규모 객체를 저장합니다.
• 큰 테이블을 마이그레이션하려면 가상 파티셔닝을 사용하고 하위 작업을 생성하여 데이터 마이그레이션 성능을 향상시키십시오.
• Direct Connect, AWS Transfer Family 및 AWS Snow Family와 같은 AWS 서비스의 사용 사례를 이해합니다. 데이터 마이그레이션 요구 사항을 충족하는 올바른 서비스 또는 도구를 선택하십시오.
• AWS 서비스 할당량을 이해하고 정보에 입각한 마이그레이션 설계 결정을 내리십시오.

요약

데이터의 양과 복잡성은 그 어느 때보다 빠르게 증가하고 있습니다. 그러나 이 귀중한 자산의 일부만 분석에 사용할 수 있습니다. 기존의 온프레미스 데이터 웨어하우스에는 최신 빅 데이터 분석 사용 사례에 맞게 확장되지 않는 엄격한 아키텍처가 있습니다. 이러한 기존 데이터 웨어하우스는 설정 및 운영에 비용이 많이 들고 소프트웨어와 하드웨어 모두에 대한 대규모 선행 투자가 필요합니다.

이 게시물에서는 Amazon Redshift가 모든 데이터를 분석하고 저렴하고 예측 가능한 비용으로 모든 규모에서 성능을 달성하는 데 도움이 될 수 있는 완전관리형의 확장 가능한 최신 데이터 웨어하우스에 대해 논의했습니다. 데이터 웨어하우스를 Amazon Redshift로 마이그레이션하려면 데이터 웨어하우스의 전체 크기, 데이터 변경률, 데이터 변환 복잡성과 같은 다양한 요인을 고려한 후 복잡성을 줄이고 적절한 마이그레이션 전략과 프로세스를 선택해야 합니다. 데이터 웨어하우스 마이그레이션 프로젝트 비용. AWS SCT 및 AWS DMS와 같은 AWS 서비스와 이러한 서비스의 팁과 모범 사례를 채택하면 마이그레이션 작업을 자동화하고 마이그레이션을 확장하고 데이터 웨어하우스 마이그레이션 프로젝트의 제공을 가속화하고 고객을 만족시킬 수 있습니다.

저자에 관하여

루이스 탕 오스트레일리아 시드니에 있는 Amazon Web Services의 수석 솔루션 아키텍트입니다. Lewis는 파트너에게 광범위한 AWS 서비스에 대한 지침을 제공하고 파트너가 AWS 사례 성장을 가속화하도록 돕습니다.

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 무료 액세스.
• 크립토호크. 알트코인 레이더. 무료 시험판.
• 출처: https://aws.amazon.com/blogs/big-data/what-to-consider-when-migrating-data-warehouse-to-amazon-redshift/