Logo Zephyrnet

Khám phá những hiểu biết sâu sắc về dữ liệu Amazon RDS cho MySQL với khả năng tích hợp không ETL vào Amazon Redshift | Dịch vụ web của Amazon

Ngày:

Dịch vụ cơ sở dữ liệu quan hệ của Amazon (Amazon RDS) dành cho MySQL tích hợp zero-ETL với Amazon RedShiftcông bố trong bản xem trước tại AWS re:Invent 2023 for Amazon RDS for MySQL phiên bản 8.0.28 trở lên. Trong bài đăng này, chúng tôi cung cấp hướng dẫn từng bước về cách bắt đầu phân tích hoạt động gần thời gian thực bằng tính năng này. Bài đăng này là phần tiếp theo của loạt bài về zero-ETL bắt đầu bằng Hướng dẫn bắt đầu phân tích hoạt động gần thời gian thực bằng cách sử dụng tích hợp zero-ETL của Amazon Aurora với Amazon Redshift.

Những thách thức

Khách hàng trong các ngành ngày nay đang tìm cách sử dụng dữ liệu để tạo lợi thế cạnh tranh, đồng thời tăng doanh thu và mức độ tương tác với khách hàng bằng cách triển khai các trường hợp sử dụng phân tích gần thời gian thực như chiến lược cá nhân hóa, phát hiện gian lận, giám sát hàng tồn kho, v.v. Có hai cách tiếp cận rộng rãi để phân tích dữ liệu vận hành cho các trường hợp sử dụng này:

  • Phân tích dữ liệu tại chỗ trong cơ sở dữ liệu vận hành (chẳng hạn như bản sao đọc, truy vấn liên kết và trình tăng tốc phân tích)
  • Di chuyển dữ liệu đến kho lưu trữ dữ liệu được tối ưu hóa để chạy các truy vấn dành riêng cho trường hợp sử dụng, chẳng hạn như kho dữ liệu

Tích hợp zero-ETL tập trung vào việc đơn giản hóa cách tiếp cận sau.

Quá trình trích xuất, chuyển đổi và tải (ETL) là mô hình phổ biến để di chuyển dữ liệu từ cơ sở dữ liệu vận hành sang kho dữ liệu phân tích. ELT là nơi dữ liệu được trích xuất được tải vào mục tiêu trước tiên và sau đó được chuyển đổi. Đường ống ETL và ELT có thể tốn kém để xây dựng và quản lý phức tạp. Với nhiều điểm tiếp xúc, các lỗi không liên tục trong quy trình ETL và ELT có thể dẫn đến sự chậm trễ kéo dài, khiến các ứng dụng kho dữ liệu có dữ liệu cũ hoặc bị thiếu, hơn nữa còn dẫn đến bỏ lỡ các cơ hội kinh doanh.

Ngoài ra, các giải pháp phân tích dữ liệu tại chỗ có thể hoạt động hiệu quả trong việc tăng tốc các truy vấn trên một cơ sở dữ liệu, nhưng các giải pháp đó không thể tổng hợp dữ liệu từ nhiều cơ sở dữ liệu vận hành cho những khách hàng cần chạy phân tích thống nhất.

Không ETL

Không giống như các hệ thống truyền thống nơi dữ liệu được lưu trữ trong một cơ sở dữ liệu và người dùng phải cân bằng giữa hiệu suất và phân tích thống nhất, các kỹ sư dữ liệu giờ đây có thể sao chép dữ liệu từ nhiều cơ sở dữ liệu RDS cho MySQL vào một kho dữ liệu Redshift duy nhất để rút ra những hiểu biết toàn diện trên toàn bộ cơ sở dữ liệu. nhiều ứng dụng hoặc phân vùng. Các bản cập nhật trong cơ sở dữ liệu giao dịch được truyền tải tự động và liên tục tới Amazon Redshift để các kỹ sư dữ liệu có được thông tin mới nhất trong thời gian gần như thực. Không có cơ sở hạ tầng để quản lý và quá trình tích hợp có thể tự động tăng giảm quy mô dựa trên khối lượng dữ liệu.

Tại AWS, chúng tôi đã đạt được tiến bộ ổn định trong việc mang lại tầm nhìn zero-ETL với cuộc sống. Các nguồn sau hiện được hỗ trợ để tích hợp không ETL:

Khi tạo tích hợp không ETL cho Amazon Redshift, bạn tiếp tục thanh toán cho cơ sở dữ liệu nguồn cơ bản và mức sử dụng cơ sở dữ liệu Redshift mục tiêu. tham khảo Chi phí tích hợp ETL bằng 0 (Bản xem trước) để biết thêm chi tiết.

Với tích hợp zero-ETL với Amazon Redshift, quá trình tích hợp sẽ sao chép dữ liệu từ cơ sở dữ liệu nguồn vào kho dữ liệu đích. Dữ liệu sẽ có sẵn trong Amazon Redshift trong vòng vài giây, cho phép bạn sử dụng các tính năng phân tích của Amazon Redshift và các khả năng như chia sẻ dữ liệu, tự động tối ưu hóa khối lượng công việc, mở rộng quy mô đồng thời, học máy, v.v. Bạn có thể tiếp tục xử lý giao dịch của mình trên Amazon RDS hoặc Amazon cực quang đồng thời sử dụng Amazon Redshift cho khối lượng công việc phân tích như báo cáo và bảng thông tin.

Sơ đồ sau minh họa kiến ​​trúc này.

Sơ đồ kiến ​​trúc AWS minh họa ví dụ về kiến ​​trúc zero-ETL

Tổng quan về giải pháp

Hãy xem xét , một trang web hư cấu nơi người dùng mua và bán vé trực tuyến cho các sự kiện thể thao, chương trình biểu diễn và buổi hòa nhạc. Dữ liệu giao dịch từ trang web này được tải vào cơ sở dữ liệu Amazon RDS cho MySQL 8.0.28 (hoặc phiên bản cao hơn). Các nhà phân tích kinh doanh của công ty muốn tạo ra các số liệu để xác định chuyển động của vé theo thời gian, tỷ lệ thành công của người bán cũng như các sự kiện, địa điểm và mùa bán chạy nhất. Họ muốn nhận được các số liệu này trong thời gian gần bằng cách sử dụng tích hợp ETL bằng XNUMX.

Việc tích hợp được thiết lập giữa Amazon RDS for MySQL (nguồn) và Amazon Redshift (đích). Dữ liệu giao dịch từ nguồn được làm mới gần như theo thời gian thực ở đích, nơi xử lý các truy vấn phân tích.

Bạn có thể sử dụng tùy chọn serverless hoặc cụm RA3 được mã hóa cho Amazon Redshift. Đối với bài đăng này, chúng tôi sử dụng cơ sở dữ liệu RDS được cung cấp và kho dữ liệu được cung cấp bởi Redshift.

Sơ đồ sau đây minh họa kiến ​​trúc cấp cao.

Kiến trúc zero-ETL cấp cao cho trường hợp sử dụng dữ liệu TICKIT

Sau đây là các bước cần thiết để thiết lập tích hợp zero-ETL. Các bước này có thể được trình hướng dẫn zero-ETL thực hiện tự động nhưng bạn sẽ cần khởi động lại nếu trình hướng dẫn thay đổi cài đặt cho Amazon RDS hoặc Amazon Redshift. Bạn có thể thực hiện các bước này theo cách thủ công nếu chưa được định cấu hình và thực hiện khởi động lại một cách thuận tiện. Để có hướng dẫn bắt đầu đầy đủ, hãy tham khảo Làm việc với tích hợp zero-ETL của Amazon RDS với Amazon Redshift (bản xem trước)Làm việc với tích hợp zero-ETL.

  1. Định cấu hình nguồn RDS cho MySQL bằng nhóm tham số DB tùy chỉnh.
  2. Định cấu hình cụm Redshift để bật số nhận dạng phân biệt chữ hoa chữ thường.
  3. Định cấu hình các quyền cần thiết.
  4. Tạo tích hợp zero-ETL.
  5. Tạo cơ sở dữ liệu từ tích hợp trong Amazon Redshift.

Định cấu hình nguồn RDS cho MySQL với nhóm tham số DB tùy chỉnh

Để tạo RDS cho cơ sở dữ liệu MySQL, hãy hoàn thành các bước sau:

  1. Trên bảng điều khiển Amazon RDS, tạo nhóm tham số DB có tên zero-etl-custom-pg.

Tích hợp Zero-ETL hoạt động bằng cách sử dụng nhật ký nhị phân (binlog) do cơ sở dữ liệu MySQL tạo ra. Để bật binlog trên Amazon RDS cho MySQL, bạn phải bật một bộ tham số cụ thể.

  1. Đặt cài đặt tham số cụm binlog sau:
    • binlog_format = ROW
    • binlog_row_image = FULL
    • binlog_checksum = NONE

Ngoài ra, hãy đảm bảo rằng binlog_row_value_options tham số không được đặt thành PARTIAL_JSON. Theo mặc định, tham số này không được đặt.

  1. Chọn Cơ sở dữ liệu trong ngăn điều hướng, sau đó chọn Tạo cơ sở dữ liệu.
  2. Trong Phiên bản động cơ, chọn MySQL 8.0.28 (hoặc cao hơn).

Phiên bản cộng đồng MySQL đã chọn Engine phiên bản 8.0.36

  1. Trong Templates, lựa chọn Sản lượng.
  2. Trong Tính sẵn có và độ bền, chọn một trong hai Phiên bản cơ sở dữ liệu đa AZ or Phiên bản DB đơn (Cụm cơ sở dữ liệu Multi-AZ không được hỗ trợ tại thời điểm viết bài này).
  3. Trong Mã định danh phiên bản DB, đi vào zero-etl-source-rms.

Mẫu sản xuất đã chọn, phiên bản Multi-AZ DB và mã định danh phiên bản DB zero-etl-source-rms

  1. Theo cấu hình phiên bản, lựa chọn Các lớp tối ưu hóa bộ nhớ và chọn ví dụ db.r6g.large, đủ cho trường hợp sử dụng TICKIT.

Đã chọn db.r6g.large cho lớp phiên bản DB trong Cấu hình phiên bản

  1. Theo Cấu hình bổ sung, Cho Nhóm tham số cụm DB, chọn nhóm tham số bạn đã tạo trước đó (zero-etl-custom-pg).

Nhóm tham số DB đã chọn zero-etl-custom-pg trong Cấu hình bổ sung

  1. Chọn Tạo cơ sở dữ liệu.

Trong vài phút nữa, nó sẽ tạo ra một cơ sở dữ liệu RDS cho MySQL làm nguồn để tích hợp zero-ETL.

Trạng thái phiên bản RDS hiển thị là Có sẵn

Định cấu hình đích Redshift

Sau khi tạo cụm cơ sở dữ liệu nguồn, bạn phải tạo và đặt cấu hình kho dữ liệu đích trong Amazon Redshift. Kho dữ liệu phải đáp ứng các yêu cầu sau:

  • Sử dụng loại nút RA3 (ra3.16xlarge, ra3.4xlarge, hoặc là ra3.xlplus) hoặc Amazon Redshift không có máy chủ
  • Đã mã hóa (nếu sử dụng cụm được cung cấp)

Đối với trường hợp sử dụng của chúng tôi, hãy tạo cụm Redshift bằng cách hoàn thành các bước sau:

  1. Trên bảng điều khiển Amazon Redshift, hãy chọn cấu hình và sau đó chọn Quản lý khối lượng công việc.
  2. Trong phần nhóm tham số, chọn Tạo.
  3. Tạo một nhóm tham số mới có tên zero-etl-rms.
  4. Chọn Chỉnh sửa thông số và thay đổi giá trị của enable_case_sensitive_identifier đến True.
  5. Chọn Lưu.

Bạn cũng có thể sử dụng Giao diện dòng lệnh AWS Lệnh (AWS CLI) nhóm làm việc cập nhật dành cho Redshift Serverless:

aws redshift-serverless update-workgroup --workgroup-name <your-workgroup-name> --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=true

Thiết lập nhóm tham số cụm

  1. Chọn Bảng điều khiển cụm được cung cấp.

Ở đầu cửa sổ bảng điều khiển, bạn sẽ thấy một Dùng thử các tính năng mới của Amazon Redshift trong bản xem trước banner.

  1. Chọn Tạo cụm xem trước.

Tạo cụm xem trước

  1. Trong Xem trước bản nhạc, đã chọn preview_2023.
  2. Trong Loại nút, hãy chọn một trong các loại nút được hỗ trợ (đối với bài đăng này, chúng tôi sử dụng ra3.xlplus).

Loại nút ra3.xlplus đã chọn cho cụm xem trước

  1. Theo Cấu hình bổ sung, mở rộng Cấu hình cơ sở dữ liệu.
  2. Trong Nhóm thông số, chọn zero-etl-rms.
  3. Trong Encryption, lựa chọn Sử dụng Dịch vụ quản lý khóa AWS.

Cấu hình cơ sở dữ liệu hiển thị các nhóm tham số và mã hóa

  1. Chọn Tạo cụm.

Cụm sẽ trở thành Có Sẵn trong vài phút.

Trạng thái cụm hiển thị là Có sẵn

  1. Điều hướng đến không gian tên zero-etl-target-rs-ns và chọn chính sách tài nguyên tab.
  2. Chọn Thêm hiệu trưởng được ủy quyền.
  3. Nhập Tên tài nguyên Amazon (ARN) của người dùng hoặc vai trò AWS hoặc ID tài khoản AWS (nguyên tắc IAM) được phép tạo tích hợp.

ID tài khoản được lưu trữ dưới dạng ARN với người dùng root.

Thêm hiệu trưởng được ủy quyền trên tab Chính sách tài nguyên cụm

  1. Trong tạp chí Nguồn tích hợp được ủy quyền phần, chọn Thêm nguồn tích hợp được ủy quyền để thêm ARN của phiên bản RDS cho MySQL DB vốn là nguồn dữ liệu cho quá trình tích hợp zero-ETL.

Bạn có thể tìm thấy giá trị này bằng cách truy cập bảng điều khiển Amazon RDS và điều hướng đến Cấu hình tab của zero-etl-source-rms Phiên bản cơ sở dữ liệu.

Thêm nguồn tích hợp được ủy quyền vào tab Cấu hình của phiên bản DB zero-etl-source-rms

Chính sách tài nguyên của bạn sẽ giống với ảnh chụp màn hình sau.

Đã hoàn tất thiết lập chính sách tài nguyên

Định cấu hình các quyền cần thiết

Để tạo tích hợp zero-ETL, người dùng hoặc vai trò của bạn phải có tệp đính kèm chính sách dựa trên danh tính với sự phù hợp Quản lý truy cập và nhận dạng AWS (IAM) quyền. Chủ tài khoản AWS có thể cấu hình các quyền cần thiết dành cho người dùng hoặc vai trò có thể tạo tích hợp không ETL. Chính sách mẫu cho phép hiệu trưởng liên quan thực hiện các hành động sau:

  • Tạo tích hợp zero-ETL cho RDS nguồn cho phiên bản MySQL DB.
  • Xem và xóa tất cả tích hợp zero-ETL.
  • Tạo tích hợp gửi đến vào kho dữ liệu mục tiêu. Quyền này không bắt buộc nếu cùng một tài khoản sở hữu kho dữ liệu Redshift và tài khoản này là chủ được ủy quyền cho kho dữ liệu đó. Cũng lưu ý rằng Amazon Redshift có định dạng ARN khác cho các cụm được cung cấp và không có máy chủ:
    • được cung cấp arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid
    • Không có máy chủarn:aws:redshift-serverless:{region}:{account-id}:namespace/namespace-uuid

Hoàn thành các bước sau để định cấu hình quyền:

  1. Trên bảng điều khiển IAM, chọn Điều Luật trong khung điều hướng.
  2. Chọn Tạo chính sách.
  3. Tạo một chính sách mới có tên rds-integrations sử dụng JSON sau đây (thay thế regionaccount-id với giá trị thực tế của bạn):
{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "rds:CreateIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:db:source-instancename",
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DescribeIntegration"
        ],
        "Resource": ["*"]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DeleteIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "redshift:CreateInboundIntegration"
        ],
        "Resource": [
            "arn:aws:redshift:{region}:{account-id}:cluster:namespace-uuid"
        ]
    }]
}
  1. Đính kèm chính sách bạn đã tạo với quyền của người dùng hoặc vai trò IAM của bạn.

Tạo tích hợp zero-ETL

Để tạo tích hợp zero-ETL, hãy hoàn tất các bước sau:

  1. Trên bảng điều khiển Amazon RDS, chọn Tích hợp Zero-ETL trong khung điều hướng.
  2. Chọn Tạo tích hợp zero-ETL.

Tạo tích hợp zero-ETL trên bảng điều khiển Amazon RDS

  1. Trong Mã định danh tích hợp, nhập tên, ví dụ zero-etl-demo.

Nhập mã định danh tích hợp

  1. Trong Cơ sở dữ liệu nguồn, chọn Duyệt cơ sở dữ liệu RDS và chọn cụm nguồn zero-etl-source-rms.
  2. Chọn Sau.

Duyệt cơ sở dữ liệu RDS để tìm nguồn ETL bằng 0

  1. Theo Mục tiêu, Cho Kho dữ liệu Amazon Redshift, chọn Duyệt qua kho dữ liệu Redshift và chọn kho dữ liệu Redshift (zero-etl-target-rs).
  2. Chọn Sau.

Duyệt qua kho dữ liệu Redshift để tích hợp không ETL

  1. Thêm thẻ và mã hóa, nếu có.
  2. Chọn Sau.
  3. Xác minh tên tích hợp, nguồn, mục tiêu và các cài đặt khác.
  4. Chọn Tạo tích hợp zero-ETL.

Tạo tích hợp zero-ETL bước 4

Bạn có thể chọn tích hợp để xem chi tiết và theo dõi tiến trình của nó. Mất khoảng 30 phút để trạng thái thay đổi từ Tạo đến hoạt động.

Chi tiết tích hợp Zero-ETL

Thời gian sẽ thay đổi tùy thuộc vào kích thước tập dữ liệu của bạn trong nguồn.

Tạo cơ sở dữ liệu từ tích hợp trong Amazon Redshift

Để tạo cơ sở dữ liệu của bạn từ tích hợp zero-ETL, hãy hoàn thành các bước sau:

  1. Trên bảng điều khiển Amazon Redshift, hãy chọn Cụm trong khung điều hướng.
  2. Mở zero-etl-target-rs cụm.
  3. Chọn Dữ liệu truy vấn để mở trình soạn thảo truy vấn v2.

Truy vấn dữ liệu qua Trình soạn thảo truy vấn v2

  1. Kết nối với kho dữ liệu Redshift bằng cách chọn Lưu.

Kết nối với kho dữ liệu Redshift

  1. Có được integration_id từ svv_integration bảng hệ thống:

select integration_id from svv_integration; -- copy this result, use in the next sql

Truy vấn mã định danh tích hợp

  1. Sử dụng integration_id từ bước trước để tạo cơ sở dữ liệu mới từ tích hợp:

CREATE DATABASE zetl_source FROM INTEGRATION '<result from above>';

Tạo cơ sở dữ liệu từ tích hợp

Quá trình tích hợp hiện đã hoàn tất và toàn bộ ảnh chụp nhanh của nguồn sẽ phản ánh như ở đích. Những thay đổi đang diễn ra sẽ được đồng bộ hóa gần như theo thời gian thực.

Phân tích dữ liệu giao dịch gần thời gian thực

Bây giờ chúng tôi có thể chạy phân tích trên dữ liệu hoạt động của TICKIT.

Điền dữ liệu nguồn TICKIT

Để điền dữ liệu nguồn, hãy hoàn thành các bước sau:

  1. Sao chép tệp dữ liệu đầu vào CSV vào một thư mục cục bộ. Sau đây là một lệnh ví dụ:

aws s3 cp 's3://redshift-blogs/zero-etl-integration/data/tickit' . --recursive

  1. Kết nối với cụm RDS cho MySQL của bạn và tạo cơ sở dữ liệu hoặc lược đồ cho mô hình dữ liệu TICKIT, xác minh rằng các bảng trong lược đồ đó có khóa chính và bắt đầu quá trình tải:

mysql -h <rds_db_instance_endpoint> -u admin -p password --local-infile=1

Kết nối với cụm RDS cho MySQL của bạn và tạo cơ sở dữ liệu hoặc lược đồ cho mô hình dữ liệu TICKIT

  1. Sử dụng những thứ sau TẠO các lệnh BẢNG.
  2. Tải dữ liệu từ các tệp cục bộ bằng lệnh LOAD DATA.

Sau đây là một ví dụ. Lưu ý rằng tệp CSV đầu vào được chia thành nhiều tệp. Lệnh này phải được chạy cho mọi tệp nếu bạn muốn tải tất cả dữ liệu. Đối với mục đích demo, việc tải một phần dữ liệu cũng có tác dụng.

Tạo bảng người dùng để demo

Phân tích dữ liệu TICKIT nguồn ở đích

Trên bảng điều khiển Amazon Redshift, hãy mở trình soạn thảo truy vấn v2 bằng cơ sở dữ liệu bạn đã tạo trong quá trình thiết lập tích hợp. Sử dụng mã sau đây để xác thực hoạt động hạt giống hoặc CDC:

SELECT * FROM SYS_INTEGRATION_ACTIVITY ORDER BY last_commit_timestamp DESC;

Truy vấn để xác thực hoạt động hạt giống hoặc CDC

Giờ đây, bạn có thể áp dụng logic nghiệp vụ của mình cho các chuyển đổi trực tiếp trên dữ liệu đã được sao chép vào kho dữ liệu. Bạn cũng có thể sử dụng các kỹ thuật tối ưu hóa hiệu suất như tạo chế độ xem cụ thể hóa Redshift kết hợp các bảng được sao chép và các bảng cục bộ khác để cải thiện hiệu suất truy vấn cho các truy vấn phân tích của bạn.

Giám sát

Bạn có thể truy vấn các dạng xem và bảng hệ thống sau trong Amazon Redshift để nhận thông tin về hoạt động tích hợp không có ETL với Amazon Redshift:

Để xem các số liệu liên quan đến tích hợp được xuất bản lên amazoncloudwatch, hãy mở bảng điều khiển Amazon Redshift. Chọn Tích hợp Zero-ETL trong ngăn điều hướng và chọn tích hợp để hiển thị số liệu hoạt động.

Số liệu hoạt động tích hợp Zero-ETL

Số liệu có sẵn trên bảng điều khiển Amazon Redshift là số liệu tích hợp và số liệu thống kê bảng, trong đó số liệu thống kê bảng cung cấp thông tin chi tiết về từng bảng được sao chép từ Amazon RDS for MySQL sang Amazon Redshift.

Số liệu tích hợp và thống kê bảng

Số liệu tích hợp chứa số lần sao chép thành công và thất bại của bảng cũng như chi tiết về độ trễ.

Số liệu tích hợp hiển thị số lần sao chép thành công và thất bại của bảng cũng như chi tiết về độ trễ. Số liệu tích hợp hiển thị số lần sao chép thành công và thất bại của bảng cũng như chi tiết về độ trễ. Số liệu tích hợp hiển thị số lần sao chép thành công và thất bại của bảng cũng như chi tiết về độ trễ.

Đồng bộ lại thủ công

Việc tích hợp zero-ETL sẽ tự động bắt đầu đồng bộ hóa lại nếu trạng thái đồng bộ hóa bảng hiển thị là không thành công hoặc cần phải đồng bộ hóa lại. Nhưng trong trường hợp tự động đồng bộ lại không thành công, bạn có thể bắt đầu đồng bộ lại ở mức độ chi tiết ở cấp bảng:

ALTER DATABASE zetl_source INTEGRATION REFRESH TABLES tbl1, tbl2;

Một bảng có thể rơi vào trạng thái không thành công vì nhiều lý do:

  • Khóa chính đã bị xóa khỏi bảng. Trong những trường hợp như vậy, bạn cần thêm lại khóa chính và thực hiện lệnh ALTER đã đề cập trước đó.
  • Gặp phải giá trị không hợp lệ trong quá trình sao chép hoặc một cột mới được thêm vào bảng có kiểu dữ liệu không được hỗ trợ. Trong những trường hợp như vậy, bạn cần xóa cột có kiểu dữ liệu không được hỗ trợ và thực hiện lệnh ALTER đã đề cập trước đó.
  • Một lỗi nội bộ, trong một số ít trường hợp, có thể gây ra lỗi bảng. Lệnh ALTER sẽ sửa nó.

Làm sạch

Khi bạn xóa tích hợp không ETL, dữ liệu giao dịch của bạn sẽ không bị xóa khỏi cơ sở dữ liệu RDS nguồn hoặc Redshift đích, nhưng Amazon RDS không gửi bất kỳ thay đổi mới nào tới Amazon Redshift.

Để xóa tích hợp zero-ETL, hãy hoàn tất các bước sau:

  1. Trên bảng điều khiển Amazon RDS, chọn Tích hợp Zero-ETL trong khung điều hướng.
  2. Chọn tích hợp zero-ETL mà bạn muốn xóa và chọn Xóa bỏ.
  3. Để xác nhận việc xóa, hãy chọn Xóa bỏ.

xóa tích hợp zero-ETL

Kết luận

Trong bài đăng này, chúng tôi đã hướng dẫn bạn cách thiết lập tích hợp zero-ETL từ Amazon RDS cho MySQL sang Amazon Redshift. Điều này giảm thiểu nhu cầu duy trì các đường dẫn dữ liệu phức tạp và cho phép phân tích gần thời gian thực về dữ liệu giao dịch và hoạt động.

Để tìm hiểu thêm về tích hợp zero-ETL của Amazon RDS với Amazon Redshift, hãy tham khảo Làm việc với tích hợp zero-ETL của Amazon RDS với Amazon Redshift (bản xem trước).


 Về các tác giả

Oke nhẹ nhàng là kiến ​​trúc sư giải pháp chuyên gia cấp cao của Redshift, người đã làm việc tại Amazon Web Services trong ba năm. Ông là người có chứng chỉ Chuyên gia phân tích, Chuyên gia bảo mật và Cộng tác viên SA được AWS chứng nhận, có trụ sở tại Queens, New York.

Aditya Samant là một chuyên gia kỳ cựu trong ngành cơ sở dữ liệu quan hệ với hơn 2 thập kỷ kinh nghiệm làm việc với cơ sở dữ liệu thương mại và nguồn mở. Anh hiện đang làm việc tại Amazon Web Services với tư cách là Kiến trúc sư giải pháp chuyên gia cơ sở dữ liệu chính. Trong vai trò của mình, anh dành thời gian làm việc với khách hàng để thiết kế các kiến ​​trúc gốc đám mây mạnh mẽ, an toàn và có thể mở rộng. Aditya hợp tác chặt chẽ với các nhóm dịch vụ và cộng tác thiết kế cũng như cung cấp các tính năng mới cho cơ sở dữ liệu do Amazon quản lý.

tại chỗ_img

Tin tức mới nhất

tại chỗ_img