“Veriler her uygulamanın, sürecin ve iş kararının merkezinde yer alıyor. Veriler müşteri deneyimlerini iyileştirmek ve inovasyonu teşvik etmek için kullanıldığında işletmenin büyümesine yol açabilir."

- Swami Sivasubramanyan, AWS'de Veritabanı, Analitik ve Makine Öğrenimi Başkan Yardımcısı Sıfır ETL yaklaşımıyla AWS, inşaatçıların neredeyse gerçek zamanlı analizler gerçekleştirmesine yardımcı oluyor.

Farklı sektörlerdeki müşteriler daha fazla veri odaklı hale geliyor ve işlem verileri üzerinde gerçek zamanlıya yakın analizler uygulayarak gelirlerini artırmayı, maliyetleri azaltmayı ve iş operasyonlarını optimize etmeyi, dolayısıyla çevikliği artırmayı hedefliyor. AWS, müşteri ihtiyaçlarına ve onların geri bildirimlerine dayanarak yatırım yapıyor ve sıfır ETL vizyonumuzu hayata geçirme yolunda istikrarlı bir şekilde ilerliyor; böylece inşaatçılar verileri analize hazırlamak yerine verilerden değer yaratmaya daha fazla odaklanabiliyor.

nen sıfır ETL ile entegrasyon Amazon Kırmızıya Kaydırma petabaytlarca veri üzerinde Amazon Redshift'i kullanarak analize, yapay zekaya (AI) ve makine öğrenimine (ML) hazır hale getirmek için noktadan noktaya veri hareketini kolaylaştırır. İşlem verilerinin yazılmasından birkaç saniye sonra destekli AWS veritabanları, sıfır ETL, verileri Amazon Redshift'te sorunsuz bir şekilde kullanılabilir hale getirerek ayıklama, dönüştürme ve yükleme (ETL) işlemlerini gerçekleştiren karmaşık veri işlem hatları oluşturma ve sürdürme ihtiyacını ortadan kaldırır.

İşlemsel veritabanları ve veri ambarları arasındaki ETL kanallarını oluşturmak ve yönetmek için farklı zaman ve kaynaklara yatırım yapmak yerine verilerden değer yaratmaya odaklanmanıza yardımcı olmak için, biz AWS re:Invent 2023'te Amazon Redshift ile dört AWS veritabanı sıfır ETL entegrasyonunu duyurdu:

Bu yazıda, gerçek zamanlıya yakın operasyonel analitiklere nasıl başlayacağınız konusunda adım adım rehberlik sağlıyoruz. Amazon Redshift ile Amazon Aurora PostgreSQL sıfır ETL entegrasyonu.

Çözüme genel bakış

Sıfır ETL entegrasyonu oluşturmak için bir Amazon Aurora PostgreSQL-Uyumlu Sürüm kaynak olarak küme (PostgreSQL 15.4 ve sıfır ETL desteği ile uyumlu) ve hedef olarak bir Redshift veri ambarı. Entegrasyon, verileri kaynak veritabanından hedef veri ambarına kopyalar.

Aurora PostgreSQL DB tarafından sağlanan kümeleri şu şekilde oluşturmalısınız: Amazon RDS Veritabanı Önizleme Ortamı ve bir Kırmızıya Kayma sağlanan önizleme kümesi or sunucusuz önizleme çalışma grubu, ABD Doğu (Ohio) AWS Bölgesinde. Amazon Redshift'te sıfır ETL entegrasyonlarını kullanmak için önizleme_2023 yolunu seçtiğinizden emin olun.

Aşağıdaki diyagram bu yazıda uygulanan mimariyi göstermektedir.

Bu çözüme yönelik sıfır ETL entegrasyonunu ayarlamak için gereken adımlar aşağıda verilmiştir. Başlangıç ​​kılavuzlarının tamamı için bkz. Amazon Redshift ile Aurora sıfır ETL entegrasyonlarıyla çalışma ve Sıfır ETL entegrasyonlarıyla çalışma.

1. Adımdan sonra 2-4. Adımları atlayabilir ve 5. Adımdan itibaren doğrudan sıfır ETL entegrasyonunuzu oluşturmaya başlayabilirsiniz; bu durumda Amazon RDS, eksik yapılandırmalarla ilgili bir mesaj gösterecek ve Benim için düzelt Amazon RDS'nin adımları otomatik olarak yapılandırmasına izin vermek için.

1. Aurora PostgreSQL kaynağını özelleştirilmiş bir veritabanı kümesi parametre grubuyla yapılandırın.
2. Yapılandırın Amazon Redshift Sunucusuz ad alanı için gerekli kaynak ilkesine sahip hedef.
3. Büyük/küçük harfe duyarlı tanımlayıcıları etkinleştirmek için Redshift Sunucusuz çalışma grubunu güncelleyin.
4. Gerekli izinleri yapılandırın.
5. Sıfır ETL entegrasyonunu oluşturun.
6. Amazon Redshift'teki entegrasyondan bir veritabanı oluşturun.
7. Gerçek zamanlıya yakın işlem verilerini analiz etmeye başlayın.

Aurora PostgreSQL kaynağını özelleştirilmiş bir veritabanı kümesi parametre grubuyla yapılandırma

Aurora PostgreSQL Veritabanı kümeleri için özel parametre grubunu Amazon RDS Veritabanı Önizleme Ortamı, ABD Doğu (Ohio) Bölgesinde. Yapabilirsiniz Amazon RDS Önizleme Ortamına doğrudan erişin.

Aurora PostgreSQL veritabanı oluşturmak için aşağıdaki adımları tamamlayın:

1. Amazon RDS konsolunda, Parametre grupları Gezinti bölmesinde.
2. Klinik Parametre grubu oluştur.
3. İçin Parametre grubu ailesi, seçmek aurora-postgresql15.
4. İçin Tip, seçmek DB Cluster Parameter Group.
5. İçin Grup ismi, bir ad girin (örneğin, zero-etl-custom-pg-postgres).
6. Klinik oluşturmak.

Aurora PostgreSQL'in Amazon Redshift ile sıfır ETL entegrasyonları, Aurora DB kümesi parametrelerigelişmiş mantıksal çoğaltma (aurora.enhanced_lojik_replication) gerektirir.

7. Üzerinde Parametre grupları sayfasında yeni oluşturulan parametre grubunu seçin.
8. Üzerinde İşlemler menü seç Düzenle.
9. Aşağıdaki Aurora PostgreSQL'i ayarlayın (aurora-postgresql15 ailesi) küme parametre ayarları:
   • rds.logical_replication=1
   • aurora.enhanced_logical_replication=1
   • aurora.logical_replication_backup=0
   • aurora.logical_replication_globaldb=0

Gelişmiş mantıksal çoğaltmanın (aurora.enhanced_lojik_replication) etkinleştirilmesi, REPLICA IDENTITY parametresini otomatik olarak FULL olarak ayarlar; bu, tüm sütun değerlerinin önceden yazma günlüğüne (WAL) yazıldığı anlamına gelir.

10. Klinik Değişiklikleri Kaydet.
11. Klinik veritabanları gezinme bölmesinde, ardından Veritabanı oluştur.
    
12. İçin Motor tipiseçin Amazon Aurora'sı.
13. İçin baskıseçin Amazon Aurora PostgreSQL-Uyumlu Sürüm.
14. İçin Mevcut versiyonlar, seçmek Aurora PostgreSQL (PostgreSQL 15.4 ve Zero-ETL Desteği ile uyumlu).
15. İçin Şablonlarseçin üretim.
16. İçin DB kümesi tanımlayıcısı, girmek zero-etl-source-pg.
17. Altında Kimlik Bilgileri Ayarlarıiçin bir şifre girin Ana parola veya sizin için otomatik olarak bir şifre oluşturma seçeneğini kullanın.
18. içinde Örnek yapılandırma bölümüseçin Bellek için optimize edilmiş sınıflar.
19. Uygun bir örnek boyutu seçin (varsayılan: db.r5.2xlarge).
20. Altında Ek yapılandırma, Için DB kümesi parametre grubu, daha önce oluşturduğunuz parametre grubunu seçin (zero-etl-custom-pg-postgres).
21. Geri kalan yapılandırmalar için varsayılan ayarları bırakın.
22. Klinik Veritabanı oluştur.

Birkaç dakika içinde bu, bir yazar ve bir okuyucu örneğinden oluşan bir Aurora PostgreSQL kümesini başlatacak ve durum şu şekilde değişecektir: Oluşturma için Mevcut. Yeni oluşturulan Aurora PostgreSQL kümesi, sıfır ETL entegrasyonunun kaynağı olacak.

Bir sonraki adım, sıfır ETL entegrasyonu için Amazon Aurora PostgreSQL'de adlandırılmış bir veritabanı oluşturmaktır.

PostgreSQL kaynak modeli, bir küme içinde birden fazla veritabanı oluşturmanıza olanak tanır. Bu nedenle sıfır ETL entegrasyon oluşturma adımında entegrasyonunuz için kaynak olarak hangi veritabanını kullanmak istediğinizi belirtmeniz gerekir.

PostgreSQL'i kurarken kutudan çıkan üç standart veritabanına sahip olursunuz: şablon0, şablon1 ve postgres. PostgreSQL'de yeni bir veritabanı oluşturduğunuzda, aslında onu kümenizdeki bu üç veritabanından birine dayandırırsınız. Aurora PostgreSQL kümesi oluşturma sırasında oluşturulan veritabanı şablon0'ı temel alır. CREATE DATABASE komut, mevcut bir veritabanını kopyalayarak çalışır ve açıkça belirtilmemişse, varsayılan olarak standart sistem veritabanı şablonunu1 kopyalar. Sıfır ETL entegrasyonuna yönelik adlandırılmış veritabanı için veritabanının şablon1 değil şablon0 kullanılarak oluşturulması gerekir. Bu nedenle, altına bir başlangıç ​​veritabanı adı eklenirse Ek yapılandırmaşablon0 kullanılarak oluşturulur ve sıfır ETL entegrasyonu için kullanılamaz.

23. Kullanarak yeni bir adlandırılmış veritabanı oluşturmak için CREATE DATABASE yeni Aurora PostgreSQL kümesi içinde zero-etl-source-pg, önce PostgreSQL kümesinin yazar örneğinin uç noktasını alın.
24. Bir terminalden veya kullanarak AWS BulutKabuğu, SSH'yi PostgreSQL kümesine yerleştirin ve psql'yi yüklemek ve yeni bir veritabanı oluşturmak için aşağıdaki komutları çalıştırın zeroetl_db:

    sudo dnf install postgresql15
    psql –version
    psql -h <RDS Write Instance Endpoint> -p 5432 -U postgres
    create database zeroetl_db template template1;

Ekleme template template1 isteğe bağlıdır, çünkü belirtilmediği takdirde varsayılan olarak CREATE DATABASE kullanacak template1.

Ayrıca bir istemci aracılığıyla bağlanıp veritabanını oluşturabilirsiniz. Bakınız Aurora PostgreSQL Veritabanı kümesine bağlanma PostgreSQL kümesine bağlanma seçenekleri için.

Redshift Serverless'ı hedef olarak yapılandırma

Aurora PostgreSQL kaynak veritabanı kümenizi oluşturduktan sonra bir Redshift hedef veri ambarını yapılandırırsınız. Veri ambarı aşağıdaki gereksinimlere uygun olmalıdır:

• Önizlemede oluşturuldu (yalnızca Aurora PostgreSQL kaynakları için)
• En az iki düğüme sahip bir RA3 düğüm türü (ra3.16xlarge, ra3.4xlarge veya ra3.xlplus) veya Redshift Serverless kullanır
• Şifrelenmiş (sağlanmış bir küme kullanılıyorsa)

Bu gönderi için, aşağıdaki adımları izleyerek bir Redshift Sunucusuz çalışma grubu ve ad alanını hedef veri ambarı olarak oluşturup yapılandırıyoruz:

1. Amazon Redshift konsolunda şunu seçin: Sunucusuz kontrol paneli Gezinti bölmesinde.

Amazon Aurora PostgreSQL'den Amazon Redshift'e sıfır ETL entegrasyonu önizleme aşamasında başlatıldığından (üretim amacıyla değil), hedef veri ambarını bir önizleme ortamında oluşturmanız gerekir.

2. Klinik Önizleme çalışma grubu oluştur.

İlk adım Redshift Sunucusuz çalışma grubunu yapılandırmaktır.

3. İçin Çalışma grubu adı, bir ad girin (örneğin, zero-etl-target-rs-wg).
4. Ayrıca veri ambarının işlem kaynaklarını sınırlamak için kapasiteyi seçebilirsiniz. Kapasite, 8 ila 8 RPU arasında 512'lik artışlarla yapılandırılabilir. Bu gönderi için bunu şu şekilde ayarlayın: 8 RPU'lar.
5. Klinik Sonraki.

Daha sonra veri ambarının ad alanını yapılandırmanız gerekir.

6. seç Yeni bir ad alanı oluştur.
7. İçin Ad alanı, bir ad girin (örneğin, zero-etl-target-rs-ns).
8. Klinik Sonraki.
9. Klinik Çalışma grubu oluştur.
10. Çalışma grubu ve ad alanı oluşturulduktan sonra Ad alanı yapılandırmaları Gezinti bölmesinde ad alanı yapılandırmasını açın.
11. Üzerinde Kaynak politikası sekmesini seçin Yetkili sorumlular ekle.

Yetkili bir sorumlu, veri ambarına sıfır ETL entegrasyonları oluşturabilecek kullanıcıyı veya rolü tanımlar.

12. İçin IAM asıl ARN veya AWS hesap kimliğisıfır ETL entegrasyonları oluşturmak için AWS kullanıcısının veya rolünün ARN'sini ya da erişim izni vermek istediğiniz AWS hesabının kimliğini girebilirsiniz. (Bir hesap kimliği ARN olarak saklanır.)
13. Klinik Değişiklikleri Kaydet.

Yetkili sorumlu yapılandırıldıktan sonra kaynak veritabanının Redshift veri ambarınızı güncellemesine izin vermeniz gerekir. Bu nedenle kaynak veritabanını yetkili entegrasyon kaynağı olarak ad alanına eklemeniz gerekir.

14. Klinik Yetkili entegrasyon kaynağı ekleyin.
15. İçin Yetkili kaynak ARNsıfır ETL entegrasyonunun kaynağı olduğundan Aurora PostgreSQL kümesinin ARN'sini girin.

Aurora PostgreSQL kümesinin ARN'sini Amazon RDS konsolundan edinebilirsiniz. yapılandırma altında sekmesi Amazon Kaynak Adı.

16. Klinik Değişiklikleri Kaydet.

Büyük/küçük harfe duyarlı tanımlayıcıları etkinleştirmek için Redshift Sunucusuz çalışma grubunu güncelleyin

Amazon Aurora PostgreSQL varsayılan olarak büyük/küçük harfe duyarlıdır ve sağlanan tüm kümelerde ve Redshift Sunucusuz çalışma gruplarında büyük/küçük harf duyarlılığı devre dışıdır. Entegrasyonun başarılı olması için büyük/küçük harf duyarlılığı parametresi active_case_ sensitive_identifier veri ambarı için etkinleştirilmelidir.

Değiştirmek için enable_case_sensitive_identifier Redshift Sunucusuz çalışma grubundaki parametreyi kullanmanız gerekir. AWS Komut Satırı Arayüzü (AWS CLI), çünkü Amazon Redshift konsolu şu anda Redshift Serverless parametre değerlerinin değiştirilmesini desteklememektedir. Parametreyi güncellemek için aşağıdaki komutu çalıştırın:

aws redshift-serverless update-workgroup --workgroup-name zero-etl-target-rs-wg --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=true --region us-east-2

AWS CLI'ye bağlanmanın basit bir yolu, AWS kaynaklarına ve araçlarına doğrudan bir tarayıcıdan komut satırı erişimi sağlayan tarayıcı tabanlı bir kabuk olan CloudShell'i kullanmaktır. Aşağıdaki ekran görüntüsü, komutun CloudShell'de nasıl çalıştırılacağını göstermektedir.

Gerekli izinleri yapılandırın

Sıfır ETL entegrasyonu oluşturmak için kullanıcınızın veya rolünüzün iliştirilmiş bir kimlik tabanlı politika uygun olanla AWS Kimlik ve Erişim Yönetimi (IAM) izinleri. Bir AWS hesabı sahibi şunları yapabilir: gerekli izinleri yapılandırın Sıfır ETL entegrasyonları oluşturabilecek kullanıcı veya roller için. Örnek politika, ilişkili sorumlunun aşağıdaki eylemleri gerçekleştirmesine olanak tanır:

• Kaynak Aurora DB kümesi için sıfır ETL entegrasyonları oluşturun.
• Tüm sıfır ETL entegrasyonlarını görüntüleyin ve silin.
• Hedef veri ambarına gelen entegrasyonlar oluşturun. Amazon Redshift'in tedarikli ve sunucusuz için farklı bir ARN formatı vardır:
• Tedarik edilen küme - arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid
• Serverless - arn:aws:redshift-serverless:{region}:{account-id}:namespace/namespace-uuid

Aynı hesap Redshift veri ambarına sahipse ve bu hesap söz konusu veri ambarı için yetkili sorumlu ise bu izin gerekli değildir.

İzinleri yapılandırmak için aşağıdaki adımları tamamlayın:

1. IAM konsolunda, Politikaları Gezinti bölmesinde.
2. Klinik Politika oluştur.
3. Aşağıdaki JSON'u kullanarak rds-entegrasyonları adı verilen yeni bir politika oluşturun. Amazon Aurora PostgreSQL önizlemesi için, tüm ARN'ler ve eylemler Amazon RDS Veritabanı Önizleme Ortamı hizmet ad alanına -preview eklendi. Bu nedenle aşağıdaki politikada rds yerine kullanmanız gerekir rds-preview. Örneğin, rds-preview:CreateIntegration.

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "rds:CreateIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:cluster:source-cluster",
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DescribeIntegration"
        ],
        "Resource": ["*"]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DeleteIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "redshift:CreateInboundIntegration"
        ],
        "Resource": [
            "arn:aws:redshift:{region}:{account-id}:cluster:namespace-uuid"
        ]
    }]
}

4. Oluşturduğunuz politikayı IAM kullanıcı veya rol izinlerinize ekleyin.

Sıfır ETL entegrasyonunu oluşturun

Sıfır ETL entegrasyonunu oluşturmak için aşağıdaki adımları tamamlayın:

1. Amazon RDS konsolunda, Sıfır ETL entegrasyonları Gezinti bölmesinde.
2. Klinik Sıfır ETL entegrasyonu oluşturun.
3. İçin Entegrasyon tanımlayıcısı, bir ad girin, örneğin zero-etl-demo.
4. Klinik Sonraki.
5. İçin Kaynak veritabanı, seçmek RDS veritabanlarına göz atın.
6. Kaynak veritabanını seçin zero-etl-source-pg Ve seç Klinik.
7. İçin Adlandırılmış veritabanıAmazon Aurora PostgreSQL'de oluşturulan yeni veritabanının adını girin (zeroetl-db).
8. Klinik Sonraki.
9. içinde Hedef bölümü, Için AWS hesabıseçin Cari hesabı kullan.
10. İçin Amazon Redshift veri ambarı, seçmek Redshift veri ambarlarına göz atın.

tartışırız Farklı bir hesap belirtin seçeneğini bu bölümün ilerleyen kısımlarında bulabilirsiniz.

11. Redshift Sunucusuz hedef ad alanını seçin (zero-etl-target-rs-ns), ve Seç Klinik.
12. Varsa etiketler ve şifreleme ekleyin ve Sonraki.
13. Entegrasyon adını, kaynağını, hedefini ve diğer ayarları doğrulayın ve Sıfır ETL entegrasyonu oluşturun.

Ayrıntıları görüntülemek ve ilerleme durumunu izlemek için Amazon RDS konsolundaki entegrasyonu seçebilirsiniz. Durumu değiştirmek yaklaşık 30 dakika sürer. Oluşturma için Aktifkaynakta zaten mevcut olan veri kümesinin boyutuna bağlı olarak.

Başka bir AWS hesabındaki hedef Redshift veri ambarını belirtmek için geçerli hesaptaki kullanıcıların hedef hesaptaki kaynaklara erişmesine olanak tanıyan bir rol oluşturmanız gerekir. Daha fazla bilgi için bkz. Sahip olduğunuz başka bir AWS hesabındaki bir IAM kullanıcısına erişim sağlama.

Hedef hesapta aşağıdaki izinlere sahip bir rol oluşturun:

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "redshift:DescribeClusters",
            "redshift-serverless:ListNamespaces"
         ],
         "Resource":[
            "*"
         ]
      }
   ]
}

Rol, hedef hesap kimliğini belirten aşağıdaki güven ilkesine sahip olmalıdır. Bunu, başka bir hesapta AWS hesap kimliği olarak güvenilir bir varlıkla bir rol oluşturarak yapabilirsiniz.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "AWS": "arn:aws:iam::{external-account-id}:root"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

Aşağıdaki ekran görüntüsü, bunun IAM konsolunda oluşturulmasını göstermektedir.

Daha sonra sıfır ETL entegrasyonunu oluştururken, Farklı bir hesap belirtinhedef hesap kimliğini ve oluşturduğunuz rolün adını seçin.

Amazon Redshift'teki entegrasyondan bir veritabanı oluşturun

Veritabanınızı oluşturmak için aşağıdaki adımları tamamlayın:

1. Redshift Serverless kontrol panelinde şuraya gidin: zero-etl-target-rs-ns ad.
2. Klinik Verileri sorgula sorgu düzenleyicisi v2'yi açmak için.
   
3. Redshift Sunucusuz veri ambarına şu seçeneği seçerek bağlanın: Bağlantı oluştur.
   
4. Elde edin integration_id itibaren svv_integration sistem tablosu:

   SELECT integration_id FROM svv_integration; -- copy this result, use in the next sql

5. Kullan integration_id Entegrasyondan yeni bir veritabanı oluşturmak için önceki adımdan itibaren. Entegrasyonu oluşturduğunuzda belirttiğiniz küme içindeki adlandırılmış veritabanına bir başvuru da eklemeniz gerekir.
   CREATE DATABASE aurora_pg_zetl FROM INTEGRATION '<result from above>' DATABASE zeroetl_db;

Entegrasyon artık tamamlandı ve kaynağın anlık görüntüsünün tamamı hedefte olduğu gibi yansıtılacak. Devam eden değişiklikler neredeyse gerçek zamanlı olarak senkronize edilecektir.

Gerçek zamanlıya yakın işlem verilerini analiz edin

Artık Amazon Aurora PostgreSQL kaynağından Amazon Redshift hedefine kadar neredeyse gerçek zamanlı verileri analiz etmeye başlayabilirsiniz:

1. Kaynak Aurora PostgreSQL veritabanınıza bağlanın. Bu demoda şunu kullanıyoruz: psql'in Amazon Aurora PostgreSQL'e bağlanmak için:

   psql -h <amazon_aurora_postgres_writer_endpoint> -p 5432 -d zeroetl_db -U postgres

2. Birincil anahtarla örnek bir tablo oluşturun. Kaynaktan hedefe çoğaltılacak tüm tabloların birincil anahtara sahip olduğundan emin olun. Birincil anahtarı olmayan tablolar hedefe kopyalanamaz.

CREATE TABLE NATION  ( 
N_NATIONKEY  INTEGER NOT NULL PRIMARY KEY, 
N_NAME       CHAR(25) NOT NULL,
N_REGIONKEY  INTEGER NOT NULL,
N_COMMENT    VARCHAR(152));

3. Sahte verileri ulus tablosuna ekleyin ve verilerin düzgün şekilde yüklenip yüklenmediğini doğrulayın:

INSERT INTO nation VALUES (1, 'USA', 1 , 'united states of america');
SELECT * FROM nation;

Bu örnek verilerin artık Amazon Redshift'te kopyalanması gerekiyor.

Hedefteki kaynak verileri analiz edin

Redshift Serverless panosunda sorgu düzenleyici v2'yi açın ve veritabanına bağlanın aurora_pg_zetl daha önce oluşturmuştunuz.

Kaynak verilerin Amazon Redshift'e başarıyla kopyalandığını doğrulamak için aşağıdaki sorguyu çalıştırın:

SELECT * FROM aurora_pg_etl.public.nation;

İlk anlık görüntüyü veya devam eden değişiklik veri yakalama (CDC) etkinliğini doğrulamak için aşağıdaki sorguyu da kullanabilirsiniz:

SELECT * FROM sys_integration_activity ORDER BY last_commit_timestamp desc;

İzleme

Amazon Redshift ile Aurora PostgreSQL sıfır ETL entegrasyonunun performansına ve durumuna ilişkin ölçümler elde etmek için çeşitli seçenekler vardır.

Amazon Redshift konsoluna giderseniz şunları seçebilirsiniz: Sıfır ETL entegrasyonları Gezinti bölmesinde. İstediğiniz sıfır ETL entegrasyonunu seçip görüntüleyebilirsiniz Amazon Bulut İzleme Entegrasyonla ilgili ölçümler. Bu ölçümler doğrudan CloudWatch'ta da mevcuttur.

Her entegrasyon için bilgilerin mevcut olduğu iki sekme vardır:

• Entegrasyon metrikleri – Başarıyla çoğaltılan tabloların sayısı ve gecikme ayrıntıları gibi ölçümleri gösterir
  
• Tablo istatistikleri – Amazon Aurora PostgreSQL'den Amazon Redshift'e çoğaltılan her tablonun ayrıntılarını gösterir
  

CloudWatch ölçümlerine ek olarak aşağıdakileri sorgulayabilirsiniz sistem görünümleriEntegrasyonlar hakkında bilgi sağlayan:

Temizlemek

Sıfır ETL entegrasyonunu sildiğinizde işlem verileriniz Aurora veya Amazon Redshift'ten silinmez ancak Aurora, Amazon Redshift'e yeni veriler göndermez.

Sıfır ETL entegrasyonunu silmek için aşağıdaki adımları tamamlayın:

1. Amazon RDS konsolunda, Sıfır ETL entegrasyonları Gezinti bölmesinde.
2. Silmek istediğiniz sıfır ETL entegrasyonunu seçin ve seçin Sil.
   
3. Silme işlemini onaylamak için onaylayın ve seçin Sil.
   

Sonuç

Bu gönderide, Amazon Aurora PostgreSQL'den Amazon Redshift'e sıfır ETL entegrasyonunu nasıl ayarlayabileceğinizi açıkladık. Bu özellik, veri işlem hatlarını koruma çabasını azaltan ve işlemsel ve operasyonel veriler üzerinde neredeyse gerçek zamanlı analizlere olanak tanıyan bir özelliktir.

Sıfır ETL entegrasyonu hakkında daha fazla bilgi edinmek için bkz. Amazon Redshift ile Aurora sıfır ETL entegrasyonlarıyla çalışma ve Sınırlamalar.

Yazarlar Hakkında

Raks Khare Pennsylvania merkezli AWS'de Analitik Uzman Çözüm Mimarıdır. Müşterilerin AWS platformunda uygun ölçekte veri analizi çözümleri tasarlamasına yardımcı olur.

Juan Luis Polo Garzon AWS'de analiz iş yükleri konusunda uzmanlaşmış Yardımcı Uzman Çözüm Mimarıdır. Müşterilerin bulut tabanlı analiz çözümlerini tasarlamalarına, oluşturmalarına ve modernleştirmelerine yardımcı olma deneyimine sahiptir. İş dışında seyahat etmekten, açık havada olmaktan, yürüyüş yapmaktan ve canlı müzik etkinliklerine katılmaktan hoşlanıyor.

Sushmita Barthakur Amazon Web Services'te Kıdemli Çözüm Mimarıdır ve Kurumsal müşterilerin iş yüklerini AWS'de tasarlamalarına destek olur. Veri Analitiği ve Veri Yönetimi alanında güçlü bir geçmişe sahip olup, müşterilerin hem şirket içi hem de bulutta İş Zekası ve Analitik Çözümleri tasarlamasına ve oluşturmasına yardımcı olan geniş bir deneyime sahiptir. Sushmita, Tampa, Florida'da yaşıyor ve seyahat etmekten, kitap okumaktan ve tenis oynamaktan hoşlanıyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/achieve-near-real-time-operational-analytics-using-amazon-aurora-postgresql-zero-etl-integration-with-amazon-redshift/