“Data wa ni aarin ti gbogbo ohun elo, ilana, ati ipinnu iṣowo. Nigbati a ba lo data lati mu awọn iriri alabara pọ si ati wakọ imotuntun, o le ja si idagbasoke iṣowo,”

- Swami Sivasubramanian, VP ti aaye data, Awọn atupale, ati Ẹkọ ẹrọ ni AWS ni Pẹlu ọna odo-ETL, AWS n ṣe iranlọwọ fun awọn akọle lati mọ awọn atupale akoko-gidi-gidi.

Awọn alabara kọja awọn ile-iṣẹ n di awakọ data diẹ sii ati n wa lati mu owo-wiwọle pọ si, dinku idiyele, ati mu awọn iṣẹ iṣowo wọn pọ si nipa imuse awọn atupale akoko gidi nitosi data iṣowo, nitorinaa imudara agility. Da lori awọn iwulo alabara ati awọn esi wọn, AWS n ṣe idoko-owo ati ilọsiwaju ni imurasilẹ si mimu iran odo-ETL wa si igbesi aye ki awọn akọle le dojukọ diẹ sii lori ṣiṣẹda iye lati data, dipo ti ngbaradi data fun itupalẹ.

Wa odo-ETL ṣepọ pẹlu Redshift Amazon dẹrọ iṣipopada data-si-ojuami lati jẹ ki o ṣetan fun awọn atupale, itetisi atọwọda (AI) ati ẹkọ ẹrọ (ML) nipa lilo Amazon Redshift lori awọn petabytes ti data. Laarin iṣẹju-aaya ti data idunadura ti kọ sinu atilẹyin Awọn apoti isura infomesonu AWS, odo-ETL jẹ ki data wa ni Amazon Redshift, yọkuro iwulo lati kọ ati ṣetọju awọn opo gigun ti data eka ti o ṣe awọn iṣẹ jade, yipada, ati fifuye (ETL).

Lati ṣe iranlọwọ fun ọ ni idojukọ lori ṣiṣẹda iye lati data dipo idokowo akoko ati awọn orisun aibikita ni kikọ ati iṣakoso awọn opo gigun ti ETL laarin awọn apoti isura data iṣowo ati awọn ile itaja data, a kede awọn isọpọ odo-ETL mẹrin AWS database pẹlu Amazon Redshift ni AWS tun: Ipilẹṣẹ 2023:

Ninu ifiweranṣẹ yii, a pese itọnisọna ni igbese-nipasẹ-igbesẹ lori bii o ṣe le bẹrẹ pẹlu awọn itupalẹ iṣẹ ṣiṣe akoko gidi ni lilo Amazon Aurora PostgreSQL odo-ETL isọpọ pẹlu Amazon Redshift.

Akopọ ojutu

Lati ṣẹda isọpọ odo-ETL, o pato kan Amazon Aurora PostgreSQL-ibaramu Edition iṣupọ (ibaramu pẹlu PostgreSQL 15.4 ati atilẹyin odo-ETL) bi orisun, ati ile itaja data Redshift bi ibi-afẹde. Iṣọkan naa ṣe atunṣe data lati ibi ipamọ data orisun sinu ibi ipamọ data ibi-afẹde.

O gbọdọ ṣẹda awọn iṣupọ ipese Aurora PostgreSQL DB laarin awọn Amazon RDS Data Awotẹlẹ Ayika ati Redshift kan iṣupọ awotẹlẹ ipese or ẹgbẹ-iṣẹ awotẹlẹ alailowaya olupin, ni US East (Ohio) AWS Ekun. Fun Amazon Redshift, rii daju pe o yan awotẹlẹ_2023 orin lati le lo awọn iṣọpọ odo-ETL.

Aworan ti o tẹle yii ṣe apejuwe faaji ti a ṣe ni ifiweranṣẹ yii.

Awọn atẹle ni awọn igbesẹ ti o nilo lati ṣeto isọpọ odo-ETL fun ojutu yii. Fun pipe awọn itọsọna ibẹrẹ, tọka si Nṣiṣẹ pẹlu Aurora odo-ETL awọn akojọpọ pẹlu Amazon Redshift ati Nṣiṣẹ pẹlu odo-ETL integrations.

Lẹhin Igbesẹ 1, o tun le foju Awọn igbesẹ 2-4 ati taara bẹrẹ ṣiṣẹda isọpọ odo-ETL rẹ lati Igbesẹ 5, ninu eyiti Amazon RDS yoo ṣafihan ifiranṣẹ kan nipa awọn atunto ti o padanu ati pe o le yan Ṣe atunṣe fun mi lati jẹ ki Amazon RDS tunto awọn igbesẹ laifọwọyi.

1. Ṣe atunto orisun Aurora PostgreSQL pẹlu ẹgbẹ paramita iṣupọ DB ti a ṣe adani.
2. Tunto awọn Amazon Redshift Serverless nlo pẹlu eto imulo orisun ti o nilo fun aaye orukọ rẹ.
3. Ṣe imudojuiwọn ẹgbẹ iṣẹ aisi olupin Redshift lati jẹ ki awọn idamọ ọran-kókó ṣiṣẹ.
4. Tunto awọn igbanilaaye ti o nilo.
5. Ṣẹda isọpọ odo-ETL.
6. Ṣẹda data data lati inu iṣọpọ ni Amazon Redshift.
7. Bẹrẹ ṣe itupalẹ data iṣowo akoko gidi ti o sunmọ.

Ṣe atunto orisun Aurora PostgreSQL pẹlu ẹgbẹ paramita iṣupọ DB ti a ṣe adani

Fun awọn iṣupọ Aurora PostgreSQL DB, o gbọdọ ṣẹda ẹgbẹ paramita aṣa laarin awọn Amazon RDS Data Awotẹlẹ Ayika, ni US East (Ohio) Ekun. O le taara wọle si Ayika Awotẹlẹ Amazon RDS.

Lati ṣẹda aaye data Aurora PostgreSQL, pari awọn igbesẹ wọnyi:

1. Lori Amazon RDS console, yan Awọn ẹgbẹ paramita ninu ohun elo lilọ kiri.
2. yan Ṣẹda ẹgbẹ paramita.
3. fun Parameter Ẹgbẹ ebi, yan aurora-postgresql15.
4. fun iru, yan DB Cluster Parameter Group.
5. fun Orukọ ẹgbẹ, tẹ orukọ sii (fun apẹẹrẹ, zero-etl-custom-pg-postgres).
6. yan ṣẹda.

Awọn iṣọpọ odo-ETL Aurora PostgreSQL pẹlu Amazon Redshift nilo awọn iye kan pato fun awọn Awọn paramita iṣupọ Aurora DB, eyi ti o nilo imudara imudara ẹda-ara (aurora.enhanced_logical_replication).

7. Lori Awọn ẹgbẹ paramita oju-iwe, yan ẹgbẹ paramita tuntun ti a ṣẹda.
8. Lori išë akojọ, yan Ṣatunkọ.
9. Ṣeto atẹle Aurora PostgreSQL (ebi aurora-postgresql15) Awọn eto paramita iṣupọ:
   • rds.logical_replication=1
   • aurora.enhanced_logical_replication=1
   • aurora.logical_replication_backup=0
   • aurora.logical_replication_globaldb=0

Muu imudara imudara imudara ẹda-ara (aurora.enhanced_logical_replication) ṣeto laifọwọyi paramita ID REPLICA si FULL, eyiti o tumọ si pe gbogbo awọn iye ọwọn ni a kọ si iwe kikọ iwaju (WAL).

10. yan Fi Iyipada.
11. yan Databases ninu iwe lilọ kiri, lẹhinna yan Ṣẹda ibi ipamọ data.
    
12. fun Iru engine, yan Amazon Aurora.
13. fun Edition, yan Amazon Aurora PostgreSQL-ibaramu Edition.
14. fun Awọn ẹya ti o wa, yan Aurora PostgreSQL (ibaramu pẹlu PostgreSQL 15.4 ati Atilẹyin Zero-ETL).
15. fun awọn awoṣe, yan Production.
16. fun DB iṣupọ idamo, tẹ zero-etl-source-pg.
17. labẹ Awọn Eto Awọn iwe-ẹri, tẹ ọrọigbaniwọle sii fun Ọrọigbaniwọle titunto si tabi lo aṣayan lati ṣe ina ọrọ igbaniwọle laifọwọyi fun ọ.
18. ni awọn Apeere iṣeto ni apakan, yan Awọn kilasi iṣapeye iranti.
19. Yan iwọn apẹẹrẹ to dara (aiyipada jẹ db.r5.2xlarge).
20. labẹ Afikun iṣeto ni, fun Ẹgbẹ paramita iṣupọ DB, yan ẹgbẹ paramita ti o ṣẹda tẹlẹ (zero-etl-custom-pg-postgres).
21. Fi awọn eto aiyipada silẹ fun awọn atunto to ku.
22. yan Ṣẹda ibi ipamọ data.

Ni iṣẹju diẹ, eyi yẹ ki o yi iṣupọ Aurora PostgreSQL soke, pẹlu onkọwe kan ati apẹẹrẹ oluka kan, pẹlu ipo ti o yipada lati ṣiṣẹda si wa. Aurora PostgreSQL iṣupọ ti a ṣẹda tuntun yoo jẹ orisun fun isọpọ odo-ETL.

Igbesẹ ti o tẹle ni lati ṣẹda aaye data ti a npè ni Amazon Aurora PostgreSQL fun iṣọpọ odo-ETL.

Awoṣe orisun orisun PostgreSQL gba ọ laaye lati ṣẹda awọn apoti isura infomesonu pupọ laarin iṣupọ kan. Nitorinaa, lakoko igbesẹ isọdọkan odo-ETL, o nilo lati pato iru data data ti o fẹ lo bi orisun fun iṣọpọ rẹ.

Nigbati o ba ṣeto PostgreSQL, o gba awọn data data boṣewa mẹta lati inu apoti: template0, template1, ati postgres. Nigbakugba ti o ba ṣẹda aaye data tuntun ni PostgreSQL, iwọ n ṣe ipilẹ rẹ gangan si ọkan ninu awọn apoti isura data mẹta wọnyi ninu iṣupọ rẹ. Ibi ipamọ data ti a ṣẹda lakoko ẹda iṣupọ Aurora PostgreSQL da lori awoṣe0. Awọn CREATE DATABASE pipaṣẹ ṣiṣẹ nipa didakọ data data ti o wa tẹlẹ, ati pe ti ko ba ni pato ni pato, nipasẹ aiyipada, o daakọ awoṣe ipilẹ data eto boṣewa1. Fun ibi ipamọ data ti a darukọ fun isọpọ odo-ETL, data data ni a nilo lati ṣẹda nipa lilo template1 kii ṣe template0. Nitorinaa, ti orukọ data data ibẹrẹ ba ṣafikun labẹ Afikun iṣeto ni, ti yoo ṣẹda nipa lilo template0 ati pe ko le ṣee lo fun iṣọpọ odo-ETL.

23. Lati ṣẹda titun kan ti a npè ni database lilo CREATE DATABASE laarin iṣupọ Aurora PostgreSQL tuntun zero-etl-source-pg, akọkọ gba aaye ipari ti apẹẹrẹ onkọwe ti iṣupọ PostgreSQL.
24. Lati ebute tabi lilo AWS CloudShell, SSH sinu apopọ PostgreSQL ati ṣiṣe awọn aṣẹ wọnyi lati fi psql sori ẹrọ ati ṣẹda aaye data tuntun kan zeroetl_db:

    sudo dnf install postgresql15
    psql –version
    psql -h <RDS Write Instance Endpoint> -p 5432 -U postgres
    create database zeroetl_db template template1;

Fifi kun template template1 jẹ iyan, nitori nipa aiyipada, ti ko ba darukọ, CREATE DATABASE yoo lo template1.

O tun le sopọ nipasẹ alabara kan ki o ṣẹda data data. Tọkasi si Sopọ si iṣupọ Aurora PostgreSQL DB kan fun awọn aṣayan lati sopọ si akojọpọ PostgreSQL.

Tunto Redshift Serverless bi opin irin ajo

Lẹhin ti o ṣẹda iṣupọ data orisun Aurora PostgreSQL rẹ, o tunto ile-itaja data ibi-afẹde Redshift kan. Ile-ipamọ data gbọdọ wa ni ibamu pẹlu awọn ibeere wọnyi:

• Ti ṣẹda ni awotẹlẹ (fun awọn orisun Aurora PostgreSQL nikan)
• Nlo iru node RA3 kan (ra3.16xlarge, ra3.4xlarge, tabi ra3.xlplus) pẹlu o kere ju awọn apa meji, tabi Redshift Serverless
• Ti paroko (ti o ba nlo iṣupọ ti a pese)

Fun ifiweranṣẹ yii, a ṣẹda ati tunto ẹgbẹ iṣẹ iṣẹ Redshift Serverless ati aaye orukọ bi ile itaja data ibi-afẹde, ni atẹle awọn igbesẹ wọnyi:

1. Lori Amazon Redshift console, yan Dasibodu ti ko ni olupin ninu ohun elo lilọ kiri.

Nitori isọpọ odo-ETL fun Amazon Aurora PostgreSQL si Amazon Redshift ti ṣe ifilọlẹ ni awotẹlẹ (kii ṣe fun awọn idi iṣelọpọ), o nilo lati ṣẹda ile itaja data ibi-afẹde ni agbegbe awotẹlẹ.

2. yan Ṣẹda akojọpọ iṣẹ awotẹlẹ.

Igbesẹ akọkọ ni lati tunto ẹgbẹ-iṣẹ Redshift Serverless.

3. fun Orukọ ẹgbẹ iṣẹ, tẹ orukọ sii (fun apẹẹrẹ, zero-etl-target-rs-wg).
4. Ni afikun, o le yan agbara, lati ṣe idinwo awọn orisun iṣiro ti ile itaja data. Agbara le jẹ tunto ni awọn afikun ti 8, lati 8-512 RPUs. Fun ifiweranṣẹ yii, ṣeto eyi si 8 Awọn RPUs.
5. yan Itele.

Nigbamii, o nilo lati tunto aaye orukọ ti ile-ipamọ data naa.

6. yan Ṣẹda orukọ titun kan.
7. fun Aye orukọ, tẹ orukọ sii (fun apẹẹrẹ, zero-etl-target-rs-ns).
8. yan Itele.
9. yan Ṣẹda ẹgbẹ iṣẹ.
10. Lẹhin ti ẹgbẹ iṣẹ ati aaye orukọ ti ṣẹda, yan Awọn atunto aaye orukọ ninu iwe lilọ kiri ati ṣi iṣeto orukọ aaye.
11. Lori Awọn oluşewadi imulo taabu, yan Ṣafikun awọn oludari ti a fun ni aṣẹ.

Alakoso ti a fun ni aṣẹ ṣe idanimọ olumulo tabi ipa ti o le ṣẹda awọn iṣọpọ odo-ETL sinu ile itaja data.

12. fun IAM akọkọ ARN tabi ID akọọlẹ AWS, o le tẹ boya ARN ti olumulo AWS tabi ipa, tabi ID ti akọọlẹ AWS ti o fẹ lati fun ni iwọle lati ṣẹda awọn iṣọpọ odo-ETL. (ID iroyin ti wa ni ipamọ bi ARN.)
13. yan fi awọn ayipada.

Lẹhin ti oluṣakoso aṣẹ ti tunto, o nilo lati gba aaye data orisun laaye lati ṣe imudojuiwọn ile-itaja data Redshift rẹ. Nitorinaa, o gbọdọ ṣafikun aaye data orisun bi orisun isọpọ ti a fun ni aṣẹ si aaye orukọ.

14. yan Ṣafikun orisun isọpọ ti a fun ni aṣẹ.
15. fun Orisun ti a fun ni aṣẹ ARN, tẹ ARN ti iṣupọ Aurora PostgreSQL, nitori pe o jẹ orisun ti iṣọpọ odo-ETL.

O le gba ARN ti iṣupọ Aurora PostgreSQL lori Amazon RDS console, awọn iṣeto ni taabu labẹ Amazon Resource Name.

16. yan fi awọn ayipada.

Ṣe imudojuiwọn ẹgbẹ iṣẹ aisi olupin Redshift lati jẹ ki awọn idamọ ọran-kókó ṣiṣẹ

Amazon Aurora PostgreSQL jẹ ifarabalẹ ọran nipasẹ aiyipada, ati ifamọ ọran jẹ alaabo lori gbogbo awọn iṣupọ ipese ati awọn ẹgbẹ iṣẹ ṣiṣe Redshift Serverless. Fun isọpọ lati ṣaṣeyọri, paramita ifamọ ọran naa agbara_case_sensitive_identifier gbọdọ wa ni sise fun awọn data ile ise.

Ni ibere lati yi awọn enable_case_sensitive_identifier paramita ni Redshift Serverless ẹgbẹ iṣẹ, o nilo lati lo Ọlọpọọmídíà Ifilelẹ Aws AWS (AWS CLI), nitori Amazon Redshift console ko ṣe atilẹyin lọwọlọwọ iyipada awọn iye paramita Redshift Serverless. Ṣiṣe aṣẹ atẹle lati ṣe imudojuiwọn paramita naa:

aws redshift-serverless update-workgroup --workgroup-name zero-etl-target-rs-wg --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=true --region us-east-2

Ọna ti o rọrun lati sopọ si AWS CLI ni lati lo CloudShell, eyiti o jẹ ikarahun ti o da lori ẹrọ aṣawakiri ti o pese iraye si laini aṣẹ si awọn orisun AWS ati awọn irinṣẹ taara lati ẹrọ aṣawakiri kan. Sikirinifoto atẹle n ṣe apejuwe bi o ṣe le ṣiṣe aṣẹ ni CloudShell.

Ṣe atunto awọn igbanilaaye ti o nilo

Lati ṣẹda isọpọ odo-ETL, olumulo tabi ipa rẹ gbọdọ ni asopọ idanimo-orisun imulo pẹlu awọn ti o yẹ Idanimọ AWS ati Isakoso Wiwọle (IAM) awọn igbanilaaye. Oniwun akọọlẹ AWS le tunto awọn igbanilaaye ti o nilo fun olumulo tabi awọn ipa ti o le ṣẹda awọn akojọpọ odo-ETL. Ilana apẹẹrẹ naa ngbanilaaye olori ile-iwe ti o somọ lati ṣe awọn iṣe wọnyi:

• Ṣẹda awọn akojọpọ odo-ETL fun iṣupọ Aurora DB orisun.
• Wo ki o si pa gbogbo awọn akojọpọ odo-ETL rẹ.
• Ṣẹda awọn iṣọpọ ti nwọle sinu ibi ipamọ data ibi-afẹde. Amazon Redshift ni ọna kika ARN ti o yatọ fun ipese ati olupin:
• Iṣupọ ti a pese - arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid
• Serverless - arn:aws:redshift-serverless:{region}:{account-id}:namespace/namespace-uuid

Igbanilaaye yii ko nilo ti akọọlẹ kanna ba ni ile-ipamọ data Redshift ati akọọlẹ yii jẹ akọle ti a fun ni aṣẹ fun ile-itaja data yẹn.

Pari awọn igbesẹ wọnyi lati tunto awọn igbanilaaye:

1. Lori console IAM, yan imulo ninu ohun elo lilọ kiri.
2. yan Ṣẹda eto imulo.
3. Ṣẹda eto imulo tuntun ti a pe ni awọn iṣọpọ rds nipa lilo JSON atẹle. Fun awotẹlẹ Amazon Aurora PostgreSQL, gbogbo awọn ARNs ati awọn iṣe laarin awọn Amazon RDS Data Awotẹlẹ Ayika ni -awotẹlẹ ti a fikun si aaye orukọ iṣẹ naa. Nitorinaa, ninu eto imulo atẹle, dipo rds, o nilo lati lo rds-preview. Fun apere, rds-preview:CreateIntegration.

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "rds:CreateIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:cluster:source-cluster",
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DescribeIntegration"
        ],
        "Resource": ["*"]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DeleteIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "redshift:CreateInboundIntegration"
        ],
        "Resource": [
            "arn:aws:redshift:{region}:{account-id}:cluster:namespace-uuid"
        ]
    }]
}

4. So eto imulo ti o ṣẹda si olumulo IAM rẹ tabi awọn igbanilaaye ipa.

Ṣẹda isọpọ odo-ETL

Lati ṣẹda isọpọ odo-ETL, pari awọn igbesẹ wọnyi:

1. Lori Amazon RDS console, yan Odo-ETL awọn akojọpọ ninu ohun elo lilọ kiri.
2. yan Ṣẹda isomọ odo-ETL.
3. fun Idanimọ Integration, Tẹ orukọ sii, fun apẹẹrẹ zero-etl-demo.
4. yan Itele.
5. fun database orisun, yan Ṣawakiri awọn apoti isura infomesonu RDS.
6. Yan aaye data orisun zero-etl-source-pg ati yan yan.
7. fun Ti a npè ni database, tẹ orukọ aaye data tuntun ti a ṣẹda ninu Amazon Aurora PostgreSQL (zeroetl-db).
8. yan Itele.
9. ni awọn Abala afojusun, fun AWS iroyin, yan Lo akọọlẹ lọwọlọwọ.
10. fun Amazon Redshift data ile ise, yan Ṣawakiri awọn ile itaja data Redshift.

A jiroro awọn Pato iroyin ti o yatọ aṣayan nigbamii ni yi apakan.

11. Yan aaye orukọ opin opin olupin Redshift (zero-etl-target-rs-ns), ki o si yan yan.
12. Ṣafikun awọn afi ati fifi ẹnọ kọ nkan, ti o ba wulo, ko si yan Itele.
13. Daju orukọ iṣọpọ, orisun, ibi-afẹde, ati awọn eto miiran, ki o yan Ṣẹda isomọ odo-ETL.

O le yan isọpọ lori Amazon RDS console lati wo awọn alaye ati ṣe atẹle ilọsiwaju rẹ. Yoo gba to iṣẹju 30 lati yi ipo pada lati ṣiṣẹda si ti nṣiṣe lọwọ, da lori iwọn ti datasetto ti wa tẹlẹ ninu orisun.

Lati pato ibi ipamọ data Redshift ibi-afẹde kan ti o wa ninu akọọlẹ AWS miiran, o gbọdọ ṣẹda ipa kan ti o fun laaye awọn olumulo ninu akọọlẹ lọwọlọwọ lati wọle si awọn orisun ninu akọọlẹ ibi-afẹde. Fun alaye diẹ ẹ sii, tọka si Pese iraye si olumulo IAM ni akọọlẹ AWS miiran ti o ni.

Ṣẹda ipa kan ninu akọọlẹ ibi-afẹde pẹlu awọn igbanilaaye atẹle:

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "redshift:DescribeClusters",
            "redshift-serverless:ListNamespaces"
         ],
         "Resource":[
            "*"
         ]
      }
   ]
}

Ipa naa gbọdọ ni eto imulo igbẹkẹle atẹle, eyiti o ṣalaye ID akọọlẹ ibi-afẹde naa. O le ṣe eyi nipa ṣiṣẹda ipa kan pẹlu nkan ti o gbẹkẹle bi ID akọọlẹ AWS ni akọọlẹ miiran.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "AWS": "arn:aws:iam::{external-account-id}:root"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

Sikirinifoto atẹle yii ṣapejuwe ṣiṣẹda eyi lori console IAM.

Lẹhinna, lakoko ṣiṣẹda isọpọ odo-ETL, fun Pato iroyin ti o yatọ, yan ID akọọlẹ ibi-ajo ati orukọ ipa ti o ṣẹda.

Ṣẹda data data lati inu iṣọpọ ni Amazon Redshift

Lati ṣẹda data data rẹ, pari awọn igbesẹ wọnyi:

1. Lori Redshift Serverless Dasibodu, lilö kiri si awọn zero-etl-target-rs-ns aaye orukọ.
2. yan Data ibeere lati ṣii olootu ibeere v2.
   
3. Sopọ si Redshift Serverless data ile ise nipa yiyan Ṣẹda asopọ.
   
4. Gba awọn integration_id lati awọn svv_integration tabili eto:

   SELECT integration_id FROM svv_integration; -- copy this result, use in the next sql

5. lo awọn integration_id lati išaaju igbese lati ṣẹda titun kan database lati Integration. O tun gbọdọ ni itọka si aaye data ti a darukọ laarin iṣupọ ti o ṣalaye nigbati o ṣẹda iṣọpọ naa.
   CREATE DATABASE aurora_pg_zetl FROM INTEGRATION '<result from above>' DATABASE zeroetl_db;

Ijọpọ naa ti pari ni bayi, ati pe gbogbo aworan ti orisun yoo ṣe afihan bi o ti wa ni opin irin ajo naa. Awọn iyipada ti nlọ lọwọ yoo muṣiṣẹpọ ni akoko gidi ti o sunmọ.

Ṣe itupalẹ data iṣowo akoko gidi ti o sunmọ

Bayi o le bẹrẹ itupalẹ data akoko gidi ti o sunmọ lati orisun Amazon Aurora PostgreSQL si ibi-afẹde Redshift Amazon:

1. Sopọ si orisun data Aurora PostgreSQL rẹ. Ninu demo yii, a lo psql lati sopọ si Amazon Aurora PostgreSQL:

   psql -h <amazon_aurora_postgres_writer_endpoint> -p 5432 -d zeroetl_db -U postgres

2. Ṣẹda tabili apẹẹrẹ pẹlu bọtini akọkọ kan. Rii daju pe gbogbo awọn tabili lati tun ṣe lati orisun si ibi-afẹde ni bọtini akọkọ kan. Awọn tabili laisi bọtini akọkọ ko le ṣe atunṣe si ibi-afẹde.

CREATE TABLE NATION  ( 
N_NATIONKEY  INTEGER NOT NULL PRIMARY KEY, 
N_NAME       CHAR(25) NOT NULL,
N_REGIONKEY  INTEGER NOT NULL,
N_COMMENT    VARCHAR(152));

3. Fi data idinwon sinu tabili orilẹ-ede ki o rii daju boya data ti kojọpọ daradara:

INSERT INTO nation VALUES (1, 'USA', 1 , 'united states of america');
SELECT * FROM nation;

Awọn data ayẹwo yii yẹ ki o tun ṣe ni Amazon Redshift.

Ṣe itupalẹ data orisun ni ibi ti o nlo

Lori dasibodu Redshift Serverless, ṣi olootu ibeere v2 ki o sopọ si ibi ipamọ data aurora_pg_zetl o ṣẹda tẹlẹ.

Ṣiṣe ibeere ti o tẹle lati fọwọsi isọdọtun aṣeyọri ti data orisun sinu Amazon Redshift:

SELECT * FROM aurora_pg_etl.public.nation;

O tun le lo ibeere atẹle lati jẹri aworan iwoye akọkọ tabi iṣẹ ṣiṣe data iyipada ti nlọ lọwọ (CDC):

SELECT * FROM sys_integration_activity ORDER BY last_commit_timestamp desc;

monitoring

Awọn aṣayan pupọ lo wa lati gba awọn metiriki lori iṣẹ ati ipo ti iṣọpọ odo-ETL Aurora PostgreSQL pẹlu Amazon Redshift.

Ti o ba lọ kiri si Amazon Redshift console, o le yan Odo-ETL awọn akojọpọ ninu iwe lilọ kiri. O le yan isọpọ odo-ETL ti o fẹ ati ifihan Amazon CloudWatch metiriki jẹmọ si awọn Integration. Awọn metiriki wọnyi tun wa taara ni CloudWatch.

Fun iṣọpọ kọọkan, awọn taabu meji wa pẹlu alaye ti o wa:

• Awọn metiriki Integration - Ṣe afihan awọn metiriki gẹgẹbi nọmba ti awọn tabili ni aṣeyọri ti a ṣe atunṣe ati awọn alaye aisun
  
• Table statistiki - Ṣe afihan awọn alaye nipa tabili kọọkan tun ṣe lati Amazon Aurora PostgreSQL si Amazon Redshift
  

Ni afikun si awọn metiriki CloudWatch, o le beere awọn atẹle eto wiwo, eyi ti o pese alaye nipa awọn iṣọpọ:

Nu kuro

Nigbati o ba paarẹ iṣọpọ odo-ETL, data iṣowo rẹ ko ni paarẹ lati Aurora tabi Amazon Redshift, ṣugbọn Aurora ko firanṣẹ data tuntun si Amazon Redshift.

Lati pa isọpọ odo-ETL rẹ, pari awọn igbesẹ wọnyi:

1. Lori Amazon RDS console, yan Odo-ETL awọn akojọpọ ninu ohun elo lilọ kiri.
2. Yan isọpọ odo-ETL ti o fẹ paarẹ ati yan pa.
   
3. Lati jẹrisi piparẹ, tẹ jẹrisi ko si yan pa.
   

ipari

Ninu ifiweranṣẹ yii, a ṣe alaye bi o ṣe le ṣeto isọdọkan odo-ETL lati Amazon Aurora PostgreSQL si Amazon Redshift, ẹya ti o dinku igbiyanju ti mimu awọn pipeline data ati ki o jẹ ki awọn atupale isunmọ akoko gidi lori iṣowo ati data iṣiṣẹ.

Lati kọ ẹkọ diẹ sii nipa isọpọ odo-ETL, tọka si Nṣiṣẹ pẹlu Aurora odo-ETL awọn akojọpọ pẹlu Amazon Redshift ati idiwọn.

Nipa awọn onkọwe

Raks Khare jẹ Onitumọ Awọn Solusan Onimọran Itupalẹ ni AWS ti o da lati Pennsylvania. O ṣe iranlọwọ fun awọn onibara ayaworan awọn ipinnu itupalẹ data ni iwọn lori pẹpẹ AWS.

Juan Luis Polo Garzon jẹ Onitumọ Awọn Solusan Alamọja Alamọja ni AWS, amọja ni awọn ẹru iṣẹ ṣiṣe atupale. O ni iriri ti o ṣe iranlọwọ fun awọn alabara ṣe apẹrẹ, kọ ati ṣe imudojuiwọn awọn solusan atupale orisun awọsanma wọn. Ni ita iṣẹ, o gbadun irin-ajo, ita gbangba ati irin-ajo, ati wiwa si awọn iṣẹlẹ orin laaye.

Sushmita Barthakur jẹ Onitumọ Awọn Solusan Agba ni Awọn Iṣẹ Oju opo wẹẹbu Amazon, atilẹyin awọn alabara ile-iṣẹ ṣe ayaworan awọn iṣẹ ṣiṣe wọn lori AWS. Pẹlu ipilẹ to lagbara ni Awọn atupale Data ati Isakoso data, o ni iriri lọpọlọpọ ti n ṣe iranlọwọ fun ayaworan awọn alabara ati kọ Imọye Iṣowo ati Awọn solusan Itupalẹ, mejeeji lori agbegbe ati awọsanma. Sushmita wa ni orisun lati Tampa, FL ati gbadun irin-ajo, kika ati tẹnisi ṣiṣere.

• SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
• PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
• PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
• PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
• PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
• Orisun: https://aws.amazon.com/blogs/big-data/achieve-near-real-time-operational-analytics-using-amazon-aurora-postgresql-zero-etl-integration-with-amazon-redshift/