”Data on jokaisen hakemuksen, prosessin ja liiketoimintapäätöksen keskiössä. Kun dataa käytetään asiakaskokemusten parantamiseen ja innovaatioiden edistämiseen, se voi johtaa liiketoiminnan kasvuun.

- Swami Sivasubramanian, AWS:n tietokanta-, analytiikka- ja koneoppimisen johtaja Nolla-ETL-lähestymistavan avulla AWS auttaa rakentajia toteuttamaan lähes reaaliaikaista analytiikkaa.

Asiakkaat eri toimialoilla ovat yhä enemmän tietovetoisia ja haluavat lisätä tuloja, alentaa kustannuksia ja optimoida liiketoimintaansa ottamalla käyttöön lähes reaaliaikaista analytiikkaa tapahtumatietoihin, mikä lisää ketteryyttä. Asiakkaiden tarpeiden ja heidän palautteensa perusteella AWS investoi ja etenee tasaisesti kohti nolla-ETL-visiomme toteuttamista, jotta rakentajat voivat keskittyä enemmän datan arvon luomiseen sen sijaan, että valmistelevat dataa analysoitavaksi.

Meidän nolla-ETL integraatio Amazonin punainen siirto helpottaa pisteestä pisteeseen tiedonsiirtoa saadakseen sen valmiiksi analytiikkaa, tekoälyä (AI) ja koneoppimista (ML) varten käyttämällä Amazon Redshiftiä petabtavuilla dataa. Muutamassa sekunnissa tapahtumatietojen kirjoittamisesta tuettu AWS-tietokannat, zero-ETL asettaa tiedot saumattomasti saataville Amazon Redshiftissä, mikä poistaa tarpeen rakentaa ja ylläpitää monimutkaisia ​​dataputkia, jotka suorittavat ETL-toimintoja.

Auttaaksemme sinua keskittymään arvon luomiseen tiedoista sen sijaan, että investoisit eriyttämätöntä aikaa ja resursseja tapahtumatietokantojen ja tietovarastojen välisten ETL-putkien rakentamiseen ja hallintaan. ilmoitti neljästä AWS-tietokannan nolla-ETL-integraatiosta Amazon Redshiftin kanssa AWS re:Invent 2023 -tapahtumassa:

Tässä viestissä annamme vaiheittaiset ohjeet kuinka pääset alkuun lähes reaaliaikaisen toiminnan analytiikan avulla Amazon Aurora PostgreSQL zero-ETL -integraatio Amazon Redshiftin kanssa.

Ratkaisun yleiskatsaus

Voit luoda nolla-ETL-integraation määrittämällä Amazon Aurora PostgreSQL-yhteensopiva versio klusteri (yhteensopiva PostgreSQL 15.4:n ja nolla-ETL-tuen kanssa) lähteenä ja Redshift-tietovaraston kohteena. Integrointi replikoi tiedot lähdetietokannasta kohdetietovarastoon.

Sinun on luotava Aurora PostgreSQL DB:n varustetut klusterit sisällä Amazon RDS -tietokannan esikatseluympäristö ja punasiirtymä esikatseluklusteri or palvelimeton esikatselutyöryhmä, USA:n itäisessä (Ohio) AWS-alueella. Varmista Amazon Redshiftissä, että valitset preview_2023-raidan, jotta voit käyttää nolla-ETL-integraatioita.

Seuraava kaavio havainnollistaa tässä viestissä toteutettua arkkitehtuuria.

Seuraavat ovat vaiheet, jotka tarvitaan tämän ratkaisun nolla-ETL-integraation määrittämiseen. Katso täydelliset aloitusoppaat kohdasta Työskentely Aurora zero-ETL -integraatioiden kanssa Amazon Redshiftin kanssa ja Työskentely nolla-ETL-integraatioiden kanssa.

Vaiheen 1 jälkeen voit myös ohittaa vaiheet 2–4 ja aloittaa nolla-ETL-integraation luomisen suoraan vaiheesta 5, jolloin Amazon RDS näyttää viestin puuttuvista määrityksistä ja voit valita Korjaa se minulle antaa Amazon RDS:n määrittää vaiheet automaattisesti.

1. Määritä Aurora PostgreSQL -lähde mukautetulla DB-klusterin parametriryhmällä.
2. Määritä Amazon Redshift Serverless kohde nimiavaruuteensa vaaditulla resurssikäytännöllä.
3. Päivitä Redshift Serverless -työryhmä ottaaksesi kirjainkoolla huomioon otettavat tunnisteet käyttöön.
4. Määritä tarvittavat käyttöoikeudet.
5. Luo nolla-ETL-integraatio.
6. Luo tietokanta Amazon Redshiftin integroinnista.
7. Aloita lähes reaaliaikaisten tapahtumatietojen analysointi.

Määritä Aurora PostgreSQL -lähde mukautetulla DB-klusterin parametriryhmällä

Aurora PostgreSQL DB -klustereita varten sinun on luotava mukautettu parametriryhmä Amazon RDS -tietokannan esikatseluympäristö, USA:n itäisellä (Ohio) alueella. Sinä pystyt pääset suoraan Amazon RDS -esikatseluympäristöön.

Voit luoda Aurora PostgreSQL -tietokannan suorittamalla seuraavat vaiheet:

1. Valitse Amazon RDS -konsolissa Parametriryhmät navigointipaneelissa.
2. Valita Luo parametriryhmä.
3. varten Parametriryhmäperhe, valitse aurora-postgresql15.
4. varten Tyyppi, valitse DB Cluster Parameter Group.
5. varten Ryhmän nimi, kirjoita nimi (esimerkiksi zero-etl-custom-pg-postgres).
6. Valita luoda.

Aurora PostgreSQL zero-ETL -integraatiot Amazon Redshiftin kanssa edellyttävät tiettyjä arvoja Aurora DB -klusterin parametrit, joka vaatii tehostetun loogisen replikoinnin (aurora.enhanced_logical_replication).

7. On Parametriryhmät -sivulla, valitse juuri luotu parametriryhmä.
8. On Toiminnot valikosta, valitse muokata.
9. Aseta seuraava Aurora PostgreSQL (aurora-postgresql15 perhe) klusterin parametriasetukset:
   • rds.logical_replication=1
   • aurora.enhanced_logical_replication=1
   • aurora.logical_replication_backup=0
   • aurora.logical_replication_globaldb=0

Parannetun loogisen replikoinnin (aurora.enhanced_logical_replication) ottaminen käyttöön asettaa REPLICA IDENTITY -parametrin automaattisesti arvoon FULL, mikä tarkoittaa, että kaikki sarakkeiden arvot kirjoitetaan eteenpäinkirjoituslokiin (WAL).

10. Valita Tallenna muutokset.
11. Valita Tietokannat navigointiruudussa ja valitse sitten Luo tietokanta.
    
12. varten Moottorityyppivalitse Amazon Aurora.
13. varten Painosvalitse Amazon Aurora PostgreSQL-yhteensopiva versio.
14. varten Saatavilla olevat versiot, valitse Aurora PostgreSQL (yhteensopiva PostgreSQL 15.4:n ja Zero-ETL-tuen kanssa).
15. varten Mallitvalitse tuotanto.
16. varten DB-klusterin tunniste, tulla sisään zero-etl-source-pg.
17. Alle Tunnistetietojen asetukset, anna salasana Pääsalasana tai käytä vaihtoehtoa luodaksesi salasana automaattisesti sinulle.
18. In Ilmentymän määritysosiovalitse Muistioptimoidut luokat.
19. Valitse sopiva esiintymän koko (oletus on db.r5.2xlarge).
20. Alle LisäkokoonpanoVarten DB-klusterin parametriryhmä, valitse aiemmin luomasi parametriryhmä (zero-etl-custom-pg-postgres).
21. Jätä oletusasetukset muille kokoonpanoille.
22. Valita Luo tietokanta.

Muutamassa minuutissa tämän pitäisi muodostaa Aurora PostgreSQL -klusteri, jossa on yksi kirjoittaja ja yksi lukija-esiintymä, ja tila muuttuu Luominen että Saatavissa. Äskettäin luotu Aurora PostgreSQL -klusteri on nolla-ETL-integraation lähde.

Seuraava askel on luoda nimetty tietokanta Amazon Aurora PostgreSQL:ssä nolla-ETL-integraatiota varten.

PostgreSQL-resurssimallin avulla voit luoda useita tietokantoja klusterin sisällä. Siksi nolla-ETL-integraation luontivaiheessa sinun on määritettävä, mitä tietokantaa haluat käyttää integroinnin lähteenä.

Kun määrität PostgreSQL:n, saat käyttöösi kolme vakiotietokantaa: template0, template1 ja postgres. Aina kun luot uuden tietokannan PostgreSQL:ssä, perustat sen itse asiassa yhteen näistä kolmesta klusterin tietokannasta. Aurora PostgreSQL -klusterin luomisen yhteydessä luotu tietokanta perustuu template0:aan. The CREATE DATABASE komento toimii kopioimalla olemassa olevan tietokannan, ja jos sitä ei ole erikseen määritetty, se kopioi oletusarvoisesti vakiojärjestelmän tietokantamallin1. Nimetyn tietokannan nolla-ETL-integrointia varten tietokanta on luotava käyttämällä mallia1 eikä mallia0. Siksi, jos alkuperäinen tietokannan nimi lisätään alle Lisäkokoonpano, joka luodaan käyttämällä template0:a ja jota ei voida käyttää nolla-ETL-integraatioon.

23. Voit luoda uuden nimetyn tietokannan käyttämällä CREATE DATABASE uudessa Aurora PostgreSQL -klusterissa zero-etl-source-pg, hanki ensin PostgreSQL-klusterin kirjoittajan ilmentymän päätepiste.
24. Päätteestä tai käyttämällä AWS CloudShell, SSH PostgreSQL-klusteriin ja suorita seuraavat komennot asentaaksesi psql ja luodaksesi uuden tietokannan zeroetl_db:

    sudo dnf install postgresql15
    psql –version
    psql -h <RDS Write Instance Endpoint> -p 5432 -U postgres
    create database zeroetl_db template template1;

Lisääminen template template1 on valinnainen, koska oletuksena, jos sitä ei mainita, CREATE DATABASE käyttää template1.

Voit myös muodostaa yhteyden asiakkaan kautta ja luoda tietokannan. Viitata Yhdistä Aurora PostgreSQL DB -klusteriin vaihtoehtoja muodostaa yhteys PostgreSQL-klusteriin.

Määritä Redshift Serverless kohteeksi

Kun olet luonut Aurora PostgreSQL-lähdetietokantaklusterin, määrität Redshift-kohdetietovaraston. Tietovaraston tulee täyttää seuraavat vaatimukset:

• Luotu esikatselussa (vain Aurora PostgreSQL-lähteille)
• Käyttää RA3-solmutyyppiä (ra3.16xlarge, ra3.4xlarge tai ra3.xlplus), jossa on vähintään kaksi solmua, tai Redshift Serverless
• Salattu (jos käytössä on käytössä oleva klusteri)

Tätä viestiä varten luomme ja määritämme Redshift Serverless -työryhmän ja nimitilan kohdetietovarastoksi seuraavasti:

1. Valitse Amazon Redshift -konsolissa Palvelimeton kojelauta navigointipaneelissa.

Koska Amazon Aurora PostgreSQL:n ja Amazon Redshiftin nolla-ETL-integraatio on käynnistetty esikatselussa (ei tuotantotarkoituksiin), sinun on luotava kohdetietovarasto esikatseluympäristössä.

2. Valita Luo esikatselutyöryhmä.

Ensimmäinen vaihe on Redshift Serverless -työryhmän määrittäminen.

3. varten Työryhmän nimi, kirjoita nimi (esimerkiksi zero-etl-target-rs-wg).
4. Lisäksi voit valita kapasiteetin rajoittaaksesi tietovaraston laskentaresursseja. Kapasiteetti voidaan konfiguroida 8 portain välillä 8–512 RPU:ta. Aseta tälle viestille tämä 8 RPU:t.
5. Valita seuraava.

Seuraavaksi sinun on määritettävä tietovaraston nimiavaruus.

6. valita Luo uusi nimiavaruus.
7. varten nimiavaruus, kirjoita nimi (esimerkiksi zero-etl-target-rs-ns).
8. Valita seuraava.
9. Valita Luo työryhmä.
10. Kun työryhmä ja nimitila on luotu, valitse Nimitilan määritykset navigointiruudussa ja avaa nimitilan määritykset.
11. On Resurssipolitiikka välilehti, valitse Lisää valtuutetut päämiehet.

Valtuutettu päämies tunnistaa käyttäjän tai roolin, joka voi luoda nolla-ETL-integraatioita tietovarastoon.

12. varten IAM-pääasiallisen ARN- tai AWS-tilin tunnus, voit antaa joko AWS-käyttäjän tai -roolin ARN:n tai sen AWS-tilin tunnuksen, jolle haluat myöntää käyttöoikeuden nolla-ETL-integraatioiden luomista varten. (Tilin tunnus tallennetaan ARN-tunnuksena.)
13. Valita Tallenna muutokset.

Kun valtuutettu päämies on määritetty, sinun on sallittava lähdetietokannan päivittää Redshift-tietovarasto. Siksi sinun on lisättävä lähdetietokanta valtuutettuna integrointilähteenä nimiavaruuteen.

14. Valita Lisää valtuutettu integrointilähde.
15. varten Valtuutettu lähde ARN, kirjoita Aurora PostgreSQL -klusterin ARN, koska se on nolla-ETL-integraation lähde.

Voit hankkia Aurora PostgreSQL -klusterin ARN:n Amazon RDS -konsolista Konfigurointi välilehdessä Amazonin resurssin nimi.

16. Valita Tallenna muutokset.

Päivitä Redshift Serverless -työryhmä ottaaksesi kirjainkoolla huomioon otettavat tunnisteet käyttöön

Amazon Aurora PostgreSQL on oletuksena isojen ja pienten kirjainten välinen erotus, ja kirjainerottelu on poistettu käytöstä kaikissa valmistetuissa klustereissa ja Redshift Serverless -työryhmissä. Jotta integrointi onnistuisi, kirjainkoon herkkyysparametri enable_case_sensitive_identifier on otettava käyttöön tietovarastossa.

Jotta voit muokata enable_case_sensitive_identifier -parametria Redshift Serverless -työryhmässä, sinun on käytettävä AWS-komentoriviliitäntä (AWS CLI), koska Amazon Redshift -konsoli ei tällä hetkellä tue Redshift Serverless -parametriarvojen muokkaamista. Päivitä parametri suorittamalla seuraava komento:

aws redshift-serverless update-workgroup --workgroup-name zero-etl-target-rs-wg --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=true --region us-east-2

Yksinkertainen tapa muodostaa yhteys AWS-CLI:hen on käyttää CloudShellia, joka on selainpohjainen kuori, joka tarjoaa komentorivin pääsyn AWS-resursseihin ja -työkaluihin suoraan selaimesta. Seuraava kuvakaappaus havainnollistaa, kuinka komento suoritetaan CloudShellissä.

Määritä tarvittavat käyttöoikeudet

Nolla-ETL-integraation luominen edellyttää, että käyttäjälläsi tai roolillasi on liite identiteettiin perustuva politiikka sopivan kanssa AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) käyttöoikeudet. AWS-tilin omistaja voi määritä tarvittavat käyttöoikeudet käyttäjille tai rooleille, jotka voivat luoda nolla-ETL-integraatioita. Esimerkkikäytännön avulla siihen liittyvä päämies voi suorittaa seuraavat toiminnot:

• Luo nolla-ETL-integraatioita lähde Aurora DB -klusteriin.
• Tarkastele ja poista kaikkia nolla-ETL-integraatioita.
• Luo saapuvia integraatioita kohdetietovarastoon. Amazon Redshiftillä on erilainen ARN-muoto varustetuille ja palvelimettomille:
• Toimitettu klusteri - arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid
• serverless - arn:aws:redshift-serverless:{region}:{account-id}:namespace/namespace-uuid

Tätä lupaa ei tarvita, jos sama tili omistaa Redshift-tietovaraston ja tämä tili on kyseisen tietovaraston valtuutettu päämies.

Määritä käyttöoikeudet suorittamalla seuraavat vaiheet:

1. Valitse IAM-konsolista säännöt navigointipaneelissa.
2. Valita Luo käytäntö.
3. Luo uusi käytäntö nimeltä rds-integrations käyttämällä seuraavaa JSON-tiedostoa. Amazon Aurora PostgreSQL -esikatselussa kaikki ARN:t ja toiminnot Amazon RDS -tietokannan esikatseluympäristö on -preview liitetty palvelun nimiavaruuteen. Siksi seuraavassa käytännössä sinun on käytettävä rds:n sijaan rds-preview. Esimerkiksi, rds-preview:CreateIntegration.

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "rds:CreateIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:cluster:source-cluster",
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DescribeIntegration"
        ],
        "Resource": ["*"]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DeleteIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "redshift:CreateInboundIntegration"
        ],
        "Resource": [
            "arn:aws:redshift:{region}:{account-id}:cluster:namespace-uuid"
        ]
    }]
}

4. Liitä luomasi käytäntö IAM-käyttäjän tai roolin käyttöoikeuksiin.

Luo nolla-ETL-integraatio

Luo nolla-ETL-integraatio suorittamalla seuraavat vaiheet:

1. Valitse Amazon RDS -konsolissa Nolla-ETL-integraatiot navigointipaneelissa.
2. Valita Luo nolla-ETL-integraatio.
3. varten Integrointitunniste, anna esimerkiksi nimi zero-etl-demo.
4. Valita seuraava.
5. varten Lähdetietokanta, valitse Selaa RDS-tietokantoja.
6. Valitse lähdetietokanta zero-etl-source-pg Ja valitse Valita.
7. varten Nimetty tietokanta, kirjoita Amazon Aurora PostgreSQL:ssä luodun uuden tietokannan nimi (zeroetl-db).
8. Valita seuraava.
9. In KohdeosioVarten AWS-tilivalitse Käytä nykyistä tiliä.
10. varten Amazon Redshift -tietovarasto, valitse Selaa Redshift-tietovarastoja.

Keskustelemme Määritä toinen tili vaihtoehto myöhemmin tässä osiossa.

11. Valitse Redshift Serverless -kohteen nimiavaruus (zero-etl-target-rs-ns) ja valitse Valita.
12. Lisää tunnisteet ja salaus tarvittaessa ja valitse Seuraava.
13. Tarkista integroinnin nimi, lähde, kohde ja muut asetukset ja valitse Luo nolla-ETL-integraatio.

Voit valita integroinnin Amazon RDS -konsolissa nähdäksesi yksityiskohdat ja seurataksesi sen edistymistä. Tilan vaihtaminen kestää noin 30 minuuttia Luominen että Aktiiviset, riippuen lähteessä jo saatavilla olevan tietojoukon koosta.

Jos haluat määrittää Redshift-kohdetietovaraston, joka on toisella AWS-tilillä, sinun on luotava rooli, jonka avulla nykyisen tilin käyttäjät voivat käyttää kohdetilin resursseja. Lisätietoja on kohdassa Käyttöoikeuden tarjoaminen IAM-käyttäjälle toisella omistamasi AWS-tilillä.

Luo kohdetilille rooli seuraavilla käyttöoikeuksilla:

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "redshift:DescribeClusters",
            "redshift-serverless:ListNamespaces"
         ],
         "Resource":[
            "*"
         ]
      }
   ]
}

Roolilla on oltava seuraava luottamuskäytäntö, joka määrittää kohdetilin tunnuksen. Voit tehdä tämän luomalla roolin luotettavalle taholle AWS-tilin tunnuksena toiselle tilille.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "AWS": "arn:aws:iam::{external-account-id}:root"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

Seuraava kuvakaappaus havainnollistaa tämän luomista IAM-konsolissa.

Sitten, kun luot nolla-ETL-integraatiota, varten Määritä toinen tili, valitse kohdetilin tunnus ja luomasi roolin nimi.

Luo tietokanta Amazon Redshiftin integroinnista

Luo tietokanta suorittamalla seuraavat vaiheet:

1. Siirry Redshift Serverless -hallintapaneelissa kohtaan zero-etl-target-rs-ns nimitila.
2. Valita Kysely tiedot avataksesi kyselyeditorin v2.
   
3. Yhdistä Redshift Serverless -tietovarastoon valitsemalla Luo yhteys.
   
4. Hanki integration_id mistä svv_integration järjestelmätaulukko:

   SELECT integration_id FROM svv_integration; -- copy this result, use in the next sql

5. Käytä integration_id edellisestä vaiheesta luodaksesi uuden tietokannan integroinnista. Sinun on myös sisällytettävä viittaus nimettyyn tietokantaan klusterin sisällä, jonka määritit integraation luomisen yhteydessä.
   CREATE DATABASE aurora_pg_zetl FROM INTEGRATION '<result from above>' DATABASE zeroetl_db;

Integrointi on nyt valmis, ja koko tilannekuva lähteestä näkyy sellaisena kuin se on kohteessa. Meneillään olevat muutokset synkronoidaan lähes reaaliajassa.

Analysoi lähes reaaliaikaisia ​​tapahtumatietoja

Nyt voit aloittaa lähes reaaliaikaisten tietojen analysoinnin Amazon Aurora PostgreSQL -lähteestä Amazon Redshift -kohteeseen:

1. Yhdistä lähde Aurora PostgreSQL -tietokantaan. Tässä demossa käytämme psql yhteyden muodostaminen Amazon Aurora PostgreSQL:ään:

   psql -h <amazon_aurora_postgres_writer_endpoint> -p 5432 -d zeroetl_db -U postgres

2. Luo mallitaulukko ensisijaisella avaimella. Varmista, että kaikilla lähteestä kohteeseen replikoitavilla taulukoilla on ensisijainen avain. Taulukoita ilman ensisijaista avainta ei voida replikoida kohteeseen.

CREATE TABLE NATION  ( 
N_NATIONKEY  INTEGER NOT NULL PRIMARY KEY, 
N_NAME       CHAR(25) NOT NULL,
N_REGIONKEY  INTEGER NOT NULL,
N_COMMENT    VARCHAR(152));

3. Lisää valetiedot kansakuntataulukkoon ja tarkista, onko tiedot ladattu oikein:

INSERT INTO nation VALUES (1, 'USA', 1 , 'united states of america');
SELECT * FROM nation;

Nämä esimerkkitiedot pitäisi nyt kopioida Amazon Redshiftissä.

Analysoi kohteen lähdetiedot

Avaa Redshift Serverless -hallintapaneelissa kyselyeditori v2 ja muodosta yhteys tietokantaan aurora_pg_zetl loit aiemmin.

Suorita seuraava kysely vahvistaaksesi lähdetietojen onnistuneen replikoinnin Amazon Redshiftissä:

SELECT * FROM aurora_pg_etl.public.nation;

Voit myös käyttää seuraavaa kyselyä alkuperäisen tilannevedoksen tai jatkuvan muutostietojen keruun (CDC) toiminnan vahvistamiseen:

SELECT * FROM sys_integration_activity ORDER BY last_commit_timestamp desc;

Seuranta

On useita vaihtoehtoja saada mittareita Aurora PostgreSQL zero-ETL -integraation suorituskyvystä ja tilasta Amazon Redshiftin kanssa.

Jos siirryt Amazon Redshift -konsoliin, voit valita Nolla-ETL-integraatiot navigointiruudussa. Voit valita haluamasi nolla-ETL-integraation ja näyttää sen amazonin pilvikello integraatioon liittyvät mittarit. Nämä mittarit ovat myös suoraan saatavilla CloudWatchissa.

Jokaiselle integraatiolle on käytettävissä kaksi välilehteä, joissa on tietoja:

• Integrointimittarit – Näyttää tiedot, kuten onnistuneesti replikoitujen taulukoiden määrän ja viivetiedot
  
• Taulukkotilastot – Näyttää tiedot jokaisesta Amazon Aurora PostgreSQL:stä Amazon Redshiftiin replikoidusta taulukosta
  

CloudWatch-mittareiden lisäksi voit kysyä seuraavia järjestelmänäkymät, jotka tarjoavat tietoa integroinneista:

Puhdistaa

Kun poistat nolla-ETL-integraation, tapahtumatietojasi ei poisteta Aurorasta tai Amazon Redshiftistä, mutta Aurora ei lähetä uusia tietoja Amazon Redshiftille.

Voit poistaa nolla-ETL-integroinnin suorittamalla seuraavat vaiheet:

1. Valitse Amazon RDS -konsolissa Nolla-ETL-integraatiot navigointipaneelissa.
2. Valitse nolla-ETL-integraatio, jonka haluat poistaa, ja valitse Poista.
   
3. Vahvista poisto kirjoittamalla vahvista ja valitsemalla Poista.
   

Yhteenveto

Tässä viestissä selitimme, kuinka voit määrittää nolla-ETL-integraation Amazon Aurora PostgreSQL:stä Amazon Redshiftiin, ominaisuus, joka vähentää tietoputkien ylläpitoon ja mahdollistaa lähes reaaliaikaisen tapahtuma- ja operatiivisen datan analytiikan.

Lisätietoja nolla-ETL-integroinnista on kohdassa Työskentely Aurora zero-ETL -integraatioiden kanssa Amazon Redshiftin kanssa ja Rajoitukset.

Tietoja Tekijät

Raks Khare on Analytics Specialist Solutions -arkkitehti AWS:ssä Pennsylvaniassa. Hän auttaa asiakkaita suunnittelemaan data-analytiikkaratkaisuja mittakaavassa AWS-alustalla.

Juan Luis Polo Garzon on AWS:n Associate Specialist Solutions -arkkitehti, joka on erikoistunut analytiikkatyökuormiin. Hänellä on kokemusta asiakkaiden auttamisesta heidän pilvipohjaisten analytiikkaratkaisujensa suunnittelussa, rakentamisessa ja modernisoinnissa. Työn ulkopuolella hän nauttii matkustamisesta, ulkoilusta ja retkeilystä sekä osallistumisesta elävän musiikin tapahtumiin.

Sushmita Barthakur on vanhempi ratkaisuarkkitehti Amazon Web Servicesissä, ja hän tukee yritysasiakkaita suunnittelemaan heidän työtaakkaa AWS:ssä. Hänellä on vahva tausta Data Analyticsista ja tiedonhallinnasta, ja hänellä on laaja kokemus auttaa asiakkaita suunnittelemaan ja rakentamaan Business Intelligence- ja Analytics -ratkaisuja sekä paikan päällä että pilvessä. Sushmita sijaitsee Tampassa, Floridassa ja nauttii matkustamisesta, lukemisesta ja tenniksen pelaamisesta.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/big-data/achieve-near-real-time-operational-analytics-using-amazon-aurora-postgresql-zero-etl-integration-with-amazon-redshift/