Veel klanten breiden hun datawarehouse-mogelijkheden uit naar hun datameer Amazon roodverschuiving. Ze willen hun beveiligingshouding verder verbeteren, op basis waarvan ze het toegangsbeleid tot hun datameren kunnen afdwingen Amazon eenvoudige opslagservice (Amazone S3). Bovendien adopteren ze beveiligingsmodellen die toegang tot het datameer via hun privénetwerken vereisen.

Amazon Roodverschuivingsspectrum stelt u in staat Amazon Redshift SQL-query's uit te voeren op gegevens die zijn opgeslagen in Amazon S3. Roodverschuivingsspectrum maakt gebruik van de AWS lijm Gegevenscatalogus als Hive-metastore. Met een ingericht Redshift-datawarehouse draait de Redshift Spectrum-rekencapaciteit vanaf afzonderlijke speciale Redshift-servers die eigendom zijn van Amazon Redshift en die onafhankelijk zijn van uw Redshift-cluster. Wanneer verbeterde VPC-routering is ingeschakeld voor uw Redshift-cluster, maakt Redshift Spectrum verbinding vanaf de Redshift VPC met een elastische netwerkinterface (ENI) in uw VPC. Omdat het afzonderlijke speciale Redshift-clusters gebruikt, moet u, om al het verkeer tussen Redshift en Amazon S3 via uw VPC te forceren, verbeterde VPC-routering inschakelen en een specifiek netwerkpad creëren tussen uw Redshift-datawarehouse VPC en S3-gegevensbronnen.

Bij gebruik van een Amazon Redshift Serverloos Redshift Spectrum gebruikt bijvoorbeeld dezelfde rekencapaciteit als de rekencapaciteit van uw serverloze werkgroep. Om toegang te krijgen tot uw S3-gegevensbronnen vanuit Redshift Serverless zonder dat verkeer uw VPC verlaat, kunt u de verbeterde VPC-routeringsoptie gebruiken zonder dat er extra netwerkconfiguratie nodig is.

AWS Lake-formatie biedt een eenvoudige en gecentraliseerde aanpak voor toegangsbeheer voor S3-gegevensbronnen. Met Lake Formation kunnen organisaties de toegangscontrole voor op Amazon S3 gebaseerde datameren beheren met behulp van bekende databaseconcepten zoals tabellen en kolommen, samen met meer geavanceerde opties zoals beveiliging op rij- en celniveau. Lake Formation gebruikt de AWS Glue Data Catalog om toegangscontrole voor Amazon S3 te bieden.

In dit bericht laten we zien hoe u uw netwerk kunt configureren zodat Redshift Spectrum de verbeterde VPC-routering van een door Redshift ingericht cluster gebruikt om toegang te krijgen tot Amazon S3-gegevens via Lake Formation-toegangscontrole. U kunt deze integratie opzetten in een privénetwerk zonder verbinding met internet.

Overzicht oplossingen

Met deze oplossing wordt het netwerkverkeer via uw VPC gerouteerd door dit in te schakelen Amazon Redshift verbeterde VPC-routering. Deze routeringsoptie geeft prioriteit aan het VPC-eindpunt als de eerste routeprioriteit via een internetgateway. NAT-instantieof NAT-gateway. Om te voorkomen dat uw Redshift-cluster communiceert met bronnen buiten uw VPC, is het noodzakelijk om alle andere routeringsopties te verwijderen. Dit zorgt ervoor dat alle communicatie via de VPC-eindpunten wordt gerouteerd.

Het volgende diagram illustreert de oplossingsarchitectuur.

De oplossing bestaat uit de volgende stappen:

1. Maak een Redshift-cluster in een privé-subnetnetwerkconfiguratie:
   1. Schakel verbeterde VPC-routering in voor uw Redshift-cluster.
   2. Wijzig de routetabel om ervoor te zorgen dat er geen connectiviteit met het openbare netwerk is.
2. Maak de volgende VPC-eindpunten voor Redshift Spectrum-connectiviteit:
   1. AWS Glue-interface-eindpunt.
   2. Lake Formation-interface-eindpunt.
   3. Amazon S3-gateway-eindpunt.
3. Analyseer de Amazon Redshift-connectiviteit en netwerkroutering:
   1. Controleer netwerkroutes voor Amazon Redshift in een privénetwerk.
   2. Controleer de netwerkconnectiviteit van het Redshift-cluster naar verschillende VPC-eindpunten.
   3. Test de connectiviteit met behulp van de Amazon Redshift-query-editor v2.

Deze integratie maakt gebruik van VPC-eindpunten om een ​​privéverbinding tot stand te brengen van uw Redshift-datawarehouse naar Lake Formation, Amazon S3 en AWS Glue.

Voorwaarden

Om deze oplossing in te stellen, hebt u basiskennis nodig van de AWS-beheerconsoleeen AWS-accounten toegang tot de volgende AWS-services:

Bovendien moet u Lake Formation met Amazon Redshift hebben geïntegreerd om toegang te krijgen tot uw S3-datameer in een niet-privénetwerk. Voor instructies, zie Centraliseer het beheer van uw datameer met AWS Lake Formation en maak tegelijkertijd een moderne data-architectuur mogelijk met Amazon Redshift Spectrum.

Maak een Redshift-cluster in een privé-subnetnetwerkconfiguratie.

De eerste stap is het configureren van uw Redshift-cluster om alleen netwerkverkeer via uw VPC toe te staan ​​en openbare routes te voorkomen. Om dit te bereiken moet u verbeterde VPC-routing inschakelen voor uw Redshift-cluster. Voer de volgende stappen uit:

1. Navigeer op de Amazon Redshift-console naar uw cluster.
2. Bewerk uw netwerk- en beveiligingsinstellingen.
3. Voor Verbeterde VPC-routingselecteer Turn on .
4. Schakel de Publiek toegankelijk optie.
5. Kies Wijzigingen opslaan en wijzig het cluster om de updates toe te passen. Je hebt nu een Roodverschuivingscluster dat alleen via de VPC kan communiceren. Nu kunt u de routetabel aanpassen om er zeker van te zijn dat er geen verbinding is met het openbare netwerk.
   
6. Noteer op de Amazon Redshift-console de subnetgroep en identificeer het subnet dat aan deze subnetgroep is gekoppeld.
   
7. Identificeer op de Amazon VPC-console de routetabel die aan dit subnet is gekoppeld en bewerk deze om de standaardroute naar de NAT-gateway te verwijderen.

Als uw cluster zich in een openbaar subnet bevindt, moet u mogelijk de internetgatewayroute verwijderen. Als het subnet wordt gedeeld met andere bronnen, kan dit van invloed zijn op hun connectiviteit.

Uw cluster bevindt zich nu in een particulier netwerk en kan niet communiceren met bronnen buiten uw VPC.

Creëer VPC-eindpunten voor Redshift Spectrum-connectiviteit

Nadat u uw Redshift-cluster hebt geconfigureerd om te werken binnen een particulier netwerk zonder externe connectiviteit, moet u connectiviteit tot stand brengen met de volgende services via VPC-eindpunten:

• AWS lijm
• Vorming van het meer
• Amazon S3

Maak een AWS Glue-eindpunt

Om te beginnen maakt Redshift Spectrum verbinding met AWS Glue-eindpunten om informatie op te halen uit de AWS Data Glue Catalog. Voer de volgende stappen uit om een ​​VPC-eindpunt voor AWS Glue te maken:

1. Kies op de Amazon VPC-console Eindpunten in het navigatievenster.
2. Kies Eindpunt maken.
3. Voor Naamlabel, voer een optionele naam in.
4. Voor Servicecategorieselecteer AWS-diensten.
5. In het Diensten sectie, zoek en selecteer uw AWS Glue-interface-eindpunt.
   
6. Kies de juiste VPC en subnetten voor uw eindpunt.
   
7. Configureer de instellingen van de beveiligingsgroep en controleer uw eindpuntinstellingen.
8. Kies Eindpunt maken om het proces te voltooien.

Nadat u het AWS Glue VPC-eindpunt hebt aangemaakt, kan Redshift Spectrum informatie ophalen uit de AWS Glue Data Catalog binnen uw VPC.

Maak een Lake Formation-eindpunt

Herhaal hetzelfde proces om een ​​Lake Formation-eindpunt te maken:

1. Kies op de Amazon VPC-console Eindpunten in het navigatievenster.
2. Kies Eindpunt maken.
3. Voor Naamlabel, voer een optionele naam in.
4. Voor Servicecategorieselecteer AWS-diensten.
5. In het Diensten sectie, zoek en selecteer uw Lake Formation-interface-eindpunt.
   
6. Kies de juiste VPC en subnetten voor uw eindpunt.
7. Configureer de instellingen van de beveiligingsgroep en controleer uw eindpuntinstellingen.
8. Kies Eindpunt maken.

U beschikt nu over connectiviteit voor Amazon Redshift naar Lake Formation en AWS Glue, waarmee u de catalogus kunt ophalen en machtigingen voor het datameer kunt valideren.

Maak een Amazon S3-eindpunt

De volgende stap is het creëren van een VPC-eindpunt voor Amazon S3 om Redshift Spectrum toegang te geven tot gegevens die zijn opgeslagen in Amazon S3 via VPC-eindpunten:

1. Kies op de Amazon VPC-console Eindpunten in het navigatievenster.
2. Kies Eindpunt maken.
3. Voor Naamlabel, voer een optionele naam in.
4. Voor Servicecategorieselecteer AWS-diensten.
5. In het Diensten sectie, zoek en selecteer uw Amazon S3 gateway-eindpunt.
   
6. Kies de juiste VPC en subnetten voor uw eindpunt.
7. Configureer de instellingen van de beveiligingsgroep en controleer uw eindpuntinstellingen.
8. Kies Eindpunt maken.

Met het aanmaken van het VPC-eindpunt voor Amazon S3 heeft u alle noodzakelijke stappen voltooid om ervoor te zorgen dat uw Redshift-cluster privé kan communiceren met de vereiste diensten via VPC-eindpunten binnen uw VPC.

Het is belangrijk om ervoor te zorgen dat de beveiligingsgroepen die aan de VPC-eindpunten zijn gekoppeld, correct zijn geconfigureerd, omdat een onjuiste inkomende regel ervoor kan zorgen dat uw verbinding een time-out krijgt. Controleer of de regels voor binnenkomend verkeer van de beveiligingsgroep correct zijn ingesteld om het benodigde verkeer door het VPC-eindpunt te laten passeren.

Analyseer verkeer en netwerktopologie

U kunt de volgende methoden gebruiken om de netwerkpaden van Amazon Redshift naar andere eindpunten te verifiëren.

Controleer netwerkroutes voor Amazon Redshift in een privénetwerk

U kunt een gebruiken Amazon VPC-bronnenkaart om de Amazon Redshift-connectiviteit te visualiseren. De resourcekaart toont de verbindingen tussen resources binnen een VPC en de verkeersstroom tussen subnetten, NAT-gateways, internetgateways en gateway-eindpunten. Zoals u in de volgende schermafbeelding kunt zien, heeft het gemarkeerde subnet waar het Redshift-cluster actief is, geen connectiviteit met een NAT-gateway of internetgateway. De routetabel die aan het subnet is gekoppeld, kan alleen via het VPC-eindpunt contact opnemen met Amazon S3.

Houd er rekening mee dat de eindpunten van AWS Glue en Lake Formation interface-eindpunten zijn en niet zichtbaar zijn op een resourcekaart.

Controleer de netwerkconnectiviteit van het Redshift-cluster naar verschillende VPC-eindpunten

U kunt de connectiviteit van uw Redshift-clustersubnet naar alle VPC-eindpunten verifiëren met behulp van de Bereikbaarheidsanalysator. De Reachability Analyzer is een tool voor configuratieanalyse waarmee u connectiviteitstests kunt uitvoeren tussen een bronbron en een doelbron in uw VPC's. Voer de volgende stappen uit:

1. Navigeer op de Amazon Redshift-console naar de Redshift-clusterconfiguratiepagina en noteer het interne IP-adres.
2. Zoek op de Amazon EC2-console naar uw ENI door te filteren op het IP-adres.
3. Kies de ENI die is gekoppeld aan uw Redshift-cluster en kies Voer de bereikbaarheidsanalyse uit.
   
4. Voor Bron Type, kiezen Netwerk interfaces.
5. Voor bron, kies de Roodverschuiving ENI.
6. Voor Bestemmingstype, kiezen VPC-eindpunten.
7. Voor Bestemming, kies uw VPC-eindpunt.
8. Kies Pad maken en analyseren.
   
9. Wanneer de analyse is voltooid, bekijkt u de analyse om de bereikbaarheid te zien.

Zoals u in de volgende schermafbeelding kunt zien, heeft het Redshift-cluster connectiviteit met het Lake Formation-eindpunt.

U kunt deze stappen herhalen om de netwerkbereikbaarheid voor alle andere VPC-eindpunten te verifiëren.

Test de connectiviteit door een SQL-query uit te voeren vanuit de Amazon Redshift-query-editor v2

U kunt de connectiviteit verifiëren door een SQL-query uit te voeren met uw Redshift Spectrum-tabel met behulp van de Amazon Redshift-query-editor, zoals weergegeven in de volgende schermafbeelding.

Gefeliciteerd! U kunt met succes query's uitvoeren vanuit Redshift Spectrum-tabellen vanuit een ingericht cluster, terwijl verbeterde VPC-routering is ingeschakeld zodat verkeer binnen uw AWS-netwerk blijft.

Opruimen

U moet de bronnen die u als onderdeel van deze oefening hebt gemaakt, opruimen om onnodige kosten voor uw AWS-account te voorkomen. Voer de volgende stappen uit:

1. Kies op de Amazon VPC-console Eindpunten in het navigatievenster.
2. Selecteer de eindpunten die u hebt gemaakt en op de Acties menu, kies Verwijder VPC-eindpunten.
   
3. Navigeer op de Amazon Redshift-console naar uw Redshift-cluster.
4. Bewerk de clusternetwerk- en beveiligingsinstellingen en selecteer afslaan For Verbeterde VPC-routing.
   
5. U kunt ook uw Amazon S3-gegevens en Redshift-cluster verwijderen als u niet van plan bent ze verder te gebruiken.

Conclusie

Door uw Redshift-datawarehouse naar een particuliere netwerkinstelling te verplaatsen en verbeterde VPC-routering in te schakelen, kunt u de beveiligingspositie van uw Redshift-cluster verbeteren door de toegang tot alleen geautoriseerde netwerken te beperken.

We willen onze collega-AWS-collega's Harshida Patel, Fabricio Pinto en Soumyajeet Patra bedanken voor het verstrekken van hun inzichten met deze blogpost.

Als u vragen of suggesties heeft, kunt u uw feedback achterlaten in het opmerkingengedeelte. Als u meer hulp nodig heeft bij het beveiligen van uw S3-datameren en Redshift-datawarehouses, neem dan contact op met uw AWS-accountteam.

Extra middelen

Over de auteurs

Kanwar Bajwa is een Enterprise Support Lead bij AWS die samenwerkt met klanten om hun gebruik van AWS-services te optimaliseren en hun zakelijke doelstellingen te bereiken.

Swapna Bandla is een Senior Solutions Architect in het AWS Analytics Specialist SA-team. Swapna heeft een passie voor het begrijpen van de data- en analysebehoeften van klanten en het in staat stellen van cloudgebaseerde, goed ontworpen oplossingen. Buiten haar werk brengt ze graag tijd door met haar gezin.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/enhance-data-security-and-governance-for-amazon-redshift-spectrum-with-vpc-endpoints/