Vereenvoudig de toegang tot gegevens voor uw bedrijf met Amazon SageMaker Lakehouse

Organisaties gebruiken data steeds vaker om beslissingen te nemen en innovatie te stimuleren. Het bouwen van datagestuurde applicaties kan echter een uitdaging zijn. Vaak moeten meerdere teams samenwerken en verschillende databronnen, tools en services integreren. Bijvoorbeeld, het maken van een gerichte marketing-app vereist data engineers, data scientists en business analisten die verschillende systemen en tools gebruiken. Deze complexiteit leidt tot verschillende problemen: het kost tijd om meerdere systemen te leren, het is moeilijk om data en code te beheren in verschillende services en het beheren van de toegang voor gebruikers in verschillende systemen is ingewikkeld. Momenteel creëren organisaties vaak aangepaste oplossingen om deze systemen te verbinden, maar ze willen een meer uniforme aanpak waarmee ze de beste tools kunnen kiezen en tegelijkertijd een gestroomlijnde ervaring kunnen bieden voor hun datateams. Het gebruik van afzonderlijke datawarehouses en lakes heeft datasilo's gecreëerd, wat leidt tot problemen zoals gebrek aan interoperabiliteit, dubbele governance-inspanningen, complexe architecturen en een tragere time-to-value.

Je kunt gebruiken Amazon SageMaker Lakehouse om uniforme toegang tot gegevens in zowel datawarehouses als datalakes te bereiken. Via SageMaker Lakehouse kunt u preferred analytics, machine learning en business intelligence engines gebruiken via een open Apache Iceberg REST API om veilige toegang tot gegevens te garanderen met consistente, fijnmazige toegangscontroles.

Overzicht oplossingen

Laten we Example Retail Corp eens bekijken, dat te maken heeft met een toenemende klantverloop. Het management wil een datagestuurde aanpak implementeren om risicoklanten te identificeren en gerichte retentiestrategieën te ontwikkelen. De klantgegevens zijn echter verspreid over verschillende systemen en services, waardoor het lastig is om uitgebreide analyses uit te voeren. Tegenwoordig beheert Example Retail Corp verkoopgegevens in zijn datawarehouse en klantgegevens in Apache Iceberg-tabellen in Eenvoudige opslagservice van Amazon (Amazon S3). Het gebruikt Amazon EMR Serverloos voor dataverwerking en machinaal leren. Voor governance gebruikt het AWS-lijmgegevenscatalogus als de centrale technische catalogus en AWS Lake-formatie als toestemmingsopslag voor het afdwingen van fijnmazige toegangscontroles. Het hoofddoel is om een ​​uniform gegevensbeheersysteem te implementeren dat nu gegevens uit verschillende bronnen combineert, veilige toegang in de hele onderneming mogelijk maakt en verschillende teams in staat stelt om voorkeurstools te gebruiken om klantverloopinformatie te voorspellen, analyseren en consumeren.

Laten we eens kijken hoe Example Retail Corp SageMaker Lakehouse kan gebruiken om zijn visie op uniform gegevensbeheer te realiseren met behulp van dit referentiearchitectuurdiagram.

Persona's

Er worden vier persona's gebruikt in deze oplossing.

• De Data Lake Admin heeft een AWS identiteits- en toegangsbeheer (IAM) beheerdersrol en is een Lake Formation-beheerder die verantwoordelijk is voor het beheer van gebruikersmachtigingen om objecten te catalogiseren met behulp van Lake Formation.
• De Data Warehouse Admin heeft een IAM-beheerdersrol en beheert databases in Amazon Redshift.
• De Data Engineer heeft een IAM ETL-rol en voert de ETL-pijplijn (Extract, Transform, Load) uit met behulp van Spark om de Lakehouse-catalogus op RMS te vullen.
• De Data Analyst heeft een IAM-analistrol en voert churn-analyses uit op SageMaker Lakehouse-gegevens met behulp van Amazone Athene en Amazon roodverschuiving.

dataset

De volgende tabel beschrijft de elementen van de dataset.

Voorwaarden

Om de oplossingsbeschrijving te kunnen volgen, hebt u het volgende nodig:

1. Maak een door de gebruiker gedefinieerde IAM-rol aan volgens de instructies in Vereisten voor rollen die worden gebruikt om locaties te registrerenVoor dit bericht gebruiken we de IAM-rol LakeFormationRegistrationRole.
2. An Amazon virtuele privécloud (Amazon VPC) met privé- en openbare subnetten.
3. Maak een S3-bucket. Voor deze post gebruiken we customer_data als de naam van de emmer.
4. Maak een Amazon Redshift serverloos eindpunt Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen. sales_dw die zal hosten store_sales gegevensset.
5. Maak een Amazon Redshift serverloos eindpunt Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen. sales_analysis_dw voor churnanalyse door verkoopanalisten.
6. Maak een IAM-rol met de naam DataTransferRole volgens de instructies in Vereisten voor het beheren van Amazon Redshift-naamruimten in de AWS Glue Data Catalog.
7. Installeer of update de nieuwste versie van de AWS CLI. Voor instructies, zie Installeren of updaten naar de nieuwste versie van de AWS CLI.
8. Maak een data lake-beheerder aan met behulp van de instructies in Maak een data lake-beheerder aanVoor deze post gebruiken we een IAM-rolecall.d Beheerder.

Configureer Datalake-beheerders:

Meld u aan bij de AWS Management Console als Admin en ga naar AWS Lake Formation. Kies in het navigatievenster Administratieve rollen en kies dan Taken voor Administratie. Onder Data Lake-beheerders, kiezen Toevoegen:

1. In het Beheerders toevoegen pagina, onder Toegangstype, kiezen Data lake-beheerder.
2. Onder IAM-gebruikers en -rollenselecteer beheerder. Kiezen Bevestigen.
   
3. Op de Beheerders toevoegen pagina, voor Toegangstype kiezen Alleen-lezen beheerders. Onder IAM-gebruikers en -rollenselecteer AWSServiceRoleForRedshift En kies BevestigdMet deze stap kan Amazon Redshift catalogusobjecten in AWS Glue Data Catalog ontdekken en openen.
   

Oplossingsoverzicht

Maak een klantentabel in het Amazon S3-datameer in AWS Glue Data Catalog

1. Maak een AWS lijm databank genoemd customerdb in de standaardcatalogus in uw account door naar de AWS Lake Formation-console te gaan en te kiezen databases in het navigatievenster.
2. Selecteer de database die u zojuist hebt gemaakt en kies Edit.
3. Schakel het selectievakje uit Gebruik alleen IAM-toegangscontrole voor nieuwe tabellen in deze database.
4. Meld u aan bij de Athena-console als Admin en selecteer Workgroup waartoe de rol toegang heeft. Voer de volgende SQL uit:

   CREATE EXTERNAL TABLE `tempcustomer`(
     `c_salutation` string, 
     `c_preferred_cust_flag` string, 
     `c_first_sales_date_sk` int, 
     `c_customer_sk` int, 
     `c_login` string, 
     `c_current_cdemo_sk` int, 
     `c_first_name` string, 
     `c_current_hdemo_sk` int, 
     `c_current_addr_sk` int, 
     `c_last_name` string, 
     `c_customer_id` string, 
     `c_last_review_date_sk` int, 
     `c_birth_month` int, 
     `c_birth_country` string, 
     `c_birth_year` int, 
     `c_birth_day` int, 
     `c_first_shipto_date_sk` int, 
     `c_email_address` string)
   ROW FORMAT SERDE 
     'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
   STORED AS INPUTFORMAT 
     'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
   OUTPUTFORMAT 
     'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
   LOCATION
     's3://customer_data/tempcustomer'
   
   INSERT INTO customer
   VALUES('Dr.','N',2452077,13251813,'Y',1381546,'Joyce',2645,2255449,'Deaton','AAAAAAAAFOEDKMAA',2452543,1,'GREECE',1987,29,2250667,'Joyce.Deaton@qhtrwert.edu'),
   ('Dr.','N',2450637,12755125,'Y',1581546,'Daniel',9745,4922716,'Dow','AAAAAAAAFLAKCMAA',2432545,1,'INDIA',1952,3,2450667,'Daniel.Cass@hz05IuguG5b.org'),
   ('Dr.','N',2452342,26009249,'Y',1581536,'Marie',8734,1331639,'Lange','AAAAAAAABKONMIBA',2455549,1,'CANADA',1934,5,2472372,'Marie.Lange@ka94on0lHy.edu'),
   ('Dr.','N',2452342,3270685,'Y',1827661,'Wesley',1548,11108235,'Harris','AAAAAAAANBIOBDAA',2452548,1,'ROME',1986,13,2450667,'Wesley.Harris@c7NpgG4gyh.edu'),
   ('Dr.','N',2452342,29033279,'Y',1581536,'Alexandar',8262,8059919,'Salyer','AAAAAAAAPDDALLBA',2952543,1,'SWISS',1980,6,2650667,'Alexander.Salyer@GxfK3iXetN.edu'),
   ('Miss','N',2452342,6520539,'Y',3581536,'Jerry',1874,36370,'Tracy','AAAAAAAALNOHDGAA',2452385,1,'ITALY',1957,8,2450667,'Jerry.Tracy@VTtQp8OsUkv2hsygIh.edu')
   
   CREATE TABLE customer
   WITH (table_type = 'ICEBERG',
   format = 'PARQUET',
   location = 's3://customer_data/customer/',
   is_external = false
   ) as select * from tempcustomer;

5. Registreer de S3-bucket bij Lake Formation:
   • Meld u aan bij de Lake Formation-console als Data Lake Admin.
   • Kies in het navigatievenster Administratieen kies vervolgens Data Lake-locaties.
   • Kies Registreer locatie.
   • Voor de Amazon S3-pad, ga naar binnen s3://customer_data/.
   • Voor de IAM-rol, kiezen LakeFormationRegistratieRol.
   • Voor Toestemmingsmodusselecteer Vorming van het meer.
   • Kies Registreer locatie.

Maak de salesdb-database in Amazon Redshift

1. Meld u aan bij het Redshift-eindpunt sales_dw als Admin-gebruiker. Voer het volgende script uit om een ​​database te maken met de naam salesdb.

   Create database salesdb;

2. Aansluiten op salesdb. Voer het volgende script uit om een ​​schema te maken sales en store_sales tabel en vul deze met gegevens.

   Create schema sales;
   CREATE TABLE sales.store_sales (
       sale_id INTEGER IDENTITY(1,1) PRIMARY KEY,
       customer_sk INTEGER NOT NULL,
       sale_date DATE NOT NULL,
       sale_amount DECIMAL(10, 2) NOT NULL,
       product_name VARCHAR(100) NOT NULL,
       last_purchase_date DATE
   );
   
   INSERT INTO sales.store_sales (customer_sk, sale_date, sale_amount, product_name, last_purchase_date)
   VALUES
       (13251813, '2023-01-15', 150.00, 'Widget A', '2023-01-15'),
       (29033279, '2023-01-20', 200.00, 'Gadget B', '2023-01-20'),
       (12755125, '2023-02-01', 75.50, 'Tool C', '2023-02-01'),
       (26009249, '2023-02-10', 300.00, 'Widget A', '2023-02-10'),
       (3270685, '2023-02-15', 125.00, 'Gadget B', '2023-02-15'),
       (6520539, '2023-03-01', 100.00, 'Tool C', '2023-03-01'),
       (10251183, '2023-03-10', 250.00, 'Widget A', '2023-03-10'),
       (10251283, '2023-03-15', 180.00, 'Gadget B', '2023-03-15'),
       (10251383, '2023-04-01', 90.00, 'Tool C', '2023-04-01'),
       (10251483, '2023-04-10', 220.00, 'Widget A', '2023-04-10'),
       (10251583, '2023-04-15', 175.00, 'Gadget B', '2023-04-15'),
       (10251683, '2023-05-01', 130.00, 'Tool C', '2023-05-01'),
       (10251783, '2023-05-10', 280.00, 'Widget A', '2023-05-10'),
       (10251883, '2023-05-15', 195.00, 'Gadget B', '2023-05-15'),
       (10251983, '2023-06-01', 110.00, 'Tool C', '2023-06-01'),
       (10251083, '2023-06-10', 270.00, 'Widget A', '2023-06-10'),
       (10252783, '2023-06-15', 185.00, 'Gadget B', '2023-06-15'),
       (10253783, '2023-07-01', 95.00, 'Tool C', '2023-07-01'),
       (10254783, '2023-07-10', 240.00, 'Widget A', '2023-07-10'),
       (10255783, '2023-07-15', 160.00, 'Gadget B', '2023-07-15');

Maak de churn_lakehouse RMS-catalogus in Glue Data Catalog

Deze catalogus bevat de tabel met klantverloopgegevens met beheerde RMS-opslag, die wordt gevuld met behulp van Amazon EMR.

We beheren de klantverloopgegevens in een door AWS Glue beheerde catalogus met beheerde RMS-opslag. Deze gegevens worden geproduceerd op basis van een analyse die is uitgevoerd in EMR Serverless en zijn toegankelijk in de presentatielaag om te dienen voor business intelligence (BI)-applicaties.

Maak Lakehouse (RMS) catalogus

1. Meld u aan bij de Lake Formation-console als Data Lake Admin.
2. Kies in het linkernavigatievenster Gegevenscatalogus, En vervolgens Catalogi Nieuw. Kiezen Catalogus maken.
   

3. Geef de details voor de catalogus:
   • Naam: Enter churn_lakehouse.
   • Type: Selecteer Beheerde catalogus.
   • Opbergen: Selecteer Redshift.
   • Onder Toegang vanaf motoren, zeker weten dat Krijg toegang tot deze catalogus via Iceberg-compatibele engines is geselecteerd.
   • Kies Volgende.
     

• • Onder opdrachtgeversselecteer IAM-gebruikers en -rollen. Onder IAM-gebruikers en rollen, selecteer de beheerder Onder Catalogusmachtigingenselecteer Super gebruiker.
    
  • Kies Toevoegenen kies vervolgens Catalogus maken.

Toegang tot churn_lakehouse RMS-catalogus vanuit Amazon EMR Spark-engine

1. Een EMR-studio opzetten.
2. Maak een EMR Serverless-applicatie met behulp van de CLI-opdracht.

   aws emr-serverless create-application --region <aws_region> 
   --name 'Churn_Analysis' 
   --type 'SPARK' 
   --release-label emr-7.5.0 
   --network-configuration '{"subnetIds": ["<subnet2>", "<subnet2>"], "securityGroupIds": [<security_group>]}'

Meld u aan bij EMR Studio en gebruik de EMR Studio Workspace

1. Meld u aan bij de EMR Studio-console en kies workspaces in het navigatievenster en kies vervolgens Werkruimte maken.
2. Voer een naam en een beschrijving in voor de werkruimte.
3. Kies Werkruimte maken. Een nieuw tabblad met JupyterLab wordt automatisch geopend wanneer de Workspace gereed is. Schakel indien nodig pop-ups in uw browser in.
4. Selecteer het Compute-pictogram in het navigatievenster om de EMR Studio Workspace te koppelen aan een compute engine.
5. kies EMR serverloze applicatie voor Bereken type.
6. Kies Churn_Analysis voor EMR-S-applicatie.
7. Voor Runtime-rol, kiezen beheerder.
8. Kies hechten.

Download het notitieboek, importeer het, kies PySpark-kernel en voer de cellen uit die de tabel zullen aanmaken.

Beheer de gedetailleerde toegang van uw gebruikers tot catalogusobjecten met AWS Lake Formation

Verleen de volgende machtigingen aan de rol Analist voor de resources, zoals weergegeven in de volgende tabel.

1. Meld u aan bij de Lake Formation-console als Data Lake Admin. Kies in het navigatievenster Data Lake-machtigingenen kies vervolgens Grant.
2. Voor IAM-gebruiker en rollen, kiezen Analist IAM-rol. Kies voor de middelen zoals hieronder aangegeven en verleen.
   
3. Voor IAM-gebruiker en rollen, kiezen Analist IAM-rol. Kies voor de bron zoals hieronder weergegeven en verleen.
   
4. Voor IAM-gebruiker en rollen, kiezen Analist IAM-rol. Kies voor de bron zoals hieronder weergegeven en verleen.
   
   

Voer churn-analyse uit met behulp van meerdere engines:

Athena gebruiken

Meld u aan bij de Athena-console met de IAM Analyst-rol, selecteer de werkgroep waartoe de rol toegang heeft. Voer de volgende SQL uit door gegevens uit het datawarehouse en de Lake House RMS-catalogus te combineren voor churn-analyse:

SELECT 
c.c_customer_id,
c.c_first_name,
c.c_last_name,
c.c_email_address,
ss.sale_amount,
cc.is_churned
FROM 
    "customerdb"."customer" c
LEFT JOIN 
    "sales_lakehouse/salesdb"."sales"."store_sales" ss ON c.c_customer_sk = ss.customer_sk
LEFT JOIN 
    "churn_lakehouse/dev"."public"."customer_churn" cc ON c.c_customer_sk  = cc.customer_id
WHERE cc.is_churned = true
;

De onderstaande afbeelding toont de resultaten, inclusief klant-ID's, namen en andere informatie.

Amazon Redshift gebruiken

Meld u aan bij het Redshift Sale-cluster QEV2 met de IAM Analyst-rol. Meld u aan met tijdelijke referenties met uw IAM-identiteit en voer de volgende SQL-opdracht uit:

SELECT 
c.c_customer_id,
c.c_first_name,
c.c_last_name,
c.c_email_address,
ss.sale_amount,
cc.is_churned
FROM 
   "awsdatacatalog"."customerdb"."customer" c
LEFT JOIN 
    "salesdb@sales_lakehouse"."sales"."store_sales" ss ON c.c_customer_sk = ss.customer_sk
LEFT JOIN 
    "dev@churn_lakehouse"."public"."customer_churn" cc ON c.c_customer_sk  = cc.customer_id
WHERE cc.is_churned = true
;

De onderstaande afbeelding toont de resultaten, inclusief klant-ID's, namen en andere informatie.

Opruimen

Voer de volgende stappen uit om de door u gemaakte resources te verwijderen en onverwachte kosten te voorkomen:

1. Verwijderde Redshift Serverless-werkgroepen.
2. Verwijderde bijbehorende Redshift Serverless-naamruimte.
3. Verwijder EMR Studio en de gemaakte toepassing.
4. Verwijder Glue-bronnen en Lake Formation-machtigingen.
5. Maak de emmer leeg en verwijder de emmer.

Conclusie

In dit bericht hebben we laten zien hoe u Amazon SageMaker Lakehouse kunt gebruiken om uniforme toegang tot gegevens in uw datawarehouses en datalakes te verkrijgen. Met uniforme toegang kunt u preferred analytics, machine learning en business intelligence engines gebruiken via een open Apache Iceberg REST API en beveiligde toegang tot gegevens met consistente, fijnmazige toegangscontroles. Probeer Amazon SageMaker Lakehouse in uw omgeving en deel uw feedback met ons.

Over de auteurs

Srividya Parthasarathy is een Senior Big Data Architect in het AWS Lake Formation-team. Ze werkt met het productteam en de klant om robuuste functies en oplossingen te bouwen voor hun analytische dataplatform. Ze vindt het leuk om data mesh-oplossingen te bouwen en deze te delen met de community.

Harshida Patel is een Analytics Specialist Principal Solutions Architect, bij AWS.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/simplify-data-access-for-your-enterprise-using-amazon-sagemaker-lakehouse/