Klanten kunnen tegenwoordig moeite hebben met het implementeren van de juiste toegangscontroles en audits op gebruikersniveau wanneer er meerdere applicaties betrokken zijn bij de datatoegangsworkflows. De belangrijkste uitdaging is het implementeren van goede toegangscontroles met minimale bevoegdheden op basis van de identiteit van de gebruiker wanneer de ene applicatie toegang krijgt tot gegevens namens de gebruiker in een andere applicatie. Het dwingt je om alle gebruikers brede toegang te geven via de applicatie zonder audits, of om complexe, op maat gemaakte oplossingen te implementeren om rollen aan gebruikers toe te wijzen.

gebruik AWS IAM Identiteitscentrum, kunt u nu de gebruikersidentiteit doorgeven aan een reeks AWS-services en minimaliseer de noodzaak om complexe aangepaste systemen te bouwen en te onderhouden om rollen tussen applicaties te verdelen. IAM Identity Center biedt ook een geconsolideerd overzicht van gebruikers en groepen op één plek, die de onderling verbonden applicaties kunnen gebruiken voor autorisatie en auditing.

IAM Identity Center maakt gecentraliseerd beheer van gebruikerstoegang tot AWS-accounts en applicaties mogelijk met behulp van identiteitsproviders (IDP's) zoals Okta. Hierdoor kunnen gebruikers één keer inloggen met hun bestaande bedrijfsreferenties en naadloos toegang krijgen tot downstream AWS-services die identiteitspropagatie ondersteunen. Met IAM Identity Center kunnen Okta-gebruikersidentiteiten en -groepen automatisch worden gesynchroniseerd met behulp van SCIM 2.0 voor nauwkeurige gebruikersinformatie in AWS.

Amazon EMR-studio is een uniforme data-analyseomgeving waarin u data-engineering- en datawetenschapstoepassingen kunt ontwikkelen. U kunt nu interactieve query's ontwikkelen en uitvoeren Amazone Athene van EMR Studio (voor meer details, zie Amazon EMR Studio voegt een interactieve query-editor toe, mogelijk gemaakt door Amazon Athena ). Athena-gebruikers hebben toegang tot EMR Studio zonder in te loggen op de AWS-beheerconsole door federatieve toegang vanaf uw IdP via IAM Identity Center in te schakelen. Dit neemt de complexiteit weg van het onderhouden van verschillende identiteiten en het in kaart brengen van gebruikersrollen in uw IdP, EMR Studio en Athena.

Jij kunt regeren Athena-werkgroepen gebaseerd op gebruikerskenmerken van Okta om de toegang tot zoekopdrachten en de kosten te controleren. AWS Lake-formatie kan Okta-identiteiten ook gebruiken om fijnmazige toegangscontroles af te dwingen door machtigingen te verlenen en in te trekken.

IAM Identity Center en Okta single sign-on (SSO)-integratie stroomlijnen de toegang tot EMR Studio en Athena met gecentraliseerde authenticatie. Gebruikers kunnen op een vertrouwde manier inloggen met de inloggegevens van hun personeel om veilig query's uit te voeren in Athena. Toegangsbeleid voor Athena-werkgroepen en Lake Formation-machtigingen bieden bestuur op basis van Okta-gebruikersprofielen.

In deze blogpost wordt uitgelegd hoe u eenmalige aanmelding bij EMR Studio kunt inschakelen met behulp van IAM Identity Center-integratie met Okta. Het laat zien hoe Okta-identiteiten kunnen worden doorgegeven aan Athena en Lake Formation om gedetailleerde toegangscontroles voor query's en gegevens te bieden. De oplossing stroomlijnt de toegang tot analysetools met gecentraliseerde authenticatie met behulp van personeelsreferenties. Het maakt gebruik van AWS IAM Identity Center, Amazon EMR Studio, Amazon Athena en AWS Lake Formation.

Overzicht oplossingen

Met IAM Identity Center kunnen gebruikers verbinding maken met EMR Studio zonder dat beheerders deze handmatig hoeven te configureren AWS identiteits- en toegangsbeheer (IAM) rollen en machtigingen. Het maakt het mogelijk om IAM Identity Center-groepen aan bestaande huisstijlrollen en -groepen toe te wijzen. Beheerders kunnen vervolgens rechten toewijzen aan rollen en groepen en er gebruikers aan toewijzen, waardoor gedetailleerde controle over de gebruikerstoegang mogelijk wordt. IAM Identity Center biedt een centrale opslagplaats van alle gebruikers in AWS. U kunt gebruikers en groepen rechtstreeks in IAM Identity Center aanmaken of bestaande gebruikers en groepen van providers zoals Okta, Ping Identity of Azure AD verbinden. Het verwerkt de authenticatie via de door u gekozen identiteitsbron en onderhoudt een gebruikers- en groepsdirectory voor toegang tot EMR Studio. Bekende gebruikersidentiteiten en geregistreerde gegevenstoegang vergemakkelijken de naleving door het controleren van gebruikerstoegang in AWS CloudTrail.

Het volgende diagram illustreert de oplossingsarchitectuur.

De EMR Studio-workflow bestaat uit de volgende stappen op hoog niveau:

1. De eindgebruiker start EMR Studio met behulp van de AWS-toegangsportal-URL. Deze URL wordt aangeleverd door een IAM Identity Center-beheerder via het IAM Identity Center-dashboard.
2. De URL leidt de eindgebruiker om naar de workforce IdP Okta, waar de gebruiker de identiteitsreferenties van de workforce invoert.
3. Na succesvolle authenticatie wordt de gebruiker als federatieve gebruiker ingelogd op de AWS-console.
4. De gebruiker opent EMR Studio en navigeert naar de Athena-queryeditor via de link die beschikbaar is in EMR Studio.
5. De gebruiker selecteert de juiste werkgroep volgens de gebruikersrol om Athena-query's uit te voeren.
6. De zoekopdrachtresultaten worden afzonderlijk opgeslagen Eenvoudige opslagservice van Amazon (Amazon S3) locaties met een voorvoegsel dat is gebaseerd op de identiteit van de gebruiker.

Om de oplossing te implementeren, doorlopen we de volgende stappen:

1. Integreer Okta met IAM Identity Center om gebruikers en groepen te synchroniseren.
2. Integreer IAM Identity Center met EMR Studio.
3. Wijs gebruikers of groepen van IAM Identity Center toe aan EMR Studio.
4. Zet Lake Formation op met IAM Identity Center.
5. Configureer gedetailleerde, op rollen gebaseerde rechten met behulp van Lake Formation op doorgegeven bedrijfsidentiteiten.
6. Zet werkgroepen op in Athena om de toegang te beheren.
7. Stel Amazon S3-toegangsrechten in voor gedetailleerde toegang tot Amazon S3-bronnen zoals buckets, voorvoegsels of objecten.
8. Krijg toegang tot EMR Studio via de AWS-toegangsportal met behulp van IAM Identity Center.
9. Voer query's uit in de Athena SQL-editor in EMR Studio.
10. Bekijk het end-to-end audittraject van de identiteit van uw personeel.

Voorwaarden

Om dit bericht te volgen, zou je het volgende moeten hebben:

• An AWS-account – Als je er geen hebt, dan kan dat hier aanmelden.
• An Okta-account met een actief abonnement – U heeft een beheerdersrol nodig om de applicatie op Okta in te stellen. Als je nieuw bent bij Okta, kun je je aanmelden voor een gratis trial of ontwikkelaarsaccount.

Voor instructies om Okta te configureren met IAM Identity Center, raadpleegt u Configureer SAML en SCIM met Okta en IAM Identity Center.

Integreer Okta met IAM Identity Center om gebruikers en groepen te synchroniseren

Nadat u met succes gebruikers of groepen van Okta naar IAM Identity Center heeft gesynchroniseerd, kunt u ze zien op de IAM Identity Center-console, zoals weergegeven in de volgende schermafbeelding. Voor dit bericht hebben we twee gebruikersgroepen gemaakt en gesynchroniseerd:

• Data Engineer
• Datawetenschappers

Maak vervolgens een vertrouwde tokenuitgever aan in IAM Identity Center:

1. Kies in de IAM Identity Center-console Instellingen in het navigatievenster.
2. Kies Maak een vertrouwde tokenuitgever.
3. Voor Uitgever-URLVoer de URL in van de vertrouwde tokenuitgever.
4. Voor Naam van vertrouwde tokenuitgever, voer Okta in.
5. Voor Attributen in kaart brengen¸ breng het IdP-attribuut in kaart E-mail aan het IAM Identity Center-kenmerk E-mail.
6. Kies Maak een vertrouwde tokenuitgever.
   

De volgende schermafbeelding toont uw nieuwe vertrouwde tokenuitgever op de IAM Identity Center-console.

Integreer IAM Identity Center met EMR Studio

We beginnen met het creëren van een vertrouwde identiteitspropagatie die is ingeschakeld in EMR Studio.

Een EMR Studio-beheerder moet de stappen uitvoeren om EMR Studio te configureren als een IAM Identity Center-compatibele applicatie. Hierdoor kan EMR Studio automatisch IAM Identity Center ontdekken en er verbinding mee maken om inlog- en gebruikersdirectoryservices te ontvangen.

Het doel van het inschakelen van EMR Studio als een door IAM Identity Center beheerde applicatie is dat u gebruikers- en groepsrechten kunt beheren vanuit IAM Identity Center of vanuit een bron-IdP van derden die ermee is geïntegreerd (Okta in dit geval). Wanneer uw gebruikers bijvoorbeeld inloggen bij EMR Studio data-ingenieur or data scientist, controleert het hun groepen in IAM Identity Center, en deze worden toegewezen aan rollen en rechten in Lake Formation. Op deze manier kan een groep worden toegewezen aan een Lake Formation-databaserol die leestoegang tot een reeks tabellen of kolommen mogelijk maakt.

De volgende stappen laten zien hoe u EMR Studio kunt maken als een door AWS beheerde applicatie met IAM Identity Center. Vervolgens zien we hoe de downstream-applicaties zoals Lake Formation en Athena deze rollen en rechten doorgeven met behulp van bestaande bedrijfsreferenties.

1. Navigeer op de Amazon EMR-console naar EMR Studio.
2. Kies Creëer een studio.
3. Voor Setup opties, selecteer Eigen.
4. Voor Studio naam, voer een naam in.
5. Voor S3-locatie voor Workspace-opslagselecteer Selecteer bestaande locatie en voer de Amazon S3-locatie in.

6. Configureer de toestemmingsgegevens voor de EMR Studio.

Houd er rekening mee dat wanneer u kiest Bekijk toestemmingsdetails voor Dienstverlenende rol, een nieuw pop-upvenster wordt geopend. U moet een IAM-rol maken met hetzelfde beleid als weergegeven in het pop-upvenster. U kunt hetzelfde gebruiken voor uw dienstverlenende rol en IAM-rol.

7. Op de Creëer een studio pagina, voor authenticatieselecteer AWS IAM Identiteitscentrum.
8. Voor Gebruikersrol, kies uw gebruikersrol.
9. Onder Vertrouwde identiteitspropagatieselecteer Schakel vertrouwde identiteitsdoorgifte in.
10. Onder Toegang tot applicatiesselecteer Alleen toegewezen gebruikers en groepen.
11. Voor VPC, voer uw VPC in.
12. Voor subnetten, voer uw subnet in.
13. Voor Beveiliging en toegangselecteer Standaard beveiligingsgroep.
14. Kies Studio maken.

U zou nu een voor IAM Identity Center geschikte EMR Studio op de computer moeten zien Amazon EMR-console.

Nadat de EMR Studio-beheerder klaar is met het maken van de vertrouwde EMR Studio met ondersteuning voor identiteitsdoorgifte en de configuratie heeft opgeslagen, verschijnt het exemplaar van de EMR Studio als een IAM Identity Center-toepassing op de computer. IAM Identity Center-console.

Wijs gebruikers of groepen van IAM Identity Center toe aan EMR Studio

U kunt gebruikers en groepen uit uw IAM Identity Center-directory toewijzen aan de EMR Studio-applicatie na synchronisatie met IAM. De EMR Studio-beheerder beslist welke IAM Identity Center-gebruikers of -groepen in de app moeten worden opgenomen. Als u bijvoorbeeld in totaal tien groepen in IAM Identity Center heeft, maar niet wilt dat ze allemaal toegang hebben tot dit exemplaar van EMR Studio, kunt u selecteren welke groepen u wilt opnemen in de IAM-app met EMR Studio.

Met de volgende stappen wijst u groepen toe aan de IAM Identity Center-toepassing met EMR Studio-functionaliteit:

1. Navigeer op de EMR Studio-console naar de nieuwe EMR Studio-instantie.
2. Op de Toegewezen groepen tabblad, kies Groepen toewijzen.
3. Kies welke IAM Identity Center-groepen u in de applicatie wilt opnemen. U kunt bijvoorbeeld kiezen voor de Data scientist en Data-Engineer-groepen.
4. Kies Klaar .

Hierdoor kan de EMR Studio-beheerder specifieke IAM Identity Center-groepen kiezen waaraan toegang wordt toegewezen tot dit specifieke exemplaar dat is geïntegreerd met IAM Identity Center. Alleen de geselecteerde groepen worden gesynchroniseerd en krijgen toegang, niet alle groepen uit de IAM Identity Center-directory.

Zet Lake Formation op met IAM Identity Center

Om Lake Formation in te stellen met IAM Identity Center, zorg ervoor dat u Okta hebt geconfigureerd als de IdP voor IAM Identity Center en bevestig dat de gebruikers en groepen van Okta nu beschikbaar zijn in IAM Identity Center. Voer vervolgens de volgende stappen uit:

1. Kies op de Lake Formation-console IAM Identity Center-integratie voor Administratie in het navigatievenster.

U ziet het bericht “IAM Identity Center ingeschakeld” samen met de ARN voor de IAM Identity Center-applicatie.

2. Kies creëren.

Binnen een paar minuten ziet u een bericht dat aangeeft dat Lake Formation met succes is geïntegreerd met uw gecentraliseerde IAM-identiteiten van Okta Identity Center. Concreet zal het bericht luiden: “Succesvol gecreëerde identiteitscentrumintegratie met applicatie ARN”, wat aangeeft dat de integratie nu plaatsvindt tussen Lake Formation en de identiteiten die in Okta worden beheerd.

Configureer gedetailleerde, op rollen gebaseerde rechten met behulp van Lake Formation op doorgegeven bedrijfsidentiteiten

We gaan nu gedetailleerde rechten instellen voor onze gegevenstoegang in Lake Formation. Voor dit bericht vatten we de stappen samen die nodig zijn om de bestaande bedrijfsidentiteiten op de Lake Formation-console te gebruiken om relevante controles en beheer van de gegevens te bieden, die we later zullen opvragen via de Athena-queryeditor. Voor meer informatie over het instellen van databases en tabellen in Lake Formation raadpleegt u Aan de slag met AWS Lake Formation

Dit bericht gaat niet in op de volledige details over Lake Formation. In plaats daarvan zullen we ons concentreren op een nieuwe mogelijkheid die is geïntroduceerd in Lake Formation: de mogelijkheid om machtigingen in te stellen op basis van uw bestaande bedrijfsidentiteiten die worden gesynchroniseerd met IAM Identity Center.

Dankzij deze integratie kan Lake Formation het IdP- en toegangsbeheerbeleid van uw organisatie gebruiken om de machtigingen voor datameren te beheren. In plaats van specifiek vanaf het begin machtigingen voor Lake Formation te definiëren, kunt u nu vertrouwen op uw bestaande gebruikers, groepen en toegangscontroles om te bepalen wie toegang heeft tot gegevenscatalogi en onderliggende gegevensbronnen. Over het geheel genomen maakt deze nieuwe integratie met IAM Identity Center het eenvoudig om machtigingen voor uw data lake-workloads te beheren met behulp van uw bedrijfsidentiteiten. Het vermindert de administratieve overhead die gepaard gaat met het op één lijn houden van machtigingen voor afzonderlijke systemen. Naarmate AWS Lake Formation blijft verbeteren, zullen dit soort functies de levensvatbaarheid ervan als een volledig uitgeruste data lake-beheeromgeving verder verbeteren.

In dit bericht hebben we een database gemaakt met de naam zipcode-db-tip en volledige toegang verleend aan de gebruikersgroep Data-Engineer om query's uit te voeren op de onderliggende tabel in de database. Voer de volgende stappen uit:

1. Kies op de Lake Formation-console Verleen data lake-machtigingen.
2. Selecteer voor directeuren IAM Identiteitscentrum.
3. Voor Gebruikers en groepen, selecteer Data-Engineer.
4. Voor LF-tags of catalogusbronnenselecteer Benoemde Data Catalog-resources.
5. Voor databases, kiezen zipcode-db-tip.
6. Voor Tafels, kiezen tip-zipcode.
   

Op dezelfde manier moeten we de gebruikers en groepen de relevante toegang tot de onderliggende tabellen bieden, zodat ze query's op de gegevens kunnen uitvoeren.

7. Herhaal de voorgaande stappen om toegang te verlenen tot de Data-Engineer-groep, zodat u query's op de gegevens kunt uitvoeren.
8. Voor Tabelrechtenselecteer kies, Beschrijven en Super.
9. Voor Gegevensmachtigingenselecteer Alle gegevenstoegang.

U kunt selectieve toegang verlenen tot rijen en opmerkingen volgens uw specifieke vereisten.

Werkgroepen opzetten in Athena

Athena-werkgroepen zijn een AWS-functie waarmee u gegevens en zoekopdrachten binnen een AWS-account kunt isoleren. Het biedt een manier om gegevens te scheiden en de toegang te controleren, zodat elke groep alleen toegang heeft tot de gegevens die voor hen relevant zijn. Athena-werkgroepen zijn handig voor organisaties die de toegang tot gevoelige gegevenssets willen beperken of willen voorkomen dat query's elkaar beïnvloeden. Wanneer u een werkgroep maakt, kunt u hieraan gebruikers en rollen toewijzen. Query's die binnen een werkgroep worden gestart, worden uitgevoerd met de toegangscontroles en instellingen die voor die werkgroep zijn geconfigureerd. Ze maken beheer, beveiliging en resourcecontroles op een gedetailleerd niveau mogelijk. Athena-werkgroepen zijn een belangrijke functie voor het beheren en optimaliseren van Athena-gebruik in grote organisaties.

In dit bericht creëren we een werkgroep speciaal voor leden van ons Data Engineering-team. Later, wanneer u bent ingelogd onder Data Engineer-gebruikersprofielen, voeren we vanuit deze werkgroep query's uit om aan te tonen hoe de toegang tot Athena-werkgroepen kan worden beperkt op basis van het gebruikersprofiel. Hierdoor kan governancebeleid worden afgedwongen, zodat gebruikers alleen toegang hebben tot toegestane datasets en query's op basis van hun rol.

1. Kies op de Athena-console Werkgroepen voor Administratie in het navigatievenster.
2. Kies Werkgroep maken.
3. Voor authenticatieselecteer AWS Identiteitscentrum.
4. Voor Servicerol om Athena te autoriserenselecteer Maak en gebruik een nieuwe servicerol.
5. Voor Naam van servicerol, voer een naam in voor uw rol.
   
6. Voor Locatie van het zoekresultaat, voer een Amazon S3-locatie in voor het opslaan van uw Athena-queryresultaten.

Dit is een verplicht veld wanneer u IAM Identity Center opgeeft voor authenticatie.

Nadat u de werkgroep hebt gemaakt, moet u er gebruikers en groepen aan toewijzen. Voor dit bericht maken we een werkgroep met de naam data-engineer en wijzen we de groep Data-Engineer toe (gepropageerd via de vertrouwde identiteitspropagatie van IAM Identity Center).

7. Op de Groepen tabblad op de gegevenspagina van de data-engineer, selecteer de gebruikersgroep die u wilt toewijzen en kies Groepen toewijzen.
   

Stel Amazon S3-toegangsrechten in om de queryresultaten voor elke personeelsidentiteit te scheiden

Vervolgens hebben we Amazon S3-subsidies ingesteld.

U kunt de volgende video bekijken om de subsidies in te stellen of ernaar te verwijzen Gebruik Amazon EMR met S3 Access Grants om Spark-toegang tot Amazon S3 te schalen voor instructies.

Start het inloggen via AWS-gefedereerde toegang met behulp van de IAM Identity Center-toegangsportal

Nu zijn we klaar om verbinding te maken met EMR Studio en federatieve login met behulp van IAM Identity Center-authenticatie:

1. Navigeer op de IAM Identity Center-console naar het dashboard en kies de URL van de AWS-toegangsportal.
2. Een browserpop-up leidt u naar de Okta-inlogpagina, waar u uw Okta-inloggegevens invoert.
3. Na succesvolle authenticatie wordt u als federatieve gebruiker ingelogd op de AWS-console.
4. Kies de EMR Studio-applicatie.
5. Nadat u naar EMR Studio bent gefedereerd, kiest u Query-editor in het navigatievenster om een ​​nieuw tabblad te openen met de Athena-query-editor.

In de volgende video ziet u een federatieve gebruiker die de URL van de AWS-toegangsportal gebruikt om toegang te krijgen tot EMR Studio met behulp van IAM Identity Center-authenticatie.

Voer query's uit met gedetailleerde toegang in de editor

In EMR Studio kan de gebruiker de Athena-query-editor openen en vervolgens de juiste werkgroep in de query-editor opgeven om de query's uit te voeren.

De data engineer kan alleen de tabellen opvragen waartoe de gebruiker toegang heeft. De queryresultaten verschijnen onder het S3-voorvoegsel, dat afzonderlijk is voor elke personeelsidentiteit.

Bekijk het end-to-end audittraject van de identiteit van uw personeel

De IAM Identity Center-beheerder kan kijken naar de downstream-apps die worden vertrouwd voor identiteitsdoorgifte, zoals weergegeven in de volgende schermafbeelding van de IAM Identity Center-console.

Op de CloudTrail-console geeft de gebeurtenisgeschiedenis de gebeurtenisnaam en de bron weer waartoe de specifieke personeelsidentiteit toegang heeft.

Wanneer u een evenement in CloudTrail kiest, kunnen de auditors het unieke gebruikers-ID zien dat toegang heeft gehad tot de onderliggende AWS Analytics-services.

Opruimen

Voer de volgende stappen uit om uw bronnen op te schonen:

1. Verwijder de Okta-applicaties die u hebt gemaakt om te integreren met IAM Identity Center.
2. IAM Identity Center-configuratie verwijderen.
3. Verwijder de EMR Studio die u hebt gemaakt om te testen.
4. Verwijder de IAM-rol die u hebt gemaakt voor de integratie van IAM Identity Center en EMR Studio.

Conclusie

In dit bericht hebben we u een gedetailleerd stappenplan laten zien om uw personeelsidentiteit naar EMR Studio te brengen en de identiteit door te geven aan verbonden AWS-applicaties zoals Athena en Lake Formation. Deze oplossing biedt uw personeel een vertrouwde aanmeldingservaring, zonder dat u extra inloggegevens hoeft te onthouden of complexe roltoewijzingen voor verschillende analysesystemen hoeft bij te houden. Bovendien biedt het auditors end-to-end inzicht in de identiteit van medewerkers en hun toegang tot analysediensten.

Voor meer informatie over de verspreiding van vertrouwde identiteiten en EMR Studio raadpleegt u Integreer Amazon EMR met AWS IAM Identity Center.

Over de auteurs

Manjit Chakraborty is een Senior Solutions Architect bij AWS. Hij is een doorgewinterde en resultaatgerichte professional met uitgebreide ervaring in het financiële domein en heeft met klanten gewerkt aan het adviseren, ontwerpen, leiden en implementeren van kernbedrijfsoplossingen over de hele wereld. In zijn vrije tijd houdt Manjit van vissen, vechtsporten beoefenen en spelen met zijn dochter.

Neeraj Roy is een Principal Solutions Architect bij AWS, gevestigd in Londen. Hij werkt samen met klanten van Global Financial Services om hun AWS-traject te versnellen. In zijn vrije tijd leest hij graag en brengt hij graag tijd door met zijn gezin.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/bring-your-workforce-identity-to-amazon-emr-studio-and-athena/