Dette innlegget er skrevet sammen med Toney Thomas og Ben Vengerovsky fra Bluestone.

I den stadig utviklende verden av finans og utlån, har behovet for sanntids, pålitelige og sentraliserte data blitt overordnet. Bluestone, en ledende finansinstitusjon, la ut på en transformativ reise for å modernisere sin datainfrastruktur og overgang til en datadrevet organisasjon. I dette innlegget utforsker vi hvordan Bluestone bruker AWS-tjenester, spesielt skydatavarehustjenesten Amazon RedShift, for å implementere en banebrytende datamaskeringsarkitektur, som revolusjonerer måten de administrerer, får tilgang til og utnytter datamidlene sine på.

Utfordringen: arv til modernisering

Bluestone opererte med en eldre SQL-basert utlånsplattform, som illustrert i følgende diagram. For å forbli konkurransedyktige og lydhøre overfor endrede markedsdynamikk, bestemte de seg for å modernisere infrastrukturen. Denne moderniseringen innebar overgang til en programvare som en tjeneste (SaaS) basert låneoriginering og kjerneutlånsplattformer. Fordi disse nye systemene produserte enorme mengder data, dukket utfordringen opp med å sikre en enkelt kilde til sannhet for alle dataforbrukere.

Fødsel av Bluestone Data Platform

For å møte behovet for sentraliserte, skalerbare og styrbare data, introduserte Bluestone Bluestone Data Platform. Denne plattformen ble knutepunktet for alle datarelaterte aktiviteter på tvers av organisasjonen. AWS spilte en sentral rolle i å bringe denne visjonen ut i livet.

Følgende er nøkkelkomponentene i Bluestone Data Platform:

• Datanettingsarkitektur – Bluestone tok i bruk en datanettingsarkitektur, et paradigme som fordeler dataeierskap på tvers av ulike forretningsenheter. Hver dataprodusent i organisasjonen har sin egen datainnsjø i Apache Hudi-format, noe som sikrer datasuverenitet og autonomi.
• Firelags datainnsjø og datavarehusarkitektur – Arkitekturen består av fire lag, inkludert det analytiske laget, som inneholder spesialbygde fakta og dimensjonsdatasett som er vert i Amazon Redshift. Disse datasettene er sentrale for rapportering og analysebruk, drevet av tjenester som Amazon Redshift og verktøy som Power BI.
• Maskinlæringsanalyse – Ulike forretningsenheter, som service, utlån, salg og markedsføring, finans og kredittrisiko, bruker maskinlæringsanalyse, som kjører på toppen av den dimensjonale modellen i datainnsjøen og datavarehuset. Dette muliggjør datadrevet beslutningstaking på tvers av organisasjonen.
• Styring og selvbetjening – Bluestone Data Platform gir en styrt, kuratert og selvbetjent vei for alle databrukssaker. AWS-tjenester som AWS Lake formasjon i forbindelse med Atlan bidra til å styre datatilgang og retningslinjer.
• Datakvalitetsrammeverk – For å sikre datapålitelighet implementerte de et datakvalitetsrammeverk. Den vurderer kontinuerlig datakvaliteten og synkroniserer kvalitetspoeng til Atlans styringsverktøy, og skaper tillit til datamidlene i plattformen.

Følgende diagram illustrerer arkitekturen til deres oppdaterte dataplattform.

AWS og tredjepartstjenester

AWS spilte en sentral og mangefasettert rolle i å styrke Bluestones dataplattform til å trives. Følgende AWS og tredjepartstjenester var medvirkende til å forme Bluestones reise mot å bli en datadrevet organisasjon:

• Amazon RedShift – Bluestone utnyttet kraften til Amazon Redshift og dens funksjoner som datadeling å opprette et sentralisert depot av dataressurser. Dette strategiske grepet muliggjorde sømløs datadeling og samarbeid på tvers av ulike forretningsenheter, og banet vei for mer informert og datadrevet beslutningstaking.
• Innsjøformasjon – Lake Formation dukket opp som en hjørnestein i Bluestones strategi for datastyring. Det spilte en kritisk rolle i å håndheve datatilgangskontroller og implementere datapolicyer. Med Lake Formation oppnådde Bluestone beskyttelse av sensitive data og overholdelse av regulatoriske krav.
• Overvåking av datakvalitet – For å opprettholde datapålitelighet og nøyaktighet, implementerte Bluestone et robust rammeverk for datakvalitet. AWS-tjenester var essensielle i denne bestrebelsen, fordi de komplementerte åpen kildekodeverktøy for å etablere et internt overvåkingssystem for datakvalitet. Dette systemet vurderer kontinuerlig datakvaliteten, og gir tillit til påliteligheten til organisasjonens dataressurser.
• Verktøy for datastyring – Bluestone valgte Atlan, tilgjengelig gjennom AWS Marketplace, for å implementere omfattende datastyringsverktøy. Denne SaaS-tjenesten spilte en sentral rolle i å integrere flere forretningsteam og fremme en datasentrisk kultur i Bluestone. Det gjorde teamene i stand til å effektivt administrere og styre dataressurser.
• Orkestrering ved hjelp av Amazon MWAA – Bluestone var sterkt avhengig av Amazon administrerte arbeidsflyter for Apache Airflow (Amazon MWAA) for å administrere arbeidsflyt-orkestreringer effektivt. Dette orkestreringsrammeverket er sømløst integrert med ulike datakvalitetsregler, som ble evaluert ved hjelp av Store forventninger operatører innenfor Airflow-miljøet.
• AWS DMS – Blåstein brukt AWS Database Migration Service (AWS DMS) for å strømlinjeforme konsolideringen av eldre data til dataplattformen. Denne tjenesten muliggjorde jevn overføring av data fra eldre SQL Server-varehus til datainnsjøen og datavarehuset, og ga datakontinuitet og tilgjengelighet.
• AWS Lim – Bluestone brukte AWS Lim PySpark-miljø for implementering av dataekstraksjon, transformasjon og lasting (ETL) prosesser. Det spilte en sentral rolle i behandlingen av data som stammer fra forskjellige kildesystemer, og ga datakonsistens og egnethet for analytisk bruk.
• AWS Lim Data Catalog – Bluestone sentraliserte databehandlingen deres ved å bruke AWS Lim Data Catalog. Denne katalogen fungerte som ryggraden for å administrere dataressurser innenfor Bluestone-dataområdet, og forbedret dataoppdagbarhet og tilgjengelighet.
• AWS CloudTrail – Bluestone implementert AWS CloudTrail å overvåke og revidere plattformaktiviteter strengt. Denne sikkerhetsfokuserte tjenesten ga viktig innsyn i plattformhandlinger, og ga samsvar og sikkerhet i dataoperasjoner.

AWSs omfattende pakke med tjenester har vært integrert i å drive Bluestone Data Platform mot datadrevet suksess. Disse tjenestene har ikke bare muliggjort effektiv datastyring, kvalitetssikring og orkestrering, men har også fremmet en kultur med datasentrisitet i organisasjonen, noe som til slutt har ført til bedre beslutningstaking og konkurransefortrinn. Bluestones reise viser kraften til AWS i å transformere organisasjoner til datadrevne ledere i sine respektive bransjer.

Bluestone dataarkitektur

Bluestones dataarkitektur har gjennomgått en dynamisk transformasjon, og har gått over fra et innsjøhus-rammeverk til en datanett-arkitektur. Denne utviklingen ble drevet av organisasjonens behov for dataprodukter med distribuert eierskap og nødvendigheten av en sentralisert mekanisme for å styre og få tilgang til disse dataproduktene på tvers av ulike forretningsenheter.

Følgende diagram illustrerer løsningsarkitekturen og dens bruk av AWS og tredjepartstjenester.

La oss gå dypere inn i hvordan dette arkitekturskiftet har utspilt seg og hva det innebærer:

• Behovet for endring – Katalysatoren for denne transformasjonen var den økende etterspørselen etter diskrete dataprodukter skreddersydd til de unike kravene til hver forretningsenhet i Bluestone. Fordi disse forretningsenhetene genererte sine egne dataressurser på sine respektive domener, lå utfordringen i å effektivt administrere, styre og få tilgang til disse forskjellige datalagrene. Bluestone anerkjente behovet for en mer strukturert og skalerbar tilnærming.
• Dataprodukter med distribuert eierskap – Som svar på denne etterspørselen, tok Bluestone i bruk en datamaskeringsarkitektur, som gjorde det mulig å lage distinkte dataprodukter tilpasset hver forretningsenhets behov. Hvert av disse dataproduktene eksisterer uavhengig, og genererer og kuraterer dataressurser som er spesifikke for sitt domene. Disse dataproduktene fungerer som individuelle datahuber, og sikrer dataautonomi og spesialisering.
• Sentralisert katalogintegrasjon – For å effektivisere oppdagelsen og tilgjengeligheten til datamidlene som er spredt over disse dataproduktene, introduserte Bluestone en sentralisert katalog. Denne katalogen fungerer som et enhetlig depot der alle dataprodukter registrerer sine respektive dataressurser. Den fungerer som en kritisk komponent for dataoppdagelse og -administrasjon.
• Integrasjon av datastyringsverktøy – Å sikre datastyring og avstamningssporing på tvers av organisasjonen var en annen sentral vurdering. Bluestone implementerte et robust datastyringsverktøy som kobles til den sentraliserte katalogen. Denne integrasjonen sørger for at den overordnede avstamningen av dataressurser er omfattende kartlagt og fanget opp. Datastyringsprosesser håndheves dermed konsekvent, og garanterer datakvalitet og samsvar.
• Amazon Redshift datadeling for kontroll og tilgang – For å lette kontrollert og sikker tilgang til dataressurser som ligger i individuelle dataprodukt Redshift-forekomster, brukte Bluestone Amazon Redshift-datadeling. Denne funksjonen gjør at dataressurser kan eksponeres og deles selektivt, og gir granulær kontroll over tilgang samtidig som datasikkerhet og integritet opprettholdes.

I hovedsak representerer Bluestones reise fra et innsjøhus til en datamaskeringsarkitektur et strategisk skifte i dataadministrasjon og styring. Denne transformasjonen gir ulike forretningsenheter mulighet til å operere autonomt innenfor sine datadomener, samtidig som den sikrer sentralisert kontroll, styring og tilgjengelighet. Integreringen av en sentralisert katalog og datastyringsverktøy, kombinert med fleksibiliteten til Amazon Redshift-datadeling, skaper et harmonisk økosystem der datadrevet beslutningstaking trives, og til syvende og sist bidrar til Bluestones suksess i det stadig utviklende økonomiske landskapet.

konklusjonen

Bluestones reise fra et eldre SQL-basert system til en moderne datamaskeringsarkitektur på AWS har forbedret måten organisasjonen samhandler med data på og posisjonert dem som et datadrevet kraftsenter i finansbransjen. Ved å omfavne AWS-tjenester har Bluestone med suksess oppnådd en sentralisert, skalerbar og styrbar dataplattform som gir teamene deres mulighet til å ta informerte beslutninger, drive innovasjon og ligge i forkant i det konkurransedyktige landskapet. Denne transformasjonen fungerer som et overbevisende bevis på at Amazon Redshift og AWS Cloud datadelingsfunksjoner er en flott vei for organisasjoner som ønsker å legge ut på sine egne datadrevne reiser med AWS.

Om forfatterne

Toney Thomas er en dataarkitekt og dataingeniørleder hos Bluestone, kjent for sin rolle i å forestille seg og skape selskapets banebrytende datastrategi. Med et strategisk fokus på å utnytte kraften til avansert teknologi for å takle intrikate forretningsutfordringer, leder Toney et dynamisk team av dataingeniører, rapporteringsingeniører, kvalitetssikringsspesialister og forretningsanalytikere hos Bluestone. Ledelsen hans strekker seg til å drive implementeringen av robuste datastyringsrammer på tvers av ulike organisasjonsenheter. Under hans veiledning har Bluestone oppnådd bemerkelsesverdig suksess, inkludert utrulling av innovative plattformer som et fullstendig styrt datanettverksdatasystem med innebygde datakvalitetsmekanismer, som er sømløst på linje med organisasjonens forpliktelse til datademokratisering og fortreffelighet.

Ben Vengerovsky er produktsjef for dataplattformer hos Bluestone. Han brenner for å bruke skyteknologi for å revolusjonere selskapets datainfrastruktur. Med bakgrunn fra boliglån og en dyp forståelse av AWS-tjenester, spesialiserer Ben seg på å designe skalerbare og effektive dataløsninger som driver forretningsvekst og forbedrer kundeopplevelser. Han trives med å samarbeide med tverrfunksjonelle team for å oversette forretningskrav til innovative tekniske løsninger som styrker datadrevet beslutningstaking.

Rada Stanic er Chief Technologist hos Amazon Web Services, hvor hun hjelper ANZ-kunder på tvers av ulike segmenter med å løse forretningsproblemer ved hjelp av AWS Cloud-teknologier. Hennes spesielle interesseområder er dataanalyse, maskinlæring/AI og applikasjonsmodernisering.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/