Dit bericht is geschreven in samenwerking met Toney Thomas en Ben Vengerovsky van Bluestone.

In de steeds evoluerende wereld van financiën en kredietverlening is de behoefte aan realtime, betrouwbare en gecentraliseerde gegevens van cruciaal belang geworden. Bluestone, een toonaangevende financiële instelling, begon aan een transformatieve reis om haar data-infrastructuur te moderniseren en over te stappen naar een datagestuurde organisatie. In dit bericht onderzoeken we hoe Bluestone AWS-services gebruikt, met name de clouddatawarehousing-service Amazon roodverschuiving, om een ​​geavanceerde data mesh-architectuur te implementeren, die een revolutie teweegbrengt in de manier waarop zij hun data-assets beheren, openen en gebruiken.

De uitdaging: erfenis van de modernisering

Bluestone werkte met een oud, op SQL gebaseerd leenplatform, zoals geïllustreerd in het volgende diagram. Om concurrerend te blijven en te kunnen reageren op de veranderende marktdynamiek, besloten ze hun infrastructuur te moderniseren. Deze modernisering omvatte de overgang naar op software as a service (SaaS) gebaseerde leningproductie- en kernleningsplatforms. Omdat deze nieuwe systemen enorme hoeveelheden data produceerden, ontstond de uitdaging om één enkele bron van waarheid voor alle dataconsumenten te garanderen.

Geboorte van het Bluestone Dataplatform

Om tegemoet te komen aan de behoefte aan gecentraliseerde, schaalbare en bestuurbare data introduceerde Bluestone het Bluestone Data Platform. Dit platform werd de hub voor alle datagerelateerde activiteiten binnen de organisatie. AWS speelde een cruciale rol bij het tot leven brengen van deze visie.

Dit zijn de belangrijkste componenten van het Bluestone Data Platform:

• Data mesh-architectuur – Bluestone heeft een data mesh-architectuur aangenomen, een paradigma dat het eigendom van data over verschillende bedrijfseenheden verdeelt. Elke dataproducent binnen de organisatie heeft zijn eigen datameer in Apache Hudi-formaat, waardoor datasoevereiniteit en autonomie worden gewaarborgd.
• Vierlaagse data lake- en datawarehouse-architectuur – De architectuur bestaat uit vier lagen, waaronder de analytische laag, die speciaal gebouwde feiten en dimensiedatasets herbergt die worden gehost in Amazon Redshift. Deze datasets zijn cruciaal voor gebruiksscenario's voor rapportage en analyse, mogelijk gemaakt door services als Amazon Redshift en tools als Power BI.
• Machine learning-analyse – Verschillende bedrijfsonderdelen, zoals Servicing, Lending, Sales & Marketing, Finance en Credit Risk, maken gebruik van machine learning analytics, die bovenop het dimensionale model binnen het datameer en datawarehouse draaien. Dit maakt datagestuurde besluitvorming binnen de hele organisatie mogelijk.
• Bestuur en zelfbediening – Het Bluestone Data Platform biedt een beheerde, beheerde en zelfbedieningsmogelijkheid voor alle gevallen van datagebruik. AWS-services zoals AWS Lake-formatie in combinatie met Atlan helpen bij het beheren van gegevenstoegang en -beleid.
• Kader voor gegevenskwaliteit – Om de betrouwbaarheid van de gegevens te garanderen, hebben ze een raamwerk voor gegevenskwaliteit geïmplementeerd. Het beoordeelt voortdurend de datakwaliteit en synchroniseert kwaliteitsscores met de Atlan-governancetool, waardoor vertrouwen wordt gewekt in de data-assets binnen het platform.

Het volgende diagram illustreert de architectuur van hun bijgewerkte dataplatform.

AWS en diensten van derden

AWS speelde een cruciale en veelzijdige rol bij het laten floreren van het dataplatform van Bluestone. De volgende AWS-diensten en diensten van derden hebben een belangrijke rol gespeeld bij het vormgeven van de reis van Bluestone naar een datagedreven organisatie:

• Amazon roodverschuiving – Bluestone benutte de kracht van Amazon Redshift en zijn functies zoals het delen van gegevens om een ​​gecentraliseerde opslagplaats van gegevensmiddelen te creëren. Deze strategische stap maakte een naadloze uitwisseling van gegevens en samenwerking tussen diverse bedrijfseenheden mogelijk, waardoor de weg werd vrijgemaakt voor beter geïnformeerde en datagestuurde besluitvorming.
• Vorming van het meer – Lake Formation kwam naar voren als een hoeksteen in de data governance-strategie van Bluestone. Het speelde een cruciale rol bij het afdwingen van controles op de toegang tot gegevens en het implementeren van gegevensbeleid. Met Lake Formation heeft Bluestone de bescherming van gevoelige gegevens bereikt en voldaan aan de wettelijke vereisten.
• Bewaking van de gegevenskwaliteit – Om de betrouwbaarheid en nauwkeurigheid van de gegevens te behouden, heeft Bluestone een robuust raamwerk voor gegevenskwaliteit geïmplementeerd. AWS-diensten waren essentieel in dit streven, omdat ze een aanvulling waren op open source-tools om een ​​intern systeem voor monitoring van de gegevenskwaliteit op te zetten. Dit systeem beoordeelt voortdurend de gegevenskwaliteit en biedt vertrouwen in de betrouwbaarheid van de gegevensmiddelen van de organisatie.
• Hulpmiddel voor gegevensbeheer – Bluestone koos voor Atlan, verkrijgbaar via AWS Marketplace, om uitgebreide tools voor gegevensbeheer te implementeren. Deze SaaS-service speelde een cruciale rol bij het aan boord gaan van meerdere bedrijfsteams en het bevorderen van een datacentrische cultuur binnen Bluestone. Het stelde teams in staat om data-assets efficiënt te beheren en te beheren.
• Orkestratie met behulp van Amazon MWAA – Er werd zwaar op Bluestone vertrouwd Door Amazon beheerde workflows voor Apache Airflow (Amazon MWAA) om workfloworkestraties efficiënt te beheren. Dit orkestratieframework integreerde naadloos met verschillende datakwaliteitsregels, die werden geëvalueerd met behulp van Great Expectations operators binnen de Airflow-omgeving.
• AWS DMS – Blauwe hardsteen gebruikt AWS-databasemigratieservice (AWS DMS) om de consolidatie van oudere gegevens in het dataplatform te stroomlijnen. Deze service vergemakkelijkte de soepele overdracht van gegevens van oudere SQL Server-magazijnen naar het datameer en datawarehouse, waardoor gegevenscontinuïteit en toegankelijkheid werd geboden.
• AWS lijm – Bluestone gebruikte de AWS lijm PySpark-omgeving voor het implementeren van gegevensextractie-, transformatie- en laadprocessen (ETL). Het speelde een cruciale rol bij de verwerking van gegevens afkomstig uit verschillende bronsystemen, waardoor de gegevens consistentie en geschiktheid voor analytisch gebruik kregen.
• AWS-lijmgegevenscatalogus – Bluestone centraliseerde hun databeheer met behulp van de AWS-lijmgegevenscatalogus. Deze catalogus diende als de ruggengraat voor het beheer van data-assets binnen het Bluestone-datadomein, waardoor de vindbaarheid en toegankelijkheid van data werd verbeterd.
• AWS CloudTrail – Blauwe steen geïmplementeerd AWS CloudTrail om platformactiviteiten rigoureus te monitoren en te auditen. Deze op beveiliging gerichte service bood essentieel inzicht in platformacties en zorgde voor compliance en beveiliging bij databewerkingen.

Het uitgebreide dienstenpakket van AWS is een integraal onderdeel geweest van het voortstuwen van het Bluestone Data Platform naar datagedreven succes. Deze diensten hebben niet alleen efficiënt databeheer, kwaliteitsborging en orkestratie mogelijk gemaakt, maar hebben ook een cultuur van datacentriciteit binnen de organisatie bevorderd, wat uiteindelijk heeft geleid tot betere besluitvorming en concurrentievoordeel. De reis van Bluestone toont de kracht van AWS bij het transformeren van organisaties tot datagestuurde leiders in hun respectievelijke sectoren.

Bluestone data-architectuur

De data-architectuur van Bluestone heeft een dynamische transformatie ondergaan, waarbij de overgang is gemaakt van een lake house-framework naar een data mesh-architectuur. Deze evolutie werd gedreven door de behoefte van de organisatie aan dataproducten met gedistribueerd eigendom en de noodzaak van een gecentraliseerd mechanisme om deze dataproducten over verschillende bedrijfseenheden te beheren en er toegang toe te krijgen.

Het volgende diagram illustreert de oplossingsarchitectuur en het gebruik ervan van AWS en services van derden.

Laten we dieper ingaan op hoe deze architectuurverschuiving zich heeft ontwikkeld en wat deze met zich meebrengt:

• De behoefte aan verandering – De katalysator voor deze transformatie was de groeiende vraag naar discrete dataproducten afgestemd op de unieke vereisten van elke business unit binnen Bluestone. Omdat deze bedrijfseenheden hun eigen data-assets in hun respectievelijke domeinen genereerden, lag de uitdaging in het efficiënt beheren, beheren en benaderen van deze diverse datastores. Bluestone erkende de noodzaak van een meer gestructureerde en schaalbare aanpak.
• Dataproducten met gedistribueerd eigendom – Als antwoord op deze vraag adopteerde Bluestone een data mesh-architectuur, die de creatie van afzonderlijke dataproducten mogelijk maakte, afgestemd op de behoeften van elke business unit. Elk van deze dataproducten bestaat onafhankelijk en genereert en beheert data-assets die specifiek zijn voor het betreffende domein. Deze dataproducten dienen als individuele datahubs en zorgen voor data-autonomie en specialisatie.
• Gecentraliseerde catalogusintegratie – Om de ontdekking en toegankelijkheid van de data-assets die over deze dataproducten verspreid zijn te stroomlijnen, heeft Bluestone een gecentraliseerde catalogus geïntroduceerd. Deze catalogus fungeert als een uniforme opslagplaats waar alle dataproducten hun respectieve data-assets registreren. Het dient als een cruciaal onderdeel voor het ontdekken en beheren van gegevens.
• Integratie van tools voor gegevensbeheer – Het garanderen van gegevensbeheer en het volgen van de afstammingslijnen in de hele organisatie was een andere cruciale overweging. Bluestone implementeerde een robuuste tool voor gegevensbeheer die verbinding maakt met de gecentraliseerde catalogus. Deze integratie zorgt ervoor dat de overkoepelende lijn van data-assets uitgebreid in kaart wordt gebracht en vastgelegd. Data governance-processen worden daardoor consistent afgedwongen, waardoor de datakwaliteit en compliance worden gegarandeerd.
• Amazon Redshift-gegevens delen voor controle en toegang – Om gecontroleerde en veilige toegang te vergemakkelijken tot data-assets die zich in individuele Redshift-instances van dataproducten bevinden, gebruikte Bluestone het delen van Amazon Redshift-gegevens. Dankzij deze mogelijkheid kunnen gegevensassets selectief worden openbaar gemaakt en gedeeld, waardoor gedetailleerde controle over de toegang wordt geboden terwijl de gegevensbeveiliging en -integriteit behouden blijven.

In wezen vertegenwoordigt de reis van Bluestone van een lake house naar een data mesh-architectuur een strategische verschuiving in databeheer en -beheer. Deze transformatie stelt verschillende bedrijfseenheden in staat om autonoom binnen hun datadomeinen te opereren en tegelijkertijd gecentraliseerde controle, governance en toegankelijkheid te garanderen. De integratie van een gecentraliseerde catalogus en databeheertools, gekoppeld aan de flexibiliteit van het delen van gegevens door Amazon Redshift, creëert een harmonieus ecosysteem waarin datagestuurde besluitvorming gedijt, wat uiteindelijk bijdraagt ​​aan het succes van Bluestone in het steeds evoluerende financiële landschap.

Conclusie

De reis van Bluestone van een verouderd SQL-gebaseerd systeem naar een moderne data mesh-architectuur op AWS heeft de manier waarop de organisatie met data omgaat verbeterd en hen gepositioneerd als een datagestuurde krachtpatser in de financiële sector. Door AWS-diensten te omarmen, heeft Bluestone met succes een gecentraliseerd, schaalbaar en bestuurbaar dataplatform gerealiseerd dat zijn teams in staat stelt weloverwogen beslissingen te nemen, innovatie te stimuleren en voorop te blijven in het concurrentielandschap. Deze transformatie dient als overtuigend bewijs dat de mogelijkheden voor het delen van gegevens van Amazon Redshift en AWS Cloud een geweldig pad zijn voor organisaties die hun eigen datagestuurde reis met AWS willen beginnen.

Over de auteurs

Toon Thomas is een Data Architect en Data Engineering Lead bij Bluestone, bekend om zijn rol bij het bedenken en bedenken van de baanbrekende datastrategie van het bedrijf. Met een strategische focus op het benutten van de kracht van geavanceerde technologie om ingewikkelde zakelijke uitdagingen aan te pakken, leidt Toney een dynamisch team van data-ingenieurs, rapportage-ingenieurs, kwaliteitsborgingsspecialisten en bedrijfsanalisten bij Bluestone. Zijn leiderschap strekt zich uit tot het aansturen van de implementatie van robuuste data governance-frameworks in diverse organisatie-eenheden. Onder zijn leiding heeft Bluestone opmerkelijke successen geboekt, waaronder de inzet van innovatieve platforms zoals een volledig beheerd data mesh bedrijfsdatasysteem met ingebedde datakwaliteitsmechanismen, die naadloos aansluiten bij de inzet van de organisatie voor datademocratisering en uitmuntendheid.

Ben Vengerovski is dataplatformproductmanager bij Bluestone. Hij heeft een passie voor het gebruik van cloudtechnologie om een ​​revolutie teweeg te brengen in de data-infrastructuur van het bedrijf. Met een achtergrond in hypotheekleningen en een diepgaand inzicht in AWS-diensten is Ben gespecialiseerd in het ontwerpen van schaalbare en efficiënte dataoplossingen die de bedrijfsgroei stimuleren en de klantervaring verbeteren. Hij gedijt het beste bij het samenwerken met multifunctionele teams om zakelijke vereisten te vertalen naar innovatieve technische oplossingen die datagestuurde besluitvorming mogelijk maken.

Rada Stanic is hoofdtechnoloog bij Amazon Web Services, waar ze ANZ-klanten in verschillende segmenten helpt hun zakelijke problemen op te lossen met behulp van AWS Cloud-technologieën. Haar speciale interessegebieden zijn data-analyse, machine learning/AI en modernisering van applicaties.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/