Dieser Beitrag wurde gemeinsam mit Toney Thomas und Ben Vengerovsky von Bluestone verfasst.

In der sich ständig weiterentwickelnden Welt der Finanz- und Kreditvergabe ist der Bedarf an zuverlässigen und zentralisierten Echtzeitdaten von größter Bedeutung geworden. Bluestone, ein führendes Finanzinstitut, begab sich auf eine transformative Reise zur Modernisierung seiner Dateninfrastruktur und zum Übergang zu einer datengesteuerten Organisation. In diesem Beitrag untersuchen wir, wie Bluestone AWS-Dienste nutzt, insbesondere den Cloud-Data-Warehousing-Dienst Amazon RedShift, um eine hochmoderne Datennetzarchitektur zu implementieren und damit die Art und Weise zu revolutionieren, wie sie ihre Datenbestände verwalten, darauf zugreifen und sie nutzen.

Die Herausforderung: Vermächtnis der Modernisierung

Bluestone arbeitete mit einer alten SQL-basierten Kreditplattform, wie im folgenden Diagramm dargestellt. Um wettbewerbsfähig zu bleiben und auf die sich ändernde Marktdynamik reagieren zu können, beschlossen sie, ihre Infrastruktur zu modernisieren. Diese Modernisierung umfasste den Übergang zu einer Software-as-a-Service (SaaS)-basierten Kreditvergabe- und Kernkreditplattform. Da diese neuen Systeme riesige Datenmengen produzierten, stellte sich die Herausforderung, eine einzige Quelle der Wahrheit für alle Datenkonsumenten sicherzustellen.

Geburt der Bluestone-Datenplattform

Um den Bedarf an zentralisierten, skalierbaren und kontrollierbaren Daten zu decken, hat Bluestone die Bluestone Data Platform eingeführt. Diese Plattform wurde zur Drehscheibe für alle datenbezogenen Aktivitäten im gesamten Unternehmen. AWS spielte eine entscheidende Rolle bei der Verwirklichung dieser Vision.

Im Folgenden sind die Schlüsselkomponenten der Bluestone Data Platform aufgeführt:

• Datenmaschenarchitektur – Bluestone hat eine Data-Mesh-Architektur eingeführt, ein Paradigma, das den Dateneigentum auf verschiedene Geschäftsbereiche verteilt. Jeder Datenproduzent innerhalb der Organisation verfügt über einen eigenen Datensee im Apache Hudi-Format, der Datensouveränität und Autonomie gewährleistet.
• Vierschichtige Data-Lake- und Data-Warehouse-Architektur – Die Architektur besteht aus vier Schichten, einschließlich der Analyseschicht, die speziell erstellte Fakten- und Dimensionsdatensätze enthält, die in Amazon Redshift gehostet werden. Diese Datensätze sind von entscheidender Bedeutung für Berichts- und Analyseanwendungsfälle und werden von Diensten wie Amazon Redshift und Tools wie Power BI unterstützt.
• Analyse des maschinellen Lernens – Verschiedene Geschäftsbereiche wie Servicing, Lending, Sales & Marketing, Finance und Credit Risk nutzen maschinelle Lernanalysen, die auf dem Dimensionsmodell im Data Lake und Data Warehouse laufen. Dies ermöglicht eine datengesteuerte Entscheidungsfindung im gesamten Unternehmen.
• Governance und Selbstbedienung – Die Bluestone Data Platform bietet einen kontrollierten, kuratierten und Self-Service-Weg für alle Datenanwendungsfälle. AWS-Dienste wie AWS Lake-Formation in Verbindung mit Atlan Helfen Sie bei der Steuerung des Datenzugriffs und der Richtlinien.
• Datenqualitätsrahmen – Um die Datenzuverlässigkeit zu gewährleisten, haben sie ein Datenqualitäts-Framework implementiert. Es bewertet kontinuierlich die Datenqualität und synchronisiert Qualitätsbewertungen mit dem Atlan-Governance-Tool, wodurch Vertrauen in die Datenbestände innerhalb der Plattform geschaffen wird.

Das folgende Diagramm veranschaulicht die Architektur ihrer aktualisierten Datenplattform.

AWS- und Drittanbieterdienste

AWS spielte eine entscheidende und vielfältige Rolle beim Erfolg der Datenplattform von Bluestone. Die folgenden AWS- und Drittanbieter-Services waren maßgeblich an der Entwicklung von Bluestone zu einem datengesteuerten Unternehmen beteiligt:

• Amazon RedShift – Bluestone nutzte die Leistungsfähigkeit von Amazon Redshift und seinen Funktionen wie Datenübertragung um ein zentrales Repository für Datenbestände zu erstellen. Dieser strategische Schritt erleichterte den nahtlosen Datenaustausch und die Zusammenarbeit zwischen verschiedenen Geschäftsbereichen und ebnete den Weg für eine fundiertere und datengesteuerte Entscheidungsfindung.
• Seebildung – Lake Formation entwickelte sich zu einem Eckpfeiler in der Data-Governance-Strategie von Bluestone. Es spielte eine entscheidende Rolle bei der Durchsetzung von Datenzugriffskontrollen und der Umsetzung von Datenrichtlinien. Mit Lake Formation hat Bluestone den Schutz sensibler Daten und die Einhaltung gesetzlicher Anforderungen erreicht.
• Überwachung der Datenqualität – Um die Zuverlässigkeit und Genauigkeit der Daten zu gewährleisten, hat Bluestone ein robustes Datenqualitäts-Framework implementiert. AWS-Dienste waren bei diesem Unterfangen von entscheidender Bedeutung, da sie Open-Source-Tools ergänzten, um ein internes Datenqualitätsüberwachungssystem einzurichten. Dieses System bewertet kontinuierlich die Datenqualität und schafft so Vertrauen in die Zuverlässigkeit der Datenbestände der Organisation.
• Daten-Governance-Tools – Bluestone hat sich für Atlan entschieden, erhältlich über AWS-Marktplatz, um umfassende Data-Governance-Tools zu implementieren. Dieser SaaS-Service spielte eine entscheidende Rolle bei der Einbindung mehrerer Geschäftsteams und der Förderung einer datenzentrierten Kultur innerhalb von Bluestone. Es ermöglichte Teams, Datenbestände effizient zu verwalten und zu verwalten.
• Orchestrierung mit Amazon MWAA – Auf Bluestone hat man sich stark verlassen Von Amazon verwaltete Workflows für Apache Airflow (Amazon MWAA) zur effizienten Verwaltung von Workflow-Orchestrierungen. Dieses Orchestrierungsframework ließ sich nahtlos in verschiedene Datenqualitätsregeln integrieren, die mithilfe von bewertet wurden Große Erwartungen Bediener innerhalb der Airflow-Umgebung.
• AWS-DMS – Blaustein verwendet AWS-Datenbankmigrationsservice (AWS DMS) zur Optimierung der Konsolidierung von Altdaten in der Datenplattform. Dieser Service erleichterte die reibungslose Übertragung von Daten aus älteren SQL Server-Warehouses zum Data Lake und Data Warehouse und sorgte für Datenkontinuität und -zugänglichkeit.
• AWS-Kleber – Bluestone nutzte das AWS-Kleber PySpark-Umgebung zur Implementierung von Datenextraktions-, Transformations- und Ladeprozessen (ETL). Es spielte eine entscheidende Rolle bei der Verarbeitung von Daten aus verschiedenen Quellsystemen und sorgte für Datenkonsistenz und Eignung für analytische Zwecke.
• AWS Glue-Datenkatalog – Bluestone zentralisierte seine Datenverwaltung mithilfe von AWS Glue-Datenkatalog. Dieser Katalog diente als Rückgrat für die Verwaltung von Datenbeständen innerhalb des Bluestone-Datenbestands und verbesserte die Auffindbarkeit und Zugänglichkeit der Daten.
• AWS CloudTrail – Bluestone implementiert AWS CloudTrail Plattformaktivitäten streng zu überwachen und zu prüfen. Dieser sicherheitsorientierte Service bot wesentliche Einblicke in Plattformaktionen und sorgte für Compliance und Sicherheit bei Datenvorgängen.

Das umfassende Dienstleistungspaket von AWS war maßgeblich daran beteiligt, die Bluestone Data Platform zum datengesteuerten Erfolg voranzutreiben. Diese Dienste haben nicht nur eine effiziente Datenverwaltung, Qualitätssicherung und Orchestrierung ermöglicht, sondern auch eine Kultur der Datenzentrierung innerhalb des Unternehmens gefördert, was letztendlich zu einer besseren Entscheidungsfindung und Wettbewerbsvorteilen führt. Die Reise von Bluestone zeigt die Leistungsfähigkeit von AWS bei der Umwandlung von Organisationen in datengesteuerte Marktführer in ihren jeweiligen Branchen.

Bluestone-Datenarchitektur

Die Datenarchitektur von Bluestone hat einen dynamischen Wandel durchlaufen und sich von einem Lake-House-Framework zu einer Data-Mesh-Architektur entwickelt. Diese Entwicklung wurde durch den Bedarf des Unternehmens an Datenprodukten mit verteiltem Eigentum und der Notwendigkeit eines zentralen Mechanismus zur Steuerung und zum Zugriff auf diese Datenprodukte über verschiedene Geschäftsbereiche hinweg vorangetrieben.

Das folgende Diagramm veranschaulicht die Lösungsarchitektur und ihre Verwendung von AWS und Drittanbieterdiensten.

Lassen Sie uns genauer untersuchen, wie sich dieser Architekturwandel entwickelt hat und was er mit sich bringt:

• Das Bedürfnis nach Veränderung – Der Auslöser für diese Transformation war die wachsende Nachfrage nach diskreten Datenprodukten, die auf die individuellen Anforderungen jeder Geschäftseinheit innerhalb von Bluestone zugeschnitten sind. Da diese Geschäftseinheiten ihre eigenen Datenbestände in ihren jeweiligen Domänen generierten, bestand die Herausforderung darin, diese unterschiedlichen Datenspeicher effizient zu verwalten, zu verwalten und darauf zuzugreifen. Bluestone erkannte die Notwendigkeit eines strukturierteren und skalierbaren Ansatzes.
• Datenprodukte mit verteiltem Eigentum – Als Reaktion auf diese Nachfrage führte Bluestone eine Data-Mesh-Architektur ein, die die Erstellung unterschiedlicher Datenprodukte ermöglichte, die auf die Bedürfnisse jeder Geschäftseinheit abgestimmt waren. Jedes dieser Datenprodukte existiert unabhängig und generiert und kuratiert Datenbestände, die für seine Domäne spezifisch sind. Diese Datenprodukte fungieren als individuelle Datendrehscheiben und gewährleisten so Datenautonomie und -spezialisierung.
• Zentralisierte Katalogintegration – Um die Entdeckung und Zugänglichkeit der über diese Datenprodukte verteilten Datenbestände zu optimieren, hat Bluestone einen zentralen Katalog eingeführt. Dieser Katalog fungiert als einheitliches Repository, in dem alle Datenprodukte ihre jeweiligen Datenbestände registrieren. Es dient als entscheidende Komponente für die Datenerkennung und -verwaltung.
• Integration von Data-Governance-Tools – Die Sicherstellung der Datenverwaltung und Herkunftsverfolgung im gesamten Unternehmen war ein weiterer entscheidender Aspekt. Bluestone hat ein robustes Data-Governance-Tool implementiert, das eine Verbindung zum zentralen Katalog herstellt. Diese Integration stellt sicher, dass die übergreifende Abstammung von Datenbeständen umfassend abgebildet und erfasst wird. Dadurch werden Data-Governance-Prozesse konsequent durchgesetzt und so Datenqualität und Compliance gewährleistet.
• Amazon Redshift-Datenfreigabe für Kontrolle und Zugriff – Um den kontrollierten und sicheren Zugriff auf Datenbestände in einzelnen Redshift-Instanzen des Datenprodukts zu erleichtern, nutzte Bluestone die Datenfreigabe von Amazon Redshift. Diese Funktion ermöglicht die selektive Offenlegung und gemeinsame Nutzung von Datenbeständen und ermöglicht so eine detaillierte Zugriffskontrolle bei gleichzeitiger Wahrung der Datensicherheit und -integrität.

Im Wesentlichen stellt Bluestones Weg von einem Seehaus zu einer Datennetzarchitektur einen strategischen Wandel in der Datenverwaltung und -verwaltung dar. Diese Transformation ermöglicht es verschiedenen Geschäftseinheiten, innerhalb ihrer Datendomänen autonom zu agieren und gleichzeitig eine zentrale Kontrolle, Governance und Zugänglichkeit zu gewährleisten. Die Integration eines zentralisierten Katalogs und von Data-Governance-Tools, gepaart mit der Flexibilität des Datenaustauschs von Amazon Redshift, schafft ein harmonisches Ökosystem, in dem datengesteuerte Entscheidungsfindung gedeiht und letztendlich zum Erfolg von Bluestone in der sich ständig weiterentwickelnden Finanzlandschaft beiträgt.

Zusammenfassung

Der Weg von Bluestone von einem alten SQL-basierten System zu einer modernen Data-Mesh-Architektur auf AWS hat die Art und Weise, wie das Unternehmen mit Daten interagiert, verbessert und es als datengesteuertes Kraftpaket in der Finanzbranche positioniert. Durch die Nutzung von AWS-Diensten ist es Bluestone gelungen, eine zentralisierte, skalierbare und steuerbare Datenplattform zu schaffen, die es seinen Teams ermöglicht, fundierte Entscheidungen zu treffen, Innovationen voranzutreiben und im Wettbewerbsumfeld die Nase vorn zu behalten. Diese Transformation ist ein überzeugender Beweis dafür, dass die Datenfreigabefunktionen von Amazon Redshift und AWS Cloud ein großartiger Weg für Unternehmen sind, die ihre eigenen datengesteuerten Reisen mit AWS unternehmen möchten.

Über die Autoren

Toney Thomas ist Datenarchitekt und Datentechnikleiter bei Bluestone und bekannt für seine Rolle bei der Konzeption und Gestaltung der bahnbrechenden Datenstrategie des Unternehmens. Mit einem strategischen Fokus auf die Nutzung der Leistungsfähigkeit fortschrittlicher Technologie zur Bewältigung komplexer geschäftlicher Herausforderungen leitet Toney ein dynamisches Team aus Dateningenieuren, Berichtsingenieuren, Qualitätssicherungsspezialisten und Geschäftsanalysten bei Bluestone. Seine Führungsrolle erstreckt sich darauf, die Implementierung robuster Daten-Governance-Frameworks in verschiedenen Organisationseinheiten voranzutreiben. Unter seiner Führung hat Bluestone bemerkenswerte Erfolge erzielt, einschließlich der Bereitstellung innovativer Plattformen wie eines vollständig verwalteten Data-Mesh-Geschäftsdatensystems mit eingebetteten Datenqualitätsmechanismen, die nahtlos mit dem Engagement der Organisation für Datendemokratisierung und -exzellenz harmonieren.

Ben Vengerovsky ist Datenplattform-Produktmanager bei Bluestone. Seine Leidenschaft ist der Einsatz von Cloud-Technologie zur Revolutionierung der Dateninfrastruktur des Unternehmens. Mit einem Hintergrund in Hypothekendarlehen und einem tiefen Verständnis der AWS-Services ist Ben auf die Entwicklung skalierbarer und effizienter Datenlösungen spezialisiert, die das Geschäftswachstum vorantreiben und das Kundenerlebnis verbessern. Er lebt von der Zusammenarbeit mit funktionsübergreifenden Teams, um Geschäftsanforderungen in innovative technische Lösungen umzusetzen, die eine datengesteuerte Entscheidungsfindung ermöglichen.

Rada Stanic ist Cheftechnologin bei Amazon Web Services, wo sie ANZ-Kunden aus verschiedenen Segmenten bei der Lösung ihrer Geschäftsprobleme mithilfe von AWS Cloud-Technologien unterstützt. Ihre besonderen Interessengebiete sind Datenanalyse, maschinelles Lernen/KI und Anwendungsmodernisierung.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/