这篇文章是与 Bluestone 的 Toney Thomas 和 Ben Vengerovsky 共同撰写的。

在不断发展的金融和借贷世界中，对实时、可靠和集中数据的需求变得至关重要。 青石一家领先的金融机构开始了其数据基础设施现代化并转型为数据驱动型组织的变革之旅。在这篇文章中，我们将探讨 Bluestone 如何使用 AWS 服务，特别是云数据仓库服务 亚马逊Redshift，实施尖端的数据网格架构，彻底改变他们管理、访问和利用数据资产的方式。

挑战：现代化的遗产

Bluestone 使用传统的基于 SQL 的贷款平台进行操作，如下图所示。为了保持竞争力并应对不断变化的市场动态，他们决定对其基础设施进行现代化改造。这种现代化涉及过渡到基于软件即服务 (SaaS) 的贷款发放和核心贷款平台。由于这些新系统产生了大量数据，因此出现了确保所有数据消费者拥有单一事实来源的挑战。

Bluestone数据平台的诞生

为了满足对集中、可扩展和可治理数据的需求，Bluestone 推出了 Bluestone 数据平台。该平台成为整个组织内所有数据相关活动的中心。 AWS 在实现这一愿景方面发挥了关键作用。

以下是 Bluestone 数据平台的关键组件：

• 数据网格架构 – Bluestone 采用了数据网格架构，这是一种在不同业务部门之间分配数据所有权的范例。组织内的每个数据生产者都有自己的 Apache Hudi 格式的数据湖，确保数据主权和自治。
• 四层数据湖和数据仓库架构 – 该架构由四层组成，包括分析层，其中包含托管在 Amazon Redshift 中的专用事实和维度数据集。这些数据集对于报告和分析用例至关重要，由 Amazon Redshift 等服务和 Power BI 等工具提供支持。
• 机器学习分析 – 服务、贷款、销售和营销、财务和信用风险等各种业务部门都使用机器学习分析，这些分析在数据湖和数据仓库内的维度模型之上运行。这使得整个组织能够进行数据驱动的决策。
• 治理和自助服务 – Bluestone 数据平台为所有数据用例提供受管理、策划和自助服务的途径。 AWS 服务如 AWS湖形成 和这个结合 阿特朗 帮助管理数据访问和策略。
• 数据质量框架 – 为了确保数据可靠性，他们实施了数据质量框架。它不断评估数据质量并将质量分数同步到 Atlan 治理工具，从而增强对平台内数据资产的信心。

下图展示了他们更新后的数据平台的架构。

AWS 和第三方服务

AWS 在推动 Bluestone 数据平台蓬勃发展方面发挥了关键和多方面的作用。以下 AWS 和第三方服务在 Bluestone 成为数据驱动型组织的过程中发挥了重要作用：

• 亚马逊Redshift – Bluestone 利用 Amazon Redshift 的强大功能及其功能，例如 数据共享 创建数据资产的集中存储库。这一战略举措促进了不同业务部门之间的无缝数据共享和协作，为更明智和数据驱动的决策铺平了道路。
• 湖形成 – Lake Formation 成为 Bluestone 数据治理战略的基石。它在执行数据访问控制和实施数据策略方面发挥了关键作用。通过 Lake Formation，Bluestone 实现了敏感数据保护并符合监管要求。
• 数据质量监控 – 为了保持数据的可靠性和准确性，Bluestone 部署了强大的数据质量框架。 AWS 服务在这项工作中至关重要，因为它们补充了开源工具来建立内部数据质量监控系统。该系统持续评估数据质量，为组织数据资产的可靠性提供信心。
• 数据治理工具 – Bluestone 选择了 Atlan，可通过 AWS Marketplace，实施全面的数据治理工具。这项 SaaS 服务在引入多个业务团队和在 Bluestone 内部培育以数据为中心的文化方面发挥了关键作用。它使团队能够有效地管理和治理数据资产。
• 使用 Amazon MWAA 进行编排 – 青石严重依赖 适用于 Apache Airflow 的 Amazon 托管工作流 (Amazon MWAA) 有效管理工作流程编排。该编排框架与各种数据质量规则无缝集成，并使用以下方法进行评估 厚望 Airflow 环境中的操作员。
• AWS数据管理系统 – 使用青石 AWS 数据库迁移服务 (AWS DMS)，以简化将旧数据整合到数据平台的过程。该服务促进了数据从旧版 SQL Server 仓库到数据湖和数据仓库的顺利传输，提供了数据连续性和可访问性。
• AWS胶水 – 青石使用了 AWS胶水 用于实现数据提取、转换和加载 (ETL) 过程的 PySpark 环境。它在处理来自各种源系统的数据、提供数据一致性和分析使用的适用性方面发挥了关键作用。
• AWS Glue数据目录 – Bluestone 使用以下方式集中管理数据 AWS Glue数据目录。该目录作为管理 Bluestone 数据资产内数据资产的支柱，增强了数据的可发现性和可访问性。
• AWS 云跟踪 – 实施蓝石 AWS 云跟踪 严格监控和审核平台活动。这项以安全为中心的服务提供了平台操作的基本可见性，从而保证了数据操作的合规性和安全性。

AWS 的综合服务套件在推动 Bluestone 数据平台取得数据驱动型成功方面发挥着不可或缺的作用。这些服务不仅实现了高效的数据治理、质量保证和编排，而且还在组织内培育了以数据为中心的文化，最终带来更好的决策和竞争优势。 Bluestone 的旅程展示了 AWS 在将组织转变为各自行业的数据驱动型领导者方面的力量。

青石数据架构

Bluestone 的数据架构经历了动态转型，从 Lake House 框架过渡到数据网格架构。这种演变是由组织对具有分布式所有权的数据产品的需求以及跨不同业务部门管理和访问这些数据产品的集中式机制的必要性推动的。

下图说明了解决方案架构及其对 AWS 和第三方服务的使用。

让我们更深入地探讨这种架构转变是如何展开的以及它意味着什么：

• 改变的需要 – 这一转变的催化剂是对针对 Bluestone 内每个业务部门的独特需求而量身定制的离散数据产品的需求不断增长。由于这些业务部门在各自的领域生成了自己的数据资产，因此面临的挑战在于如何有效地管理、治理和访问这些不同的数据存储。 Bluestone 认识到需要一种更加结构化和可扩展的方法。
• 分布式所有权的数据产品 – 为了满足这一需求，Bluestone 采用了数据网格架构，该架构允许创建符合每个业务部门需求的独特数据产品。这些数据产品中的每一个都是独立存在的，生成和管理特定于其领域的数据资产。这些数据产品充当单独的数据中心，确保数据自治和专业化。
• 集中目录集成 – 为了简化分散在这些数据产品中的数据资产的发现和可访问性，Bluestone 引入了集中式目录。该目录充当统一的存储库，所有数据产品都在其中注册各自的数据资产。它是数据发现和管理的关键组件。
• 数据治理工具集成 – 确保整个组织的数据治理和沿袭跟踪是另一个关键考虑因素。 Bluestone 实施了一个强大的数据治理工具，可连接到集中式目录。这种集成确保了数据资产的总体谱系得到全面映射和捕获。从而一致地执行数据治理流程，保证数据质量和合规性。
• 用于控制和访问的 Amazon Redshift 数据共享 – 为了促进对驻留在各个数据产品 Redshift 实例中的数据资产进行受控且安全的访问，Bluestone 使用了 Amazon Redshift 数据共享。此功能允许有选择地公开和共享数据资产，提供对访问的精细控制，同时保持数据安全性和完整性。

从本质上讲，Bluestone 从湖边小屋到数据网格架构的历程代表了数据管理和治理的战略转变。这种转变使不同的业务部门能够在其数据域内自主运营，同时确保集中控制、治理和可访问性。集中式目录和数据治理工具的集成，再加上 Amazon Redshift 数据共享的灵活性，创建了一个和谐的生态系统，让数据驱动的决策蓬勃发展，最终有助于 Bluestone 在不断变化的金融环境中取得成功。

结论

Bluestone 从传统的基于 SQL 的系统到 AWS 上的现代数据网格架构，改善了组织与数据交互的方式，并将其定位为金融行业的数据驱动巨头。通过采用 AWS 服务，Bluestone 成功实现了集中式、可扩展且可治理的数据平台，使其团队能够做出明智的决策、推动创新并在竞争格局中保持领先地位。这一转变有力地证明，Amazon Redshift 和 AWS 云数据共享功能对于希望利用 AWS 开启自己的数据驱动之旅的组织而言是一条绝佳途径。

作者简介

托尼·托马斯 是 Bluestone 的数据架构师和数据工程主管，因其在设想和制定公司开创性数据战略方面的作用而闻名。 Toney 的战略重点是利用先进技术的力量来应对复杂的业务挑战，他领导着 Bluestone 一支由数据工程师、报告工程师、质量保证专家和业务分析师组成的充满活力的团队。他的领导能力延伸到推动跨不同组织单位实施强大的数据治理框架。在他的指导下，Bluestone 取得了显着的成功，包括部署创新平台，例如具有嵌入式数据质量机制的完全治理的数据网格业务数据系统，与该组织对数据民主化和卓越的承诺无缝结合。

本·文格洛夫斯基 是 Bluestone 的数据平台产品经理。他热衷于使用云技术彻底改变公司的数据基础设施。 Ben 拥有抵押贷款背景和对 AWS 服务的深入了解，擅长设计可扩展且高效的数据解决方案，以推动业务增长并增强客户体验。他擅长与跨职能团队合作，将业务需求转化为创新的技术解决方案，从而支持数据驱动的决策。

拉达·斯塔尼奇 是 Amazon Web Services 的首席技术专家，她帮助不同领域的 ANZ 客户使用 AWS 云技术解决其业务问题。她特别感兴趣的领域是数据分析、机器学习/人工智能和应用程序现代化。

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 柏拉图健康。 生物技术和临床试验情报。 访问这里。
• Sumber: https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/