Bài đăng này được đồng viết với Toney Thomas và Ben Vengerovsky từ Bluestone.

Trong thế giới tài chính và cho vay không ngừng phát triển, nhu cầu về dữ liệu tập trung, đáng tin cậy và theo thời gian thực đã trở nên tối quan trọng. Đá xanh, một tổ chức tài chính hàng đầu, đã bắt tay vào hành trình chuyển đổi nhằm hiện đại hóa cơ sở hạ tầng dữ liệu của mình và chuyển đổi sang tổ chức dựa trên dữ liệu. Trong bài đăng này, chúng ta khám phá cách Bluestone sử dụng các dịch vụ AWS, đặc biệt là dịch vụ lưu trữ dữ liệu đám mây Amazon RedShift, để triển khai kiến ​​trúc lưới dữ liệu tiên tiến, cách mạng hóa cách họ quản lý, truy cập và sử dụng tài sản dữ liệu của mình.

Thách thức: Di sản của hiện đại hóa

Bluestone đang hoạt động với nền tảng cho vay dựa trên SQL cũ, như được minh họa trong sơ đồ sau. Để duy trì tính cạnh tranh và đáp ứng với sự thay đổi của động lực thị trường, họ quyết định hiện đại hóa cơ sở hạ tầng của mình. Quá trình hiện đại hóa này liên quan đến việc chuyển đổi sang nền tảng cho vay cốt lõi và khởi tạo khoản vay dựa trên phần mềm dưới dạng dịch vụ (SaaS). Bởi vì các hệ thống mới này tạo ra lượng dữ liệu khổng lồ nên thách thức trong việc đảm bảo một nguồn thông tin chính xác duy nhất cho tất cả người tiêu dùng dữ liệu đã xuất hiện.

Sự ra đời của nền tảng dữ liệu Bluestone

Để giải quyết nhu cầu về dữ liệu tập trung, có thể mở rộng và có thể quản lý được, Bluestone đã giới thiệu Nền tảng dữ liệu Bluestone. Nền tảng này trở thành trung tâm cho tất cả các hoạt động liên quan đến dữ liệu trong toàn tổ chức. AWS đóng vai trò then chốt trong việc hiện thực hóa tầm nhìn này.

Sau đây là các thành phần chính của Nền tảng dữ liệu Bluestone:

• Kiến trúc lưới dữ liệu – Bluestone áp dụng kiến ​​trúc lưới dữ liệu, một mô hình phân bổ quyền sở hữu dữ liệu giữa các đơn vị kinh doanh khác nhau. Mỗi nhà sản xuất dữ liệu trong tổ chức đều có hồ dữ liệu riêng ở định dạng Apache Hudi, đảm bảo chủ quyền và quyền tự chủ về dữ liệu.
• Kiến trúc hồ dữ liệu và kho dữ liệu bốn lớp – Kiến trúc bao gồm bốn lớp, trong đó có lớp phân tích, nơi chứa các sự kiện và bộ dữ liệu thứ nguyên được xây dựng có mục đích được lưu trữ trên Amazon Redshift. Những bộ dữ liệu này đóng vai trò quan trọng trong các trường hợp sử dụng báo cáo và phân tích, được hỗ trợ bởi các dịch vụ như Amazon Redshift và các công cụ như Power BI.
• Phân tích học máy – Các đơn vị kinh doanh khác nhau, chẳng hạn như Dịch vụ, Cho vay, Bán hàng & Tiếp thị, Tài chính và Rủi ro Tín dụng, sử dụng phân tích máy học chạy trên mô hình thứ nguyên trong hồ dữ liệu và kho dữ liệu. Điều này cho phép đưa ra quyết định dựa trên dữ liệu trong toàn tổ chức.
• Quản trị và tự phục vụ – Nền tảng dữ liệu Bluestone cung cấp một lộ trình được quản lý, tuyển chọn và tự phục vụ cho tất cả các trường hợp sử dụng dữ liệu. Các dịch vụ AWS như Sự hình thành hồ AWS kết hợp với Atlan giúp quản lý việc truy cập dữ liệu và các chính sách.
• Khung chất lượng dữ liệu – Để đảm bảo độ tin cậy của dữ liệu, họ đã triển khai khung chất lượng dữ liệu. Nó liên tục đánh giá chất lượng dữ liệu và đồng bộ hóa điểm chất lượng với công cụ quản trị Atlan, tạo niềm tin vào tài sản dữ liệu trong nền tảng.

Sơ đồ sau minh họa kiến ​​trúc của nền tảng dữ liệu cập nhật của họ.

AWS và dịch vụ của bên thứ ba

AWS đóng vai trò then chốt và đa diện trong việc hỗ trợ Nền tảng dữ liệu của Bluestone phát triển mạnh mẽ. Các dịch vụ AWS và bên thứ ba sau đây đóng vai trò quan trọng trong việc định hình hành trình trở thành một tổ chức dựa trên dữ liệu của Bluestone:

• Amazon RedShift – Bluestone khai thác sức mạnh của Amazon Redshift và các tính năng của nó như chia sẻ dữ liệu để tạo ra một kho lưu trữ tập trung các tài sản dữ liệu. Động thái chiến lược này đã tạo điều kiện thuận lợi cho việc chia sẻ và cộng tác dữ liệu liền mạch giữa các đơn vị kinh doanh khác nhau, mở đường cho việc ra quyết định dựa trên dữ liệu và sáng suốt hơn.
• Hồ hình thành – Lake Formation nổi lên như một nền tảng trong chiến lược quản trị dữ liệu của Bluestone. Nó đóng một vai trò quan trọng trong việc thực thi các biện pháp kiểm soát truy cập dữ liệu và thực hiện các chính sách dữ liệu. Với Lake Formation, Bluestone đã đạt được mục tiêu bảo vệ dữ liệu nhạy cảm và tuân thủ các yêu cầu quy định.
• Giám sát chất lượng dữ liệu – Để duy trì độ tin cậy và độ chính xác của dữ liệu, Bluestone đã triển khai khung chất lượng dữ liệu mạnh mẽ. Các dịch vụ AWS rất cần thiết trong nỗ lực này vì chúng bổ sung cho các công cụ nguồn mở để thiết lập hệ thống giám sát chất lượng dữ liệu nội bộ. Hệ thống này liên tục đánh giá chất lượng dữ liệu, mang lại niềm tin về độ tin cậy của tài sản dữ liệu của tổ chức.
• Công cụ quản trị dữ liệu – Bluestone chọn Atlan, có sẵn thông qua Thị trường AWS, để triển khai công cụ quản trị dữ liệu toàn diện. Dịch vụ SaaS này đóng vai trò then chốt trong việc đào tạo nhiều nhóm kinh doanh và thúc đẩy văn hóa lấy dữ liệu làm trung tâm trong Bluestone. Nó trao quyền cho các nhóm quản lý và quản lý tài sản dữ liệu một cách hiệu quả.
• Điều phối bằng Amazon MWAA – Bluestone phụ thuộc rất nhiều vào Quy trình công việc được quản lý của Amazon cho Luồng khí Apache (Amazon MWAA) để quản lý việc điều phối quy trình công việc một cách hiệu quả. Khung điều phối này được tích hợp liền mạch với nhiều quy tắc chất lượng dữ liệu khác nhau, được đánh giá bằng cách sử dụng Great Expectations người vận hành trong môi trường Airflow.
• AWSDMS – Đá xanh đã qua sử dụng Dịch vụ di chuyển cơ sở dữ liệu AWS (AWS DMS) để hợp lý hóa việc hợp nhất dữ liệu cũ vào nền tảng dữ liệu. Dịch vụ này tạo điều kiện thuận lợi cho việc truyền dữ liệu một cách suôn sẻ từ kho SQL Server cũ sang hồ dữ liệu và kho dữ liệu, mang lại tính liên tục và khả năng truy cập dữ liệu.
• Keo AWS – Bluestone đã sử dụng Keo AWS Môi trường PySpark để triển khai các quy trình trích xuất, chuyển đổi và tải dữ liệu (ETL). Nó đóng một vai trò quan trọng trong việc xử lý dữ liệu có nguồn gốc từ các hệ thống nguồn khác nhau, cung cấp tính nhất quán và phù hợp của dữ liệu cho việc sử dụng phân tích.
• Danh mục dữ liệu keo AWS – Bluestone tập trung quản lý dữ liệu của họ bằng cách sử dụng Danh mục dữ liệu keo AWS. Danh mục này đóng vai trò là xương sống để quản lý tài sản dữ liệu trong kho dữ liệu Bluestone, nâng cao khả năng khám phá và truy cập dữ liệu.
• Đường mòn đám mây AWS – Bluestone được triển khai Đường mòn đám mây AWS để giám sát và kiểm tra các hoạt động của nền tảng một cách chặt chẽ. Dịch vụ tập trung vào bảo mật này cung cấp khả năng hiển thị cần thiết về các hoạt động trên nền tảng, mang lại sự tuân thủ và bảo mật trong hoạt động dữ liệu.

Bộ dịch vụ toàn diện của AWS là một phần không thể thiếu trong việc thúc đẩy Nền tảng dữ liệu Bluestone hướng tới thành công dựa trên dữ liệu. Các dịch vụ này không chỉ cho phép quản trị dữ liệu hiệu quả, đảm bảo chất lượng và điều phối mà còn thúc đẩy văn hóa lấy dữ liệu làm trung tâm trong tổ chức, cuối cùng dẫn đến việc ra quyết định tốt hơn và lợi thế cạnh tranh. Hành trình của Bluestone thể hiện sức mạnh của AWS trong việc chuyển đổi các tổ chức thành những tổ chức dẫn đầu dựa trên dữ liệu trong các ngành tương ứng của họ.

Kiến trúc dữ liệu Bluestone

Kiến trúc dữ liệu của Bluestone đã trải qua quá trình chuyển đổi năng động, chuyển từ khung nhà hồ sang kiến ​​trúc lưới dữ liệu. Sự phát triển này được thúc đẩy bởi nhu cầu của tổ chức về các sản phẩm dữ liệu có quyền sở hữu phân tán và sự cần thiết phải có cơ chế tập trung để quản lý và truy cập các sản phẩm dữ liệu này trên nhiều đơn vị kinh doanh khác nhau.

Sơ đồ sau đây minh họa kiến ​​trúc giải pháp cũng như việc sử dụng các dịch vụ của AWS và bên thứ ba.

Hãy cùng tìm hiểu sâu hơn về sự thay đổi kiến ​​trúc này đã diễn ra như thế nào và nó đòi hỏi những gì:

• Sự cần thiết phải thay đổi – Chất xúc tác cho sự chuyển đổi này là nhu cầu ngày càng tăng đối với các sản phẩm dữ liệu rời rạc được điều chỉnh theo yêu cầu riêng của từng đơn vị kinh doanh trong Bluestone. Vì các đơn vị kinh doanh này tạo ra tài sản dữ liệu của riêng họ trong các miền tương ứng nên thách thức nằm ở việc quản lý, quản lý và truy cập hiệu quả các kho dữ liệu đa dạng này. Bluestone nhận thấy sự cần thiết của một cách tiếp cận có cấu trúc và có thể mở rộng hơn.
• Sản phẩm dữ liệu có quyền sở hữu phân tán – Để đáp ứng nhu cầu này, Bluestone đã áp dụng kiến ​​trúc lưới dữ liệu, cho phép tạo ra các sản phẩm dữ liệu riêng biệt phù hợp với nhu cầu của từng đơn vị kinh doanh. Mỗi sản phẩm dữ liệu này tồn tại độc lập, tạo và quản lý nội dung dữ liệu cụ thể cho miền của nó. Các sản phẩm dữ liệu này đóng vai trò là trung tâm dữ liệu riêng lẻ, đảm bảo tính tự chủ và chuyên môn hóa dữ liệu.
• Tích hợp danh mục tập trung – Để hợp lý hóa việc khám phá và khả năng tiếp cận các tài sản dữ liệu được phân tán trên các sản phẩm dữ liệu này, Bluestone đã giới thiệu một danh mục tập trung. Danh mục này hoạt động như một kho lưu trữ thống nhất nơi tất cả các sản phẩm dữ liệu đăng ký nội dung dữ liệu tương ứng của chúng. Nó phục vụ như một thành phần quan trọng để khám phá và quản lý dữ liệu.
• Tích hợp công cụ quản trị dữ liệu – Đảm bảo quản trị dữ liệu và theo dõi dòng dõi trong toàn tổ chức là một vấn đề quan trọng khác cần cân nhắc. Bluestone đã triển khai một công cụ quản trị dữ liệu mạnh mẽ kết nối với danh mục tập trung. Sự tích hợp này đảm bảo rằng dòng nội dung dữ liệu tổng thể được ánh xạ và ghi lại một cách toàn diện. Do đó, quy trình quản trị dữ liệu được thực thi một cách nhất quán, đảm bảo chất lượng và tuân thủ dữ liệu.
• Chia sẻ dữ liệu Amazon Redshift để kiểm soát và truy cập – Để hỗ trợ quyền truy cập được kiểm soát và an toàn vào tài sản dữ liệu nằm trong các phiên bản Redshift của sản phẩm dữ liệu riêng lẻ, Bluestone đã sử dụng tính năng chia sẻ dữ liệu của Amazon Redshift. Khả năng này cho phép các tài sản dữ liệu được hiển thị và chia sẻ có chọn lọc, cung cấp khả năng kiểm soát chi tiết đối với quyền truy cập trong khi vẫn duy trì tính bảo mật và toàn vẹn dữ liệu.

Về bản chất, hành trình của Bluestone từ ngôi nhà bên hồ đến kiến ​​trúc lưới dữ liệu thể hiện sự thay đổi chiến lược trong quản lý và quản trị dữ liệu. Sự chuyển đổi này trao quyền cho các đơn vị kinh doanh khác nhau hoạt động tự chủ trong miền dữ liệu của họ đồng thời đảm bảo khả năng kiểm soát, quản trị và khả năng truy cập tập trung. Việc tích hợp danh mục tập trung và công cụ quản trị dữ liệu, cùng với tính linh hoạt của việc chia sẻ dữ liệu Amazon Redshift, tạo ra một hệ sinh thái hài hòa nơi việc ra quyết định dựa trên dữ liệu phát triển mạnh, cuối cùng góp phần vào thành công của Bluestone trong bối cảnh tài chính ngày càng phát triển.

Kết luận

Hành trình của Bluestone từ hệ thống dựa trên SQL truyền thống đến kiến ​​trúc lưới dữ liệu hiện đại trên AWS đã cải thiện cách tổ chức tương tác với dữ liệu và định vị chúng như một cường quốc dựa trên dữ liệu trong ngành tài chính. Bằng cách sử dụng các dịch vụ AWS, Bluestone đã đạt được thành công một nền tảng dữ liệu tập trung, có thể mở rộng và có thể quản lý, trao quyền cho các nhóm của mình đưa ra quyết định sáng suốt, thúc đẩy đổi mới và dẫn đầu trong bối cảnh cạnh tranh. Sự chuyển đổi này đóng vai trò là bằng chứng thuyết phục rằng khả năng chia sẻ dữ liệu của Amazon Redshift và AWS Cloud là con đường tuyệt vời cho các tổ chức muốn bắt đầu hành trình dựa trên dữ liệu của riêng họ với AWS.

Về các tác giả

Toney Thomas là Kiến trúc sư dữ liệu và Trưởng nhóm kỹ thuật dữ liệu tại Bluestone, nổi tiếng với vai trò hình dung và đặt ra chiến lược dữ liệu tiên phong của công ty. Với trọng tâm chiến lược là khai thác sức mạnh của công nghệ tiên tiến để giải quyết những thách thức kinh doanh phức tạp, Toney lãnh đạo một nhóm năng động gồm Kỹ sư dữ liệu, Kỹ sư báo cáo, chuyên gia Đảm bảo chất lượng và Nhà phân tích kinh doanh tại Bluestone. Khả năng lãnh đạo của ông còn mở rộng đến việc thúc đẩy việc triển khai các khuôn khổ quản trị dữ liệu mạnh mẽ trên nhiều đơn vị tổ chức khác nhau. Dưới sự hướng dẫn của ông, Bluestone đã đạt được thành công đáng kể, bao gồm việc triển khai các nền tảng đổi mới như hệ thống dữ liệu kinh doanh lưới dữ liệu được quản lý hoàn toàn với các cơ chế chất lượng dữ liệu nhúng, phù hợp hoàn hảo với cam kết của tổ chức về dân chủ hóa và xuất sắc dữ liệu.

Ben Vengerovsky là Giám đốc sản phẩm nền tảng dữ liệu tại Bluestone. Anh đam mê sử dụng công nghệ đám mây để cách mạng hóa cơ sở hạ tầng dữ liệu của công ty. Với nền tảng về cho vay thế chấp và hiểu biết sâu sắc về các dịch vụ AWS, Ben chuyên thiết kế các giải pháp dữ liệu hiệu quả và có thể mở rộng nhằm thúc đẩy tăng trưởng kinh doanh và nâng cao trải nghiệm của khách hàng. Anh ấy phát triển mạnh nhờ cộng tác với các nhóm đa chức năng để chuyển các yêu cầu kinh doanh thành các giải pháp kỹ thuật đổi mới giúp hỗ trợ việc ra quyết định dựa trên dữ liệu.

Rada Stanic là Kỹ thuật viên trưởng tại Amazon Web Services, nơi cô giúp khách hàng của ANZ ở các phân khúc khác nhau giải quyết các vấn đề kinh doanh của họ bằng cách sử dụng công nghệ Đám mây AWS. Lĩnh vực quan tâm đặc biệt của cô là phân tích dữ liệu, học máy/AI và hiện đại hóa ứng dụng.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/