تمت كتابة هذا المنشور بالاشتراك مع توني توماس وبن فينجروفسكي من بلوستون.
في عالم التمويل والإقراض الدائم التطور، أصبحت الحاجة إلى بيانات مركزية وموثوقة في الوقت الحقيقي أمرًا بالغ الأهمية. بلوستون، وهي مؤسسة مالية رائدة، شرعت في رحلة تحويلية لتحديث البنية التحتية للبيانات الخاصة بها والانتقال إلى منظمة تعتمد على البيانات. في هذا المنشور، نستكشف كيفية استخدام Bluestone لخدمات AWS، ولا سيما خدمة تخزين البيانات السحابية الأمازون الأحمر، لتنفيذ بنية شبكة بيانات متطورة، وإحداث ثورة في الطريقة التي يديرون بها أصول البيانات الخاصة بهم والوصول إليها واستخدامها.
التحدي: تراث التحديث
كانت شركة Bluestone تعمل باستخدام منصة إقراض قديمة تعتمد على SQL، كما هو موضح في الرسم البياني التالي. ولكي تظل قادرة على المنافسة ومستجيبة لديناميكيات السوق المتغيرة، قررت تحديث بنيتها التحتية. تضمن هذا التحديث الانتقال إلى إنشاء القروض المستندة إلى البرنامج كخدمة (SaaS) ومنصات الإقراض الأساسية. ولأن هذه الأنظمة الجديدة أنتجت كميات هائلة من البيانات، فقد ظهر التحدي المتمثل في ضمان مصدر واحد للحقيقة لجميع مستهلكي البيانات.
ولادة منصة بيانات بلوستون
لتلبية الحاجة إلى بيانات مركزية وقابلة للتطوير وقابلة للإدارة، قدمت Bluestone منصة بيانات Bluestone. أصبحت هذه المنصة مركزًا لجميع الأنشطة المتعلقة بالبيانات عبر المؤسسة. وقد لعبت AWS دورًا محوريًا في تحقيق هذه الرؤية.
فيما يلي المكونات الرئيسية لمنصة بيانات Bluestone:
- بنية شبكة البيانات - اعتمدت بلوستون بنية شبكة البيانات، وهو نموذج يوزع ملكية البيانات عبر وحدات الأعمال المختلفة. يمتلك كل منتج بيانات داخل المؤسسة بحيرة بيانات خاصة به بتنسيق Apache Hudi، مما يضمن سيادة البيانات واستقلاليتها.
- بنية بحيرة البيانات ومستودع البيانات ذات الأربع طبقات – تتكون البنية من أربع طبقات، بما في ذلك الطبقة التحليلية، التي تضم حقائق مصممة لهذا الغرض ومجموعات بيانات الأبعاد التي يتم استضافتها في Amazon Redshift. تعتبر مجموعات البيانات هذه محورية في حالات استخدام التقارير والتحليلات، والتي تدعمها خدمات مثل Amazon Redshift وأدوات مثل Power BI.
- تحليلات التعلم الآلي – تستخدم وحدات الأعمال المختلفة، مثل الخدمة، والإقراض، والمبيعات والتسويق، والتمويل، ومخاطر الائتمان، تحليلات التعلم الآلي، التي تعمل فوق النموذج الأبعاد داخل بحيرة البيانات ومستودع البيانات. وهذا يتيح اتخاذ القرارات المستندة إلى البيانات عبر المؤسسة.
- الحوكمة والخدمة الذاتية - يوفر نظام Bluestone Data Platform طريقة منظمة ومنسقة وذاتية الخدمة لجميع حالات استخدام البيانات. خدمات AWS مثل تكوين بحيرة AWS بالتزامن مع أطلان المساعدة في التحكم في الوصول إلى البيانات والسياسات.
- إطار جودة البيانات – لضمان موثوقية البيانات، قاموا بتنفيذ إطار جودة البيانات. فهو يقوم باستمرار بتقييم جودة البيانات ومزامنة درجات الجودة مع أداة حوكمة Atlan، مما يغرس الثقة في أصول البيانات داخل النظام الأساسي.
يوضح الرسم البياني التالي بنية منصة البيانات المحدثة الخاصة بهم.
AWS وخدمات الطرف الثالث
لعبت AWS دورًا محوريًا ومتعدد الأوجه في تمكين منصة بيانات Bluestone من الازدهار. لعبت خدمات AWS وخدمات الطرف الثالث التالية دورًا أساسيًا في تشكيل رحلة Bluestone نحو التحول إلى مؤسسة تعتمد على البيانات:
- الأمازون الأحمر - استغل Bluestone قوة Amazon Redshift وميزاته مثل تبادل البيانات لإنشاء مستودع مركزي لأصول البيانات. وقد سهّلت هذه الخطوة الإستراتيجية تبادل البيانات والتعاون بسلاسة عبر وحدات الأعمال المتنوعة، مما مهد الطريق لاتخاذ قرارات أكثر استنارة واعتمادًا على البيانات.
- تشكيل البحيرة - برزت Lake Formation باعتبارها حجر الزاوية في استراتيجية إدارة البيانات في Bluestone. ولعبت دورًا حاسمًا في فرض ضوابط الوصول إلى البيانات وتنفيذ سياسات البيانات. مع Lake Formation، حققت Bluestone حماية البيانات الحساسة والامتثال للمتطلبات التنظيمية.
- مراقبة جودة البيانات - للحفاظ على موثوقية البيانات ودقتها، نشرت Bluestone إطارًا قويًا لجودة البيانات. وكانت خدمات AWS ضرورية في هذا المسعى، لأنها كانت مكملة للأدوات مفتوحة المصدر لإنشاء نظام داخلي لمراقبة جودة البيانات. يقوم هذا النظام بتقييم جودة البيانات بشكل مستمر، مما يوفر الثقة في موثوقية أصول بيانات المنظمة.
- أدوات حوكمة البيانات - اختار بلوستون أتلان، وهو متاح من خلاله سوق AWSلتنفيذ أدوات شاملة لإدارة البيانات. لعبت خدمة SaaS هذه دورًا محوريًا في تأهيل فرق عمل متعددة وتعزيز ثقافة تتمحور حول البيانات داخل Bluestone. لقد مكّن الفرق من إدارة أصول البيانات والتحكم فيها بكفاءة.
- التنسيق باستخدام Amazon MWAA - اعتمد على بلوستون بشكل كبير تدفقات عمل أمازون المدارة لتدفق أباتشي (Amazon MWAA) لإدارة تنسيقات سير العمل بكفاءة. يتكامل إطار التنسيق هذا بسلاسة مع قواعد جودة البيانات المختلفة، والتي تم تقييمها باستخدام توقعات كبيرة المشغلين داخل بيئة تدفق الهواء.
- أوس دي إم إس – بلوستون المستخدم خدمة ترحيل قاعدة بيانات AWS (AWS DMS) لتبسيط عملية دمج البيانات القديمة في النظام الأساسي للبيانات. سهلت هذه الخدمة النقل السلس للبيانات من مستودعات SQL Server القديمة إلى مستودع البيانات ومستودع البيانات، مما يوفر استمرارية البيانات وإمكانية الوصول إليها.
- غراء AWS - استخدم بلوستون غراء AWS بيئة PySpark لتنفيذ عمليات استخراج البيانات وتحويلها وتحميلها (ETL). لقد لعبت دورًا محوريًا في معالجة البيانات الصادرة من أنظمة المصدر المختلفة، مما يوفر اتساق البيانات وملاءمتها للاستخدام التحليلي.
- كتالوج بيانات AWS Glue - قامت Bluestone بمركزية إدارة بياناتها باستخدام كتالوج بيانات AWS Glue. كان هذا الكتالوج بمثابة العمود الفقري لإدارة أصول البيانات ضمن ملكية بيانات Bluestone، مما يعزز إمكانية اكتشاف البيانات وإمكانية الوصول إليها.
- أوس كلاود تريل – تنفيذ بلوستون أوس كلاود تريل لمراقبة وتدقيق أنشطة المنصة بدقة. وقد وفرت هذه الخدمة التي تركز على الأمان رؤية أساسية لإجراءات النظام الأساسي، مما يوفر الامتثال والأمن في عمليات البيانات.
لقد كانت مجموعة خدمات AWS الشاملة جزءًا لا يتجزأ من دفع منصة بيانات Bluestone نحو النجاح القائم على البيانات. ولم تمكّن هذه الخدمات من إدارة البيانات بكفاءة وضمان الجودة والتنسيق فحسب، بل عززت أيضًا ثقافة مركزية البيانات داخل المنظمة، مما أدى في النهاية إلى اتخاذ قرارات أفضل وميزة تنافسية. تعرض رحلة Bluestone قوة AWS في تحويل المؤسسات إلى قادة يعتمدون على البيانات في الصناعات الخاصة بهم.
بنية بيانات بلوستون
لقد خضعت بنية بيانات Bluestone لتحول ديناميكي، حيث انتقلت من إطار عمل منزل البحيرة إلى بنية شبكة البيانات. كان هذا التطور مدفوعًا بحاجة المنظمة إلى منتجات بيانات ذات ملكية موزعة وضرورة وجود آلية مركزية للتحكم في منتجات البيانات هذه والوصول إليها عبر وحدات الأعمال المختلفة.
يوضح الرسم البياني التالي بنية الحل واستخدامه لخدمات AWS والجهات الخارجية.
دعونا نتعمق أكثر في كيفية ظهور هذا التحول في البنية وما يستلزمه:
- الحاجة إلى التغيير – كان العامل المحفز لهذا التحول هو الطلب المتزايد على منتجات البيانات المنفصلة المصممة خصيصًا لتلبية المتطلبات الفريدة لكل وحدة عمل داخل Bluestone. ونظرًا لأن وحدات الأعمال هذه قامت بإنشاء أصول البيانات الخاصة بها في المجالات الخاصة بها، فإن التحدي يكمن في إدارة مخازن البيانات المتنوعة هذه وإدارتها والوصول إليها بكفاءة. أدركت بلوستون الحاجة إلى نهج أكثر تنظيماً وقابلية للتطوير.
- منتجات البيانات ذات الملكية الموزعة – استجابة لهذا الطلب، اعتمدت Bluestone بنية شبكة البيانات، والتي سمحت بإنشاء منتجات بيانات متميزة تتماشى مع احتياجات كل وحدة عمل. يوجد كل منتج من منتجات البيانات هذه بشكل مستقل، ويقوم بإنشاء وتنظيم أصول البيانات الخاصة بمجاله. تعمل منتجات البيانات هذه كمراكز بيانات فردية، مما يضمن استقلالية البيانات وتخصصها.
- تكامل الكتالوج المركزي - لتبسيط اكتشاف أصول البيانات المنتشرة عبر منتجات البيانات هذه وإمكانية الوصول إليها، قدمت Bluestone كتالوجًا مركزيًا. يعمل هذا الكتالوج بمثابة مستودع موحد حيث تسجل جميع منتجات البيانات أصول البيانات الخاصة بها. إنه بمثابة عنصر حاسم لاكتشاف البيانات وإدارتها.
- تكامل أداة إدارة البيانات - كان ضمان حوكمة البيانات وتتبع النسب عبر المؤسسة أحد الاعتبارات المحورية الأخرى. نفذت Bluestone أداة قوية لإدارة البيانات تتصل بالكتالوج المركزي. يضمن هذا التكامل تعيين السلالة الشاملة لأصول البيانات والتقاطها بشكل شامل. وبالتالي يتم تنفيذ عمليات إدارة البيانات بشكل متسق، مما يضمن جودة البيانات والامتثال لها.
- مشاركة بيانات Amazon Redshift للتحكم والوصول – لتسهيل الوصول المتحكم والآمن إلى أصول البيانات الموجودة ضمن مثيلات منتج البيانات الفردية Redshift، استخدمت Bluestone مشاركة بيانات Amazon Redshift. تسمح هذه الإمكانية بكشف أصول البيانات ومشاركتها بشكل انتقائي، مما يوفر تحكمًا دقيقًا في الوصول مع الحفاظ على أمان البيانات وسلامتها.
في جوهرها، تمثل رحلة Bluestone من منزل البحيرة إلى بنية شبكة البيانات تحولًا استراتيجيًا في إدارة البيانات وحوكمتها. يعمل هذا التحول على تمكين وحدات الأعمال المختلفة من العمل بشكل مستقل ضمن مجالات البيانات الخاصة بها مع ضمان التحكم المركزي والحوكمة وإمكانية الوصول. يؤدي تكامل الكتالوج المركزي وأدوات إدارة البيانات، إلى جانب مرونة مشاركة بيانات Amazon Redshift، إلى إنشاء نظام بيئي متناغم حيث تزدهر عملية صنع القرار المستندة إلى البيانات، مما يساهم في النهاية في نجاح Bluestone في المشهد المالي المتطور باستمرار.
وفي الختام
لقد أدت رحلة Bluestone من نظام قديم قائم على SQL إلى بنية شبكة بيانات حديثة على AWS إلى تحسين الطريقة التي تتفاعل بها المؤسسة مع البيانات ووضعها كقوة تعتمد على البيانات في الصناعة المالية. من خلال تبني خدمات AWS، نجحت Bluestone في تحقيق منصة بيانات مركزية وقابلة للتطوير والإدارة تمكن فرقها من اتخاذ قرارات مستنيرة ودفع الابتكار والبقاء في المقدمة في المشهد التنافسي. يعد هذا التحول بمثابة دليل دامغ على أن إمكانات مشاركة البيانات في Amazon Redshift وAWS Cloud تمثل طريقًا رائعًا للمؤسسات التي تتطلع إلى الشروع في رحلاتها القائمة على البيانات مع AWS.
حول المؤلف
توني توماس هو مهندس بيانات ورائد في هندسة البيانات في شركة Bluestone، ويشتهر بدوره في تصور وصياغة استراتيجية البيانات الرائدة للشركة. من خلال التركيز الاستراتيجي على تسخير قوة التكنولوجيا المتقدمة لمواجهة تحديات الأعمال المعقدة، يقود توني فريقًا ديناميكيًا من مهندسي البيانات ومهندسي التقارير ومتخصصي ضمان الجودة ومحللي الأعمال في Bluestone. وتمتد قيادته إلى قيادة تنفيذ أطر عمل قوية لحوكمة البيانات عبر وحدات تنظيمية متنوعة. وتحت توجيهاته، حققت Bluestone نجاحًا ملحوظًا، بما في ذلك نشر منصات مبتكرة مثل نظام بيانات الأعمال المترابط بالكامل مع آليات جودة البيانات المضمنة، بما يتماشى بسلاسة مع التزام المنظمة بإضفاء الطابع الديمقراطي على البيانات والتميز.
بن فينجروفسكي هو مدير منتج منصة البيانات في Bluestone. إنه متحمس لاستخدام التكنولوجيا السحابية لإحداث ثورة في البنية التحتية لبيانات الشركة. بفضل خلفية في الإقراض العقاري وفهم عميق لخدمات AWS، يتخصص Ben في تصميم حلول بيانات قابلة للتطوير وفعالة تدفع نمو الأعمال وتعزز تجارب العملاء. إنه يزدهر بالتعاون مع فرق متعددة الوظائف لترجمة متطلبات العمل إلى حلول تقنية مبتكرة تمكن من اتخاذ القرارات المستندة إلى البيانات.
رادا ستانيتش هي كبيرة خبراء التكنولوجيا في Amazon Web Services، حيث تساعد عملاء ANZ عبر مختلف القطاعات على حل مشكلات أعمالهم باستخدام تقنيات AWS Cloud. مجالات اهتمامها الخاصة هي تحليلات البيانات، والتعلم الآلي/الذكاء الاصطناعي، وتحديث التطبيقات.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/
