هذا منشور ضيف شارك في كتابته Alex Naumov، مهندس البيانات الرئيسي في smava.

سمافا جي إم بي إتش هي إحدى شركات الخدمات المالية الرائدة في ألمانيا، مما يجعل القروض الشخصية شفافة وعادلة وبأسعار معقولة للمستهلكين. بناءً على العمليات الرقمية، تقوم smava بمقارنة عروض القروض من أكثر من 20 بنكًا. وبهذه الطريقة، يمكن للمقترضين اختيار الصفقات الأكثر ملاءمة لهم بطريقة سريعة ورقمية وفعالة.

تؤمن شركة smava بالقرارات المستندة إلى البيانات وتستفيد منها لكي تصبح الشركة الرائدة في السوق. فريق Data Platform مسؤول عن دعم القرارات المستندة إلى البيانات في smava من خلال توفير منتجات البيانات عبر جميع أقسام وفروع الشركة. تشمل الأقسام فرقًا من الهندسة إلى المبيعات والتسويق. تتنوع الفروع حسب المنتجات، وهي قروض B2C، وقروض B2B، والرهون العقارية سابقًا أيضًا B2C. تتضمن منتجات البيانات المستخدمة داخل الشركة رؤى من رحلات المستخدم والتقارير التشغيلية ونتائج الحملات التسويقية، من بين أمور أخرى. تخدم منصة البيانات في المتوسط ​​60 ألف استفسار يوميًا. يبلغ حجم البيانات سل مكون من رقمين مع نمو مطرد مع تطور مصادر الأعمال والبيانات.

واجه فريق منصة البيانات في smava التحدي المتمثل في تقديم البيانات إلى أصحاب المصلحة من خلال اتفاقيات مستوى الخدمة المختلفة، مع الحفاظ على المرونة اللازمة للتوسيع والتخفيض مع الحفاظ على فعالية التكلفة. استغرق الأمر ما يصل إلى 3 ساعات لإنشاء تقارير يومية، مما أثر على اتخاذ القرارات التجارية عند الحاجة إلى إعادة الحسابات خلال اليوم. لتسريع تحليلات الخدمة الذاتية وتعزيز الابتكار بناءً على البيانات، كانت هناك حاجة إلى حل لتوفير طرق تسمح لأي فريق بإنشاء منتجات بيانات بمفرده وبطريقة لا مركزية. لإنشاء منتجات البيانات وإدارتها، يستخدم smava الأمازون الأحمر، مستودع البيانات السحابية.

في هذا المنشور، نعرض كيف قامت smava بتحسين منصة البيانات الخاصة بها باستخدام أمازون Redshift Serverless و مشاركة بيانات Amazon Redshift للتغلب على تحديات الحجم المناسب لأحمال العمل غير المتوقعة ومواصلة تحسين أداء السعر. من خلال التحسينات، حققت smava توفيرًا في التكاليف بنسبة تصل إلى 50% وإنشاء تقارير أسرع بما يصل إلى ثلاث مرات مقارنة بالبنية الأساسية للتحليلات السابقة.

نظرة عامة على الحل

باعتبارها شركة تعتمد على البيانات، تعتمد smava على سحابة AWS لتشغيل حالات استخدام التحليلات الخاصة بها. لجلب عملائها أفضل العروض وتجربة المستخدم، يتبع smava هندسة البيانات الحديثة مبادئ مع بحيرة البيانات كمخزن بيانات متين وقابل للتطوير ومخازن بيانات مصممة لهذا الغرض للمعالجة التحليلية واستهلاك البيانات.

يقوم smava باستيعاب البيانات من مختلف مصادر البيانات الخارجية والداخلية في مرحلة الهبوط في بحيرة البيانات بناءً على خدمة تخزين أمازون البسيطة (أمازون إس 3). لاستيعاب البيانات، يستخدم smava مجموعة من منصات بيانات العملاء الشهيرة التابعة لجهات خارجية والتي تكملها نصوص برمجية مخصصة.

بعد وصول البيانات إلى Amazon S3، يستخدم smava ملحق غراء AWS كتالوج البيانات والزواحف لفهرسة البيانات المتاحة تلقائيًا، والتقاط البيانات التعريفية، وتوفير واجهة تسمح بالاستعلام عن جميع أصول البيانات.

محللو البيانات الذين يحتاجون إلى الوصول إلى الأصول الأولية لاستخدام بحيرة البيانات أمازون أثينا، خدمة تحليلات تفاعلية بدون خادم للاستكشاف باستخدام الاستعلامات المخصصة. بالنسبة للاستهلاك النهائي من قبل جميع الإدارات في جميع أنحاء المؤسسة، يقوم فريق منصة بيانات smava بإعداد منتجات بيانات منسقة تتبع استخراج وتحميل وتحويل نمط (ELT). يستخدم smava Amazon Redshift كمستودع بيانات سحابي لتحويل البيانات والاستخدامات وتخزينها وتحليلها طيف الأمازون للانزياح الأحمر للاستعلام واسترجاع البيانات المنظمة وشبه المنظمة بكفاءة من بحيرة البيانات باستخدام SQL.

سمافا يتبع نمذجة مخزن البيانات منهجية مع مراحل Raw Vault وBusiness Vault وData Mart لإعداد منتجات البيانات للمستهلكين النهائيين. يصف Raw Vault الكائنات التي تم تحميلها مباشرة من مصادر البيانات ويمثل نسخة من مرحلة الهبوط في بحيرة البيانات. تتم تعبئة Business Vault ببيانات مصدرها Raw Vault ويتم تحويلها وفقًا لقواعد العمل. وأخيرًا، يتم تجميع البيانات في منتجات بيانات محددة موجهة إلى خط أعمال محدد. هذا ال مارت البيانات منصة. أصبحت منتجات البيانات من مرحلتي Business Vault وData Mart متاحة الآن للمستهلكين. قررت smava استخدام Tableau لذكاء الأعمال وتصور البيانات وإجراء مزيد من التحليلات. تتم إدارة تحويلات البيانات باستخدام DBT لتبسيط إدارة سير العمل والتعاون الجماعي.

يوضح الرسم البياني التالي بنية منصة البيانات عالية المستوى قبل التحسينات.

تطور متطلبات منصة البيانات

بدأت smava بمجموعة Redshift واحدة لاستضافة مراحل البيانات الثلاث. لقد اختاروا العقد العنقودية المتوفرة لـ نوع RA3 مع المثيلات المحجوزة (RIs) لتحسين التكلفة. ومع زيادة حجم البيانات بنسبة 53% على أساس سنوي، زاد أيضًا التعقيد والمتطلبات من أعباء العمل التحليلية المختلفة.

تعاملت smava بسرعة مع أحجام البيانات المتزايدة عن طريق تحديد الحجم الصحيح للكتلة واستخدامها تحجيم التزامن الانزياح الأحمر في أمازون لأحمال العمل القصوى. علاوة على ذلك، أرادت smava منح جميع الفرق خيار إنشاء منتجات البيانات الخاصة بهم بطريقة الخدمة الذاتية لزيادة وتيرة الابتكار. لتجنب أي تدخل في منتجات البيانات المُدارة مركزيًا، يجب عزل بيئات تطوير المنتجات اللامركزية بشكل صارم. تم تطبيق نفس المطلب أيضًا لعزل مراحل المنتج المختلفة التي ينظمها فريق منصة البيانات.

تحسين البنية من خلال مشاركة البيانات وRedshift Serverless

لتلبية المتطلبات المتطورة، قررت smava فصل عبء العمل عن طريق تقسيم مجموعة Redshift الفردية المتوفرة إلى مستودعات بيانات متعددة، حيث يخدم كل مستودع مرحلة مختلفة. بالإضافة إلى ذلك، أضافت smava بيئات مرحلية جديدة في Business Vault لتطوير منتجات بيانات جديدة دون التعرض لخطر التدخل في خطوط أنابيب المنتجات الحالية. لتجنب أي تدخل في منتجات البيانات المُدارة مركزيًا لفريق Data Platform، قدمت smava مجموعة Redshift إضافية، لعزل أعباء العمل اللامركزية.

كان smava يبحث عن حل خارج الصندوق لتحقيق عزل عبء العمل دون إدارة مسار معقد لنسخ البيانات.

مباشرة بعد إطلاق مشاركة بيانات الانزياح الأحمر في عام 2021، أدرك فريق Data Platform أن هذا هو الحل الذي كانوا يبحثون عنه. اعتمدت smava ميزة مشاركة البيانات لجعل البيانات من مجموعات المنتجين متاحة للوصول للقراءة في مجموعات المستهلكين المختلفة، حيث تخدم كل مجموعة من مجموعات المستهلكين هذه مرحلة مختلفة.

تتيح مشاركة بيانات Redshift إمكانية الوصول الفوري والدقيق والسريع إلى البيانات عبر مجموعات Redshift دون الحاجة إلى نسخ البيانات. فهو يوفر وصولاً مباشرًا إلى البيانات حتى يتمكن المستخدمون دائمًا من رؤية أحدث المعلومات وأكثرها اتساقًا عند تحديثها في مستودع البيانات. من خلال مشاركة البيانات، يمكنك مشاركة البيانات المباشرة بشكل آمن مع مجموعات Redshift في نفس حسابات AWS أو حسابات مختلفة وعبر المناطق.

من خلال مشاركة بيانات Redshift، تمكنت smava من تحسين بنية البيانات من خلال فصل أحمال عمل البيانات إلى مجموعات المستهلكين الفردية دون الحاجة إلى تكرار البيانات. يوضح الرسم البياني التالي بنية منصة البيانات عالية المستوى بعد تقسيم مجموعة Redshift الفردية إلى مجموعات متعددة.

من خلال توفير سوق بيانات للخدمة الذاتية، زادت smava من ديمقراطية البيانات من خلال تزويد المستخدمين بإمكانية الوصول إلى جميع جوانب البيانات. كما قاموا بتزويد الفرق بمجموعة من الأدوات المخصصة لاكتشاف البيانات، والتحليل المخصص، والنماذج الأولية، وتشغيل دورة الحياة الكاملة لمنتجات البيانات الناضجة.

بعد جمع البيانات التشغيلية من المجموعات الفردية، حدد فريق Data Platform المزيد من التحسينات المحتملة: كانت مجموعة Raw Vault تحت حمل ثابت على مدار الساعة طوال أيام الأسبوع، ولكن تم تحديث مجموعات Business Vault ليلاً فقط. لتحسين التكاليف، استخدم smava وقفة واستئناف القدرات من مجموعات التحول الأحمر المقدمة. تعتبر هذه الإمكانات مفيدة للمجموعات التي يجب أن تكون متاحة في أوقات محددة. أثناء إيقاف المجموعة مؤقتًا، يتم تعليق الفواتير عند الطلب. يتم فرض رسوم على تخزين المجموعة فقط.

ساعدت ميزة الإيقاف المؤقت والاستئناف smava على تحسين التكلفة، ولكنها تطلبت نفقات تشغيلية إضافية لتشغيل عمليات المجموعة. بالإضافة إلى ذلك، ظلت مجموعات التطوير خاضعة لأوقات الخمول خلال ساعات العمل. تم حل هذه التحديات أخيرًا من خلال اعتماد Redshift Serverless في عام 2022. قرر فريق Data Platform نقل مجموعات مرحلة Business Data Vault إلى Redshift Serverless، مما يسمح لهم بالدفع مقابل مستودع البيانات فقط عند الاستخدام، بشكل موثوق وفعال.

يُعد Redshift Serverless مثاليًا للحالات التي يصعب فيها التنبؤ باحتياجات الحوسبة مثل أحمال العمل المتغيرة، وأحمال العمل الدورية مع وقت الخمول، وأحمال عمل الحالة الثابتة ذات الارتفاعات. بالإضافة إلى ذلك، مع تطور الطلب على الاستخدام مع أعباء العمل الجديدة والمزيد من المستخدمين المتزامنين، يوفر Redshift Serverless موارد الحوسبة المناسبة تلقائيًا، ويقوم مستودع البيانات بالتوسع بسلاسة وتلقائية، دون الحاجة إلى التدخل اليدوي. يتم دعم مشاركة البيانات في كلا الاتجاهين بين مجموعات Redshift Serverless ومجموعات Redshift المتوفرة مع عقد RA3، لذلك لم تكن هناك حاجة إلى إجراء تغييرات على بنية smava. يوضح الرسم التخطيطي التالي إعداد البنية عالية المستوى بعد الانتقال إلى Redshift Serverless.

جمعت smava بين فوائد Redshift Serverless وdbt من خلال خط أنابيب CI/CD سلس، مع اعتماد منهجية تطوير قائمة على قناة الاتصال. يتم نشر التغييرات في مستودع Git تلقائيًا إلى مرحلة الاختبار والتحقق من صحتها باستخدام اختبارات التكامل الآلية. أدى هذا الأسلوب إلى زيادة كفاءة المطورين وتقليل متوسط ​​الوقت اللازم للإنتاج من أيام إلى دقائق.

اعتمدت smava بنية تستخدم مستودعات بيانات Redshift المتوفرة وبدون خادم، بالإضافة إلى إمكانية مشاركة البيانات لعزل أعباء العمل. ومن خلال اختيار الأنماط المعمارية المناسبة لاحتياجاتهم، تمكنت سمافا من تحقيق ما يلي:

• تبسيط خطوط أنابيب البيانات وتقليل النفقات التشغيلية
• تقليل وقت إصدار الميزة من أيام إلى دقائق
• قم بزيادة أداء السعر عن طريق تقليل أوقات الخمول وضبط حجم عبء العمل
• تحقيق ما يصل إلى ثلاثة أضعاف سرعة إنشاء التقارير (حسابات أسرع وتوازي أعلى) بنسبة 50% من تكاليف الإعداد الأصلية
• زيادة سرعة جميع الإدارات ودعم اتخاذ القرارات المستندة إلى البيانات من خلال إضفاء الطابع الديمقراطي على الوصول إلى البيانات
• زيادة سرعة الابتكار من خلال الكشف عن إمكانات بيانات الخدمة الذاتية للفرق في جميع الأقسام وتعزيز قدرات اختبار A/B لتغطية رحلة العميل الكاملة

الآن، تستخدم جميع الأقسام في smava منتجات البيانات المتاحة لاتخاذ قرارات دقيقة ومرنة تعتمد على البيانات.

الرؤية المستقبلية

بالنسبة للمستقبل، تخطط smava لمواصلة تحسين منصة البيانات بناءً على المقاييس التشغيلية. إنهم يفكرون في تحويل المزيد من المجموعات المتوفرة مثل مجموعة Self-Service Data Mart إلى مجموعات بدون خادم. بالإضافة إلى ذلك، تعمل smava على تحسين سلسلة أدوات تنسيق ELT لزيادة عدد خطوط أنابيب البيانات المتوازية التي سيتم تشغيلها. سيؤدي ذلك إلى زيادة استخدام موارد Redshift المتوفرة والسماح بتخفيض التكلفة.

مع إدخال الخدمة اللامركزية الذاتية لإنشاء منتجات البيانات، خطت smava خطوة إلى الأمام نحو بنية شبكة البيانات. في المستقبل، يخطط فريق Data Platform لإجراء مزيد من التقييم لاحتياجات مستخدمي الخدمة الخاصة بهم وإنشاء المزيد من مبادئ شبكة البيانات مثل إدارة البيانات الموحدة.

وفي الختام

في هذا المنشور، أظهرنا كيف قامت smava بتحسين منصة البيانات الخاصة بها عن طريق عزل البيئات وأحمال العمل باستخدام ميزات Redshift Serverless ومشاركة البيانات. تتكامل بيئات Redshift هذه بشكل جيد مع البنية التحتية الخاصة بها، كما أنها مرنة في التوسع حسب الطلب، ومتاحة بدرجة كبيرة، وتتطلب الحد الأدنى من الجهود الإدارية. بشكل عام، قامت smava بزيادة الأداء ثلاث مرات مع تقليل إجمالي تكاليف النظام الأساسي بنسبة 50%. بالإضافة إلى ذلك، قاموا بتخفيض النفقات التشغيلية إلى الحد الأدنى مع الحفاظ على اتفاقيات مستوى الخدمة الحالية لأوقات إنشاء التقارير. علاوة على ذلك، عززت smava ثقافة الابتكار من خلال توفير إمكانات منتج بيانات الخدمة الذاتية لتسريع وقت طرحها في السوق.

إذا كنت مهتمًا بمعرفة المزيد حول إمكانات Amazon Redshift، فنوصي بمشاهدة أحدث الميزات ما الجديد في جلسة Amazon Redshift في قناة AWS Events للحصول على نظرة عامة على الميزات المضافة مؤخرًا إلى الخدمة. يمكنك أيضًا استكشاف الخدمة الذاتية، ومختبرات Amazon Redshift العملية لتجربة وظائف Amazon Redshift الرئيسية بطريقة إرشادية.

يمكنك أيضًا الغوص بشكل أعمق حالات استخدام Redshift بدون خادم و حالات استخدام مشاركة البيانات. بالإضافة إلى ذلك، تحقق من أفضل ممارسات مشاركة البيانات واكتشف كيف تم تحسين العملاء الآخرين من حيث التكلفة والأداء من خلال مشاركة بيانات Redshift للحصول على الإلهام لأعباء العمل الخاصة بك.

إذا كنت تفضل الكتب، تحقق من ذلك Amazon Redshift: الدليل النهائي بقلم O’Reilly، حيث يشرح المؤلفون بالتفصيل إمكانيات Amazon Redshift ويزودونك برؤى حول الأنماط والتقنيات المقابلة.

حول المؤلف

أليكس نوموف هو مهندس البيانات الرئيسي في smava GmbH، ويقود مشاريع التحول في قسم البيانات. عمل Alex سابقًا لمدة 10 سنوات كمستشار ومهندس بيانات/حلول في مجموعة واسعة من المجالات، مثل الاتصالات السلكية واللاسلكية والخدمات المصرفية والطاقة والتمويل، باستخدام مجموعات تقنية متنوعة، وفي العديد من البلدان المختلفة. لديه شغف كبير بالبيانات وتحويل المؤسسات لتصبح معتمدة على البيانات والأفضل في ما يفعلونه.

لينجلي تشنغ يعمل كمدير تطوير الأعمال في منظمة AWS العالمية المتخصصة، حيث يدعم العملاء في منطقة DACH للحصول على أفضل قيمة من خدمات تحليلات أمازون. تتمتع بخبرة تزيد عن 12 عامًا في مجالات الطاقة والأتمتة وصناعة البرمجيات مع التركيز على تحليلات البيانات والذكاء الاصطناعي والتعلم الآلي، وهي ملتزمة بمساعدة العملاء على تحقيق نتائج أعمال ملموسة من خلال التحول الرقمي.

الكسندر سبيفاك هو أحد كبار مهندسي حلول الشركات الناشئة في AWS، ويركز على عملاء B2B ISV عبر منطقة أوروبا والشرق الأوسط وأفريقيا الشمالية. قبل انضمامه إلى AWS، عمل ألكسندر كمستشار في ارتباطات الخدمات المالية، بما في ذلك الأدوار المختلفة في تطوير البرمجيات وهندستها. إنه شغوف بتحليلات البيانات والبنى التحتية بدون خادم وإنشاء مؤسسات فعالة.

تمت مراجعة هذا المنشور للتأكد من دقته الفنية بواسطة David Greenshtein، كبير مهندسي حلول التحليلات.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/big-data/how-smava-makes-loans-transparent-and-affordable-using-amazon-redshift-serverless/