تمت كتابة هذا المنشور بالاشتراك مع أمير سوشامي وفابيان سزينكير من الوحدة.
هالة من الوحدة (المعروف سابقًا باسم IronSource) هو معيار السوق لإنشاء تجارب أجهزة غنية تجذب العملاء وتحتفظ بهم. بفضل مجموعة قوية من الحلول، تتيح Aura التحول الرقمي الكامل، مما يسمح للمشغلين بالترويج للخدمات الرئيسية خارج المتجر، مباشرة على الجهاز.
الأمازون الأحمر هي خدمة موصى بها لأحمال عمل المعالجة التحليلية عبر الإنترنت (OLAP) مثل مستودعات البيانات السحابية وأسواق البيانات ومخازن البيانات التحليلية الأخرى. يمكنك استخدام لغة SQL البسيطة لتحليل البيانات المنظمة وشبه المنظمة وقواعد البيانات التشغيلية وبحيرات البيانات لتقديم أفضل سعر/أداء على أي نطاق. ال مشاركة بيانات Amazon Redshift توفر هذه الميزة وصولاً فوريًا ودقيقًا وعالي الأداء دون نسخ البيانات ونقل البيانات عبر مستودعات بيانات Redshift المتعددة في نفس حسابات AWS أو حسابات مختلفة وعبر مناطق AWS. توفر مشاركة البيانات إمكانية الوصول المباشر إلى البيانات حتى تتمكن دائمًا من رؤية أحدث المعلومات وأكثرها اتساقًا عند تحديثها في مستودع البيانات.
أمازون Redshift Serverless يجعل من السهل تشغيل التحليلات وتوسيع نطاقها في ثوانٍ دون الحاجة إلى إعداد مجموعات مستودع البيانات وإدارتها. يعمل Redshift Serverless تلقائيًا على توفير سعة مستودع البيانات وتوسيع نطاقها بذكاء لتقديم أداء سريع حتى لأحمال العمل الأكثر تطلبًا والتي لا يمكن التنبؤ بها، ولا تدفع إلا مقابل ما تستخدمه. يمكنك تحميل بياناتك وبدء الاستعلام على الفور في Amazon Redshift Query Editor أو في أداة ذكاء الأعمال (BI) المفضلة لديك والاستمرار في الاستمتاع بأفضل سعر/أداء وميزات SQL المألوفة في بيئة سهلة الاستخدام وخالية من الإدارة. .
في هذا المنشور، نصف اعتماد Aura الناجح والسريع لـ Redshift Serverless، والذي سمح لها بتحسين الوقت الإجمالي للحملات الإعلانية الخاصة بعروض الأسعار للتسويق من 24 ساعة إلى ساعتين. نستكشف سبب اختيار Aura لهذا الحل وما هي التحديات التكنولوجية التي ساعدت في حلها.
خط أنابيب البيانات الأولي لـ Aura
تعتبر Aura رائدة في استخدام مجموعات Redshift RA3 مع مشاركة البيانات لاستخراج وتحويل وتحميل (ETL) وأحمال عمل BI. إحدى عمليات Aura هي الحملات الإعلانية للمزايدة. تم تحسين هذه الحملات باستخدام عملية تقديم العطاءات المستندة إلى الذكاء الاصطناعي والتي تتطلب تشغيل مئات الاستعلامات التحليلية لكل حملة. يتم تشغيل هذه الاستعلامات على البيانات الموجودة في مجموعة Redshift المتوفرة في RA3.
يتكون المسار المتكامل من خدمات AWS المتنوعة:
يوضح الرسم البياني التالي هذه العمارة.
تحديات البنية الأولية
يتم تشغيل الاستعلامات لكل حملة بالطريقة التالية:
أولاً، يقوم استعلام الإعداد بتصفية البيانات الأولية وتجميعها وإعدادها للعملية اللاحقة. ويتبع ذلك الاستعلام الرئيسي، الذي ينفذ المنطق وفقًا لمجموعة نتائج استعلام الإعداد.
ومع تزايد عدد الحملات، كان مطلوبًا من فريق بيانات Aura تشغيل مئات الاستعلامات المتزامنة لكل خطوة من هذه الخطوات. لقد تم بالفعل استخدام مجموعة Aura المتوفرة بشكل كبير في استيعاب البيانات وأحمال عمل ETL وBI، لذلك كانوا يبحثون عن طرق فعالة من حيث التكلفة لعزل عبء العمل هذا باستخدام موارد حوسبة مخصصة.
قام الفريق بتقييم مجموعة متنوعة من الخيارات، بما في ذلك تفريغ البيانات إلى Amazon S3 وبنية متعددة المجموعات باستخدام مشاركة البيانات وRedshift بدون خادم. انجذب الفريق نحو البنية متعددة المجموعات مع مشاركة البيانات، لأنها لا تتطلب إعادة كتابة الاستعلام، وتسمح بحوسبة مخصصة لعبء العمل المحدد هذا، وتتجنب الحاجة إلى تكرار البيانات أو نقلها من المجموعة الرئيسية، وتوفر التزامن العالي والقياس التلقائي. وأخيرًا، تتم محاسبتها وفقًا لنموذج الدفع مقابل ما تستخدمه، كما أن التزويد سهل وسريع.
إثبات المفهوم
بعد تقييم الخيارات، قرر فريق Aura Data إجراء إثبات للمفهوم باستخدام Redshift Serverless كمستهلك لمجموعة Redshift الرئيسية المتوفرة، ومشاركة الجداول ذات الصلة فقط لتشغيل الاستعلامات المطلوبة. يقيس Redshift Serverless سعة مستودع البيانات في وحدات معالجة Redshift (RPUs). توفر وحدة RPU واحدة 16 جيجابايت من الذاكرة ويمكن أن تتراوح نقطة النهاية بدون خادم من 8 RPU إلى 512 RPU.
بدأ فريق Aura Data في إثبات المفهوم باستخدام نقطة نهاية 256 RPU Redshift Serverless وقام بخفض RPU تدريجيًا لتقليل التكاليف مع التأكد من أن وقت تشغيل الاستعلام كان أقل من الهدف المطلوب.
في النهاية، قرر الفريق استخدام نقطة نهاية Redshift Serverless بسعة 128 RPU (2 تيرابايت من ذاكرة الوصول العشوائي) كوحدة RPU أساسية، مع استخدام ميزة التحجيم التلقائي Redshift Serverless، والتي تسمح بتشغيل مئات الاستعلامات المتزامنة عن طريق ترقية RPU تلقائيًا حسب الحاجة.
حل Aura الجديد مع Redshift Serverless
بعد إثبات المفهوم بنجاح، تضمن إعداد الإنتاج إضافة تعليمات برمجية للتبديل بين مجموعة Redshift المتوفرة ونقطة النهاية Redshift Serverless. تم ذلك باستخدام حد قابل للتكوين استنادًا إلى عدد الاستعلامات التي تنتظر معالجتها في موضوع MSK محدد يتم استهلاكه في بداية المسار. ستستمر استعلامات الحملات صغيرة الحجم في العمل على المجموعة المتوفرة، وستستخدم الاستعلامات واسعة النطاق نقطة النهاية Redshift Serverless. يستخدم الحل الجديد مسار Amazon MWAA الذي يجلب معلومات التكوين من جدول DynamoDB، ويستهلك الوظائف التي تمثل الحملات الإعلانية، ثم يقوم بتشغيل المئات من وظائف EKS التي يتم تشغيلها باستخدام EKSPodOperator. تقوم كل وظيفة بتشغيل الاستعلامين التسلسليين (استعلام التحضير متبوعًا باستعلام رئيسي، والذي يقوم بإخراج النتائج إلى Amazon S3). يحدث هذا عدة مئات من المرات بشكل متزامن باستخدام موارد الحوسبة Redshift Serverless.
ثم تبدأ العملية مجموعة أخرى من مشغلي EKSPodOperator لتشغيل كود تدريب الذكاء الاصطناعي بناءً على نتيجة البيانات التي تم حفظها على Amazon S3.
يوضح الرسم البياني التالي بنية الحل.
نتيجة
تم تقليل وقت التشغيل الإجمالي لخط الأنابيب من 24 ساعة إلى ساعتين فقط، وهو ما يمثل تحسنًا بمقدار 2 مرة. أدى هذا التكامل مع Redshift Serverless، إلى جانب مشاركة البيانات، إلى تقليل مدة التدفق بنسبة 12%، مما يلغي ضرورة تكرار البيانات أو إعادة كتابة الاستعلام. علاوة على ذلك، أدى تقديم عميل مخصص كمورد حوسبة حصري إلى تخفيف العبء على مجموعة المنتجين بشكل كبير، مما أتاح تشغيل الاستعلامات صغيرة الحجم بشكل أسرع.
"لقد مكننا Redshift Serverless ومشاركة البيانات من توفير سعة مستودع البيانات لدينا وتوسيع نطاقها لتقديم أداء سريع وتزامن عالي والتعامل مع أعباء عمل تعلم الآلة الصعبة بأقل جهد."
– أمير سوشامي، مهندس الأنظمة التقنية الرئيسي لشركة Aura.
التعلم
يركز فريق Aura Data بشكل كبير على العمل بطريقة فعالة من حيث التكلفة، ولذلك قام بتنفيذ العديد من عناصر التحكم في التكلفة في نقطة النهاية Redshift Serverless الخاصة بهم:
- الحد من الإنفاق الإجمالي عن طريق تحديد أ الحد الأقصى لاستخدام ساعة RPU (في اليوم، الأسبوع، الشهر) لمجموعة العمل. قامت Aura بتكوين هذا الحد، لذا عند الوصول إليه، سترسل Amazon Redshift تنبيهًا إلى فريق مسؤول Amazon Redshift ذي الصلة. تسمح هذه الميزة أيضًا بكتابة إدخال إلى جدول النظام وحتى إيقاف تشغيل استعلامات المستخدم.
- إستخدم أقصى تكوين لـRPU، والذي يحدد الحد الأعلى لموارد الحوسبة التي يمكن لـ Redshift Serverless استخدامها في أي وقت محدد. عند تعيين الحد الأقصى لوحدة RPU لمجموعة العمل، يقوم Redshift Serverless بالقياس ضمن هذا الحد لمواصلة تشغيل حمل العمل.
- تنفيذ قواعد مراقبة الاستعلام التي تمنع استخدام الموارد المهدرة والتكاليف الجامحة الناجمة عن الاستعلامات المكتوبة بشكل سيء.
وفي الختام
يعد مستودع البيانات جزءًا مهمًا من أي شركة حديثة تعتمد على البيانات، مما يمكّنك من الإجابة على أسئلة العمل المعقدة وتقديم الرؤى. سمح تطور Amazon Redshift لـ Aura بالتكيف بسرعة مع متطلبات العمل من خلال الجمع بين مشاركة البيانات بين مستودعات البيانات المتوفرة ومستودعات بيانات Redshift Serverless. تؤكد رحلة Aura مع Redshift Serverless على الإمكانات الهائلة للتكامل التكنولوجي الاستراتيجي في تعزيز الكفاءة والتميز التشغيلي.
إذا أثارت رحلة Aura اهتمامك وكنت تفكر في تنفيذ حل مماثل في مؤسستك، فإليك بعض الخطوات الإستراتيجية التي يجب أخذها في الاعتبار:
- ابدأ بالفهم الشامل لاحتياجات مؤسستك من البيانات وكيف يمكن لهذا الحل معالجتها.
- تواصل مع خبراء AWS، الذين يمكنهم تزويدك بالإرشادات بناءً على تجاربهم الخاصة. فكر في المشاركة في الندوات أو ورش العمل أو المنتديات عبر الإنترنت التي تناقش هذه التقنيات. يوصى بالموارد التالية للبدء:
- سيكون جزءًا مهمًا من هذه الرحلة هو تنفيذ إثبات المفهوم. ستوفر هذه الخبرة العملية رؤى قيمة قبل الانتقال إلى الإنتاج.
ارفع مستوى خبرتك في Redshift. هل تستمتع بالفعل بقوة Amazon Redshift؟ عزز رحلة البيانات الخاصة بك مع أحدث الميزات وتوجيهات الخبراء. تواصل مع فريق حسابات AWS المخصص لديك للحصول على دعم مخصص، واكتشف الإمكانات المتطورة، واحصل على قيمة أكبر من بياناتك مع أمازون ريد شيفت.
حول المؤلف
أمير سوشامي، كبير المهندسين المعماريين لشركة Aura من Unity، مع التركيز على إنشاء أنظمة سحابية وتطبيقات جوال مرنة وعالية الأداء على نطاق واسع.
فابيان سينكير هو مهندس تعلم الآلة والبيانات الضخمة في Aura by Unity، ويعمل على بناء حلول الذكاء الاصطناعي/تعلم الآلة الحديثة وأحدث خطوط أنابيب هندسة البيانات على نطاق واسع.
ليئات تسور هو مدير حسابات فني أول في Amazon Web Services. تعمل كمدافع عن العميل وتساعد عملائها في تحقيق التميز التشغيلي السحابي بما يتماشى مع أهداف أعمالهم.
عدي جابكوفسكي هو متخصص أول في مجال Redshift في منطقة أوروبا والشرق الأوسط وأفريقيا، وهو جزء من المنظمة العالمية المتخصصة (WWSO) في AWS.
يوناتان دولان هو أخصائي التحليلات الرئيسي في Amazon Web Services. وهو مقيم في إسرائيل ويساعد العملاء على الاستفادة من خدمات AWS التحليلية للاستفادة من البيانات واكتساب الرؤى واستخلاص القيمة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/how-aura-from-unity-revolutionized-their-big-data-pipeline-with-amazon-redshift-serverless/
