شعار زيفيرنت

ما يجب مراعاته عند ترحيل مستودع البيانات إلى Amazon Redshift

التاريخ:

يقوم العملاء بترحيل مستودعات البيانات إلى الأمازون الأحمر لأنها سريعة وقابلة للتطوير وفعالة من حيث التكلفة. ومع ذلك ، يمكن أن تكون مشاريع ترحيل مستودع البيانات معقدة وصعبة. في هذا المنشور ، أساعدك في فهم الدوافع الشائعة لترحيل مستودع البيانات واستراتيجيات الترحيل والأدوات والخدمات المتوفرة للمساعدة في مشروع الترحيل الخاص بك.

دعنا أولاً نناقش مشهد البيانات الضخمة ، ومعنى بنية البيانات الحديثة ، وما تحتاج إلى مراعاته لمشروع ترحيل مستودع البيانات عند إنشاء بنية بيانات حديثة.

فرص العمل

تغير البيانات الطريقة التي نعمل بها ونعيش ونلعب. كل هذا التغيير في السلوك والانتقال إلى السحابة أدى إلى انفجار في البيانات على مدار العشرين عامًا الماضية. أدى انتشار إنترنت الأشياء والهواتف الذكية إلى تسريع كمية البيانات التي يتم إنشاؤها كل يوم. لقد تغيرت نماذج الأعمال ، وكذلك تغيرت احتياجات الأشخاص الذين يديرون هذه الأعمال. لقد انتقلنا من الحديث عن تيرابايت من البيانات قبل بضع سنوات فقط إلى بيتابايت وإكسابايت من البيانات. من خلال وضع البيانات للعمل بكفاءة وبناء رؤى عميقة للأعمال من البيانات التي تم جمعها ، يمكن للشركات في الصناعات المختلفة ومختلف الأحجام تحقيق مجموعة واسعة من نتائج الأعمال. يمكن تصنيفها على نطاق واسع إلى نتائج الأعمال الأساسية التالية:

  • تحسين الكفاءة التشغيلية - من خلال فهم البيانات التي تم جمعها من العمليات التشغيلية المختلفة ، يمكن للشركات تحسين تجربة العملاء وزيادة كفاءة الإنتاج وزيادة المبيعات وخفة الحركة التسويقية
  • اتخاذ قرارات أكثر استنارة - من خلال تطوير رؤى أكثر وضوحا من خلال الجمع بين الصورة الكاملة للبيانات عبر المؤسسة ، يمكن للشركات اتخاذ قرارات أكثر استنارة
  • تسريع الابتكار - يؤدي الجمع بين مصادر البيانات الداخلية والخارجية إلى تمكين مجموعة متنوعة من حالات استخدام الذكاء الاصطناعي والتعلم الآلي (ML) التي تساعد الشركات على أتمتة العمليات وإطلاق العنان لفرص الأعمال التي كان من المستحيل القيام بها أو كان من الصعب جدًا القيام بها من قبل

تحديات الأعمال

كما أدى النمو المتسارع للبيانات إلى ظهور تحديات للأعمال.

بادئ ذي بدء ، تحتاج الشركات إلى الوصول إلى جميع البيانات عبر المؤسسة ، ويمكن توزيع البيانات في صوامع. يأتي من مجموعة متنوعة من المصادر ، في مجموعة واسعة من أنواع البيانات وبكميات كبيرة وسرعة. قد يتم تخزين بعض البيانات كبيانات منظمة في قواعد البيانات العلائقية. قد يتم تخزين البيانات الأخرى كبيانات شبه مهيكلة في مخازن الكائنات ، مثل ملفات الوسائط وبيانات تدفق النقر التي تتدفق باستمرار من الأجهزة المحمولة.

ثانيًا ، لبناء رؤى من البيانات ، تحتاج الشركات إلى التعمق في البيانات من خلال إجراء التحليلات. تتضمن أنشطة التحليلات هذه عمومًا العشرات والمئات من محللي البيانات الذين يحتاجون إلى الوصول إلى النظام في وقت واحد. غالبًا ما يمثل وجود نظام فعال قابل للتطوير لتلبية طلب الاستعلام تحديًا. يصبح الأمر أكثر تعقيدًا عندما تحتاج الشركات إلى مشاركة البيانات التي تم تحليلها مع عملائها.

أخيرًا وليس آخرًا ، تحتاج الشركات إلى حل فعال من حيث التكلفة لمعالجة صوامع البيانات والأداء وقابلية التوسع والأمان وتحديات الامتثال. تعد القدرة على تصور التكلفة والتنبؤ بها أمرًا ضروريًا للعمل التجاري لقياس فعالية التكلفة لحلها.

لحل هذه التحديات ، تحتاج الشركات إلى بنية بيانات حديثة تثبت المستقبل ونظام تحليلات قوي وفعال.

هندسة البيانات الحديثة

تمكن بنية البيانات الحديثة المؤسسات من تخزين أي كمية من البيانات بتنسيقات مفتوحة ، وتفكيك مستودعات البيانات غير المتصلة ، وتمكين المستخدمين من تشغيل التحليلات أو ML باستخدام الأداة أو التقنية المفضلة لديهم ، وإدارة من لديه حق الوصول إلى أجزاء معينة من البيانات مع الأمان المناسب وضوابط إدارة البيانات.

بنية بحيرة بيانات AWS هي بنية بيانات حديثة تمكّنك من تخزين البيانات في بحيرة بيانات واستخدام حلقة من خدمات البيانات المصممة لغرض معين حول البحيرة ، كما هو موضح في الشكل التالي. يتيح لك ذلك اتخاذ القرارات بسرعة ومرونة وعلى نطاق واسع وفعالية من حيث التكلفة. لمزيد من التفاصيل ، يرجى الرجوع إلى هندسة البيانات الحديثة على AWS.

مستودع بيانات حديث

الأمازون الأحمر عبارة عن مستودع بيانات حديث ومُدار بالكامل وقابل للتطوير يعمل على تسريع الوقت للوصول إلى الرؤى من خلال تحليلات سريعة وسهلة وآمنة على نطاق واسع. باستخدام Amazon Redshift ، يمكنك تحليل جميع بياناتك والحصول على الأداء بأي نطاق بتكاليف منخفضة ويمكن التنبؤ بها.

يقدم Amazon Redshift المزايا التالية:

  • تحليل جميع البيانات الخاصة بك - باستخدام Amazon Redshift ، يمكنك بسهولة تحليل جميع بياناتك عبر مستودع البيانات وبحيرة البيانات لديك باستخدام سياسات متسقة للأمان والحوكمة. نسمي هذا هندسة البيانات الحديثة. مع طيف الأمازون للانزياح الأحمر، يمكنك الاستعلام عن البيانات في بحيرة البيانات الخاصة بك دون الحاجة إلى التحميل أو إعداد البيانات الأخرى. ومع تصدير بحيرة البيانات، يمكنك حفظ نتائج استعلام Amazon Redshift مرة أخرى في البحيرة. هذا يعني أنه يمكنك الاستفادة من التحليلات في الوقت الفعلي وحالات استخدام ML / AI بدون إعادة هندسة ، لأن Amazon Redshift متكامل تمامًا مع بحيرة البيانات الخاصة بك. مع إمكانيات جديدة مثل تبادل البيانات، يمكنك بسهولة مشاركة البيانات عبر مجموعات Amazon Redshift داخليًا وخارجيًا ، بحيث يكون لدى الجميع عرض حي ومتسق للبيانات. أمازون Redshift ML يجعل من السهل القيام بالمزيد باستخدام بياناتك - يمكنك إنشاء نماذج ML وتدريبها ونشرها باستخدام أوامر SQL المألوفة مباشرةً في مستودعات بيانات Amazon Redshift.
  • أداء سريع بأي مقياس - Amazon Redshift هو نظام ضبط ذاتي وتعلم ذاتي يسمح لك بالحصول على أفضل أداء لأحمال العمل الخاصة بك دون الرفع الثقيل غير المتمايز لضبط مستودع البيانات الخاص بك بمهام مثل تحديد مفاتيح الفرز ومفاتيح التوزيع ، وإمكانيات جديدة مثل وجهات نظر ملموسة, التحديث التلقائي ، وإعادة كتابة الاستعلام التلقائي. يتسع Amazon Redshift لتقديم نتائج سريعة باستمرار من الجيجابايت إلى بيتابايت من البيانات ، ومن عدد قليل من المستخدمين إلى الآلاف. نظرًا لأن قاعدة المستخدمين لديك تتسع لآلاف المستخدمين المتزامنين ، فإن ملف تحجيم التزامن تقوم القدرة تلقائيًا بنشر موارد الحوسبة اللازمة لإدارة الحمل الإضافي. مثيلات Amazon Redshift RA3 باستخدام الحوسبة والتخزين المنفصلين للتخزين المُدار ، بحيث يمكنك توسيع نطاق كل منهما على حدة ودفع مقابل مساحة التخزين التي تحتاجها فقط. AQUA (مسرع استعلام متقدم) لـ Amazon Redshift عبارة عن ذاكرة تخزين مؤقت جديدة موزعة ومعجلة للأجهزة تعمل تلقائيًا على تعزيز أنواع معينة من الاستعلامات.
  • تحليلات سهلة للجميع - Amazon Redshift عبارة عن مستودع بيانات مُدار بالكامل يعمل على التخلص من عبء إدارة البنية التحتية التفصيلية أو تحسين الأداء. يمكنك التركيز على الوصول إلى الرؤى ، بدلاً من أداء مهام الصيانة مثل توفير البنية التحتية وإنشاء نسخ احتياطية وإعداد تخطيط البيانات والمهام الأخرى. يمكنك تشغيل البيانات بتنسيقات مفتوحة ، واستخدام أوامر SQL المألوفة ، والاستفادة من تصورات الاستعلام المتاحة من خلال الإصدار الجديد محرر الاستعلام الإصدار 2. يمكنك أيضًا الوصول إلى البيانات من أي تطبيق من خلال واجهة برمجة تطبيقات بيانات آمنة دون تكوين برامج تشغيل وإدارة اتصالات قاعدة البيانات. يتوافق Amazon Redshift مع أدوات ذكاء الأعمال (BI) ، مما يفتح قوة Amazon Redshift وتكامله لمستخدمي الأعمال الذين يعملون من داخل أداة BI.

تساعد بنية البيانات الحديثة مع بنية بحيرة البيانات ومستودع البيانات الحديث مع Amazon Redshift الشركات بمختلف الأحجام على مواجهة تحديات البيانات الضخمة ، وفهم كمية كبيرة من البيانات ، وتعزيز نتائج الأعمال. يمكنك بدء رحلة بناء بنية بيانات حديثة من خلال ترحيل مستودع البيانات الخاص بك إلى Amazon Redshift.

اعتبارات الهجرة

يمثل ترحيل مستودع البيانات تحديًا من حيث تعقيد المشروع ويشكل خطرًا من حيث الموارد والوقت والتكلفة. لتقليل تعقيد ترحيل مستودع البيانات ، من الضروري اختيار إستراتيجية ترحيل مناسبة بناءً على مشهد مستودع البيانات الحالي ومقدار التحويل المطلوب للترحيل إلى Amazon Redshift. فيما يلي العوامل الرئيسية التي يمكن أن تؤثر على قرار إستراتيجية الترحيل الخاص بك:

  • حجم - يتم تحديد الحجم الإجمالي لمستودع البيانات المصدر المراد ترحيله بواسطة الكائنات والجداول وقواعد البيانات المضمنة في الترحيل. يؤدي الفهم الجيد لمصادر البيانات ومجالات البيانات المطلوبة للانتقال إلى Amazon Redshift إلى الحجم الأمثل لمشروع الترحيل.
  • نقل البيانات - تتضمن عملية ترحيل مستودع البيانات نقل البيانات بين خوادم مستودع بيانات المصدر و AWS. يمكنك إما نقل البيانات عبر اتصال بيني للشبكة بين موقع المصدر و AWS مثل AWS Direct Connect أو نقل البيانات في وضع عدم الاتصال عبر الأدوات أو الخدمات مثل مجموعة AWS Snow.
  • معدل تغيير البيانات - كم مرة تحدث تحديثات أو تغييرات البيانات في مستودع البيانات الخاص بك؟ يحدد معدل تغيير بيانات مستودع البيانات الحالي فترات التحديث المطلوبة للحفاظ على مزامنة مستودع البيانات المصدر و Amazon Redshift المستهدف. يتطلب مستودع بيانات المصدر الذي يتميز بمعدل تغيير بيانات مرتفع تبديل الخدمة من المصدر إلى Amazon Redshift حتى يكتمل خلال فترة تحديث ، مما يؤدي إلى فترة انتقال أقصر للترحيل.
  • تحويل البيانات - يعد نقل مستودع البيانات الحالي إلى Amazon Redshift عملية ترحيل غير متجانسة تتضمن تحويل البيانات مثل تعيين البيانات وتغيير المخطط. يحدد تعقيد تحويل البيانات وقت المعالجة المطلوب لتكرار الترحيل.
  • أدوات الهجرة و ETL - يمكن أن يؤثر اختيار أدوات الترحيل والاستخراج والتحويل والتحميل (ETL) على مشروع الترحيل. على سبيل المثال ، يمكن أن تختلف الجهود المطلوبة لنشر هذه الأدوات وإعدادها. ننظر عن كثب إلى أدوات وخدمات AWS قريبًا.

بعد أن تضع كل هذه الاعتبارات في الاعتبار ، يمكنك اختيار خيار إستراتيجية ترحيل لمشروع ترحيل Amazon Redshift الخاص بك.

استراتيجيات الهجرة

يمكنك الاختيار من بين ثلاث استراتيجيات ترحيل: الترحيل بخطوة واحدة ، أو الترحيل من خطوتين ، أو الترحيل المستند إلى الموجة.

يعد الترحيل بخطوة واحدة خيارًا جيدًا لقواعد البيانات التي لا تتطلب عملية مستمرة مثل النسخ المتماثل المستمر للحفاظ على مزامنة تغييرات البيانات المستمرة بين المصدر والوجهة. يمكنك استخراج قواعد البيانات الحالية كملفات قيم مفصولة بفاصلة (CSV) ، أو تنسيق عمودي مثل باركيه ، ثم استخدام خدمات AWS Snow Family مثل أوس سنوبول لتسليم مجموعات البيانات إلى خدمة تخزين أمازون البسيطة (Amazon S3) للتحميل في Amazon Redshift. تقوم بعد ذلك باختبار قاعدة بيانات Amazon Redshift الوجهة للتأكد من اتساق البيانات مع المصدر. بعد اجتياز جميع عمليات التحقق من الصحة ، يتم تحويل قاعدة البيانات إلى AWS.

يشيع استخدام الترحيل المكون من خطوتين لقواعد البيانات من أي حجم تتطلب عملية مستمرة ، مثل النسخ المتماثل المستمر. أثناء الترحيل ، تحتوي قواعد البيانات المصدر على تغييرات مستمرة في البيانات ، ويحافظ النسخ المتماثل المستمر على تغييرات البيانات متزامنة بين المصدر و Amazon Redshift. فيما يلي تفاصيل استراتيجية الترحيل المكونة من خطوتين:

  • ترحيل البيانات الأولية - يتم استخراج البيانات من قاعدة البيانات المصدر ، ويفضل أن يكون ذلك أثناء الاستخدام غير الذروة لتقليل التأثير. يتم بعد ذلك ترحيل البيانات إلى Amazon Redshift باتباع نهج الترحيل من خطوة واحدة الموضح سابقًا.
  • ترحيل البيانات المتغيرة - البيانات التي تغيرت في قاعدة البيانات المصدر بعد ترحيل البيانات الأولية يتم نشرها إلى الوجهة قبل التبديل. تقوم هذه الخطوة بمزامنة قواعد البيانات المصدر والوجهة. بعد ترحيل جميع البيانات التي تم تغييرها ، يمكنك التحقق من صحة البيانات في قاعدة البيانات الوجهة وإجراء الاختبارات اللازمة. إذا تم اجتياز جميع الاختبارات ، فحينئذٍ تنتقل إلى مستودع بيانات Amazon Redshift.

الترحيل المستند إلى الموجة مناسب لمشاريع ترحيل مستودع البيانات واسعة النطاق. يتخذ مبدأ الهجرة القائمة على الموجة الاحتياطات لتقسيم مشروع الهجرة المعقد إلى موجات منطقية ومنهجية متعددة. يمكن أن تقلل هذه الاستراتيجية بشكل كبير من التعقيد والمخاطر. تبدأ من حمل عمل يغطي عددًا جيدًا من مصادر البيانات ونطاقات الموضوعات ذات التعقيد المتوسط ​​، ثم تضيف المزيد من مصادر البيانات ونطاقات الموضوعات في كل موجة لاحقة. باستخدام هذه الإستراتيجية ، يمكنك تشغيل كل من مستودع بيانات المصدر وبيئات إنتاج Amazon Redshift بالتوازي لفترة معينة من الوقت قبل أن تتمكن من إنهاء مستودع بيانات المصدر بالكامل. يرى قم بتطوير منهجية ترحيل التطبيق لتحديث مستودع البيانات الخاص بك باستخدام Amazon Redshift للحصول على تفاصيل حول كيفية تحديد مصادر البيانات وتطبيقات التحليلات وتجميعها للترحيل من مستودع بيانات المصدر إلى Amazon Redshift باستخدام نهج الترحيل المستند إلى الموجة.

لتوجيه قرار إستراتيجية الترحيل ، ارجع إلى الجدول التالي لتعيين عوامل الاعتبار باستخدام إستراتيجية الترحيل المفضلة.

. الترحيل بخطوة واحدة الترحيل من خطوتين الهجرة القائمة على الموجة
عدد المجالات الخاضعة في نطاق الهجرة صغير متوسطة الى كبيرة متوسطة الى كبيرة
حجم نقل البيانات صغير إلى كبير صغير إلى كبير صغير إلى كبير
معدل تغيير البيانات أثناء الترحيل بدون اضاءة من الأدنى إلى المتكرر من الأدنى إلى المتكرر
تعقيد تحويل البيانات اي اي اي
نافذة تغيير الترحيل للتبديل من المصدر إلى الهدف ساعات العمل ثواني ثواني
مدة مشروع الترحيل أسابيع من أسابيع إلى شهور أشهر

عملية الهجرة

في هذا القسم ، نراجع الخطوات الثلاث عالية المستوى لعملية الترحيل. تتضمن استراتيجية الترحيل المكونة من خطوتين واستراتيجية الترحيل القائمة على الموجة جميع خطوات الترحيل الثلاث. ومع ذلك ، تتضمن استراتيجية الترحيل القائمة على الموجة عددًا من التكرارات. نظرًا لأن قواعد البيانات التي لا تتطلب عمليات مستمرة هي الأنسب للترحيل بخطوة واحدة فقط ، فلا يلزم سوى الخطوتين 1 و 2 في عملية الترحيل.

الخطوة 1: تحويل المخطط ونطاق الموضوع

في هذه الخطوة ، يمكنك جعل مخطط مستودع البيانات المصدر متوافقًا مع مخطط Amazon Redshift عن طريق تحويل مخطط مستودع بيانات المصدر باستخدام أدوات تحويل المخطط مثل أداة تحويل مخطط AWS (AWS SCT) والأدوات الأخرى من شركاء AWS. في بعض الحالات ، قد يُطلب منك أيضًا استخدام رمز مخصص لإجراء تحويلات مخطط معقدة. نتعمق أكثر في AWS SCT وأفضل ممارسات الترحيل في قسم لاحق.

الخطوة 2: استخراج البيانات الأولية وتحميلها

في هذه الخطوة ، تقوم بإكمال استخراج البيانات الأولية وتحميل بيانات المصدر في Amazon Redshift لأول مرة. يمكنك استخدام أدوات استخراج بيانات AWS SCT لاستخراج البيانات من مخزن البيانات المصدر وتحميل البيانات إلى Amazon S3 إذا كان حجم البيانات ومتطلبات نقل البيانات تسمح لك بنقل البيانات عبر الشبكة المترابطة. بدلاً من ذلك ، إذا كانت هناك قيود مثل حد سعة الشبكة ، فيمكنك تحميل البيانات إلى Snowball ومن هناك يتم تحميل البيانات إلى Amazon S3. عندما تكون البيانات في مستودع البيانات المصدر متاحة على Amazon S3 ، يتم تحميلها إلى Amazon Redshift. في المواقف التي تؤدي فيها الأدوات الأصلية لمستودع البيانات المصدر مهمة تفريغ وتحميل بيانات أفضل من مستخرجي بيانات AWS SCT ، يمكنك اختيار استخدام الأدوات الأصلية لإكمال هذه الخطوة.

الخطوة 3: دلتا والتحميل الإضافي

في هذه الخطوة ، تستخدم AWS SCT وأحيانًا أدوات أصلية لمستودع البيانات المصدر لالتقاط وتحميل تغييرات دلتا أو تدريجية من المصادر إلى Amazon Redshift. غالبًا ما يشار إلى تغيير التقاط البيانات (CDC). CDC هي عملية تلتقط التغييرات التي تم إجراؤها في قاعدة البيانات ، وتضمن نسخ هذه التغييرات إلى وجهة مثل مستودع البيانات.

يجب أن يكون لديك الآن معلومات كافية لبدء تطوير خطة ترحيل لمستودع البيانات الخاص بك. في القسم التالي ، أتعمق أكثر في خدمات AWS التي يمكن أن تساعدك على ترحيل مستودع البيانات الخاص بك إلى Amazon Redshift ، وأفضل الممارسات لاستخدام هذه الخدمات لتسريع التسليم الناجح لمشروع ترحيل مستودع البيانات الخاص بك.

خدمات ترحيل مستودع البيانات

يتضمن ترحيل مستودع البيانات مجموعة من الخدمات والأدوات لدعم عملية الترحيل. تبدأ بإنشاء تقرير تقييم ترحيل قاعدة البيانات ثم تحويل مخطط بيانات المصدر ليكون متوافقًا مع Amazon Redshift باستخدام AWS SCT. لنقل البيانات ، يمكنك استخدام أداة استخراج البيانات AWS SCT ، والتي تتكامل معها خدمة ترحيل البيانات AWS (AWS DMS) لإنشاء وإدارة مهام AWS DMS وتنظيم ترحيل البيانات.

لنقل بيانات المصدر عبر الشبكة المترابطة بين المصدر و AWS ، يمكنك استخدام بوابة تخزين AWS, أمازون كينسيس داتا فايرهاوس، اتصال مباشر، خدمات AWS Transfer Family, تسريع نقل Amazon S3و أوس داتا سينك. بالنسبة لترحيل مستودع البيانات الذي يتضمن حجمًا كبيرًا من البيانات ، أو في حالة وجود قيود على سعة الشبكة المترابطة ، يمكنك نقل البيانات باستخدام مجموعة خدمات AWS Snow Family. باستخدام هذا الأسلوب ، يمكنك نسخ البيانات إلى الجهاز ، وإرسالها مرة أخرى إلى AWS ، ونسخ البيانات إلى Amazon Redshift عبر Amazon S3.

AWS SCT هي خدمة أساسية لتسريع ترحيل مستودع البيانات إلى Amazon Redshift. دعونا نتعمق أكثر في ذلك.

الترحيل باستخدام AWS SCT

تعمل AWS SCT على أتمتة الكثير من عملية تحويل مخطط مستودع البيانات إلى مخطط قاعدة بيانات Amazon Redshift. نظرًا لأن محركات قاعدة البيانات المصدر والهدف يمكن أن تحتوي على العديد من الميزات والإمكانيات المختلفة ، تحاول AWS SCT إنشاء مخطط مكافئ في قاعدة البيانات المستهدفة كلما أمكن ذلك. إذا لم يكن التحويل المباشر ممكنًا ، تقوم AWS SCT بإنشاء تقرير تقييم ترحيل قاعدة البيانات لمساعدتك على تحويل مخططك. يوفر تقرير تقييم ترحيل قاعدة البيانات معلومات مهمة حول تحويل المخطط من قاعدة البيانات المصدر إلى قاعدة البيانات الهدف. يلخص التقرير كل مهام تحويل المخطط ويفصل عناصر الإجراءات لكائنات المخطط التي لا يمكن تحويلها إلى محرك قاعدة البيانات لقاعدة البيانات الهدف. يتضمن التقرير أيضًا تقديرات لمقدار الجهد الذي سيستغرقه الأمر لكتابة الرمز المكافئ في قاعدة البيانات الهدف التي لا يمكن تحويلها تلقائيًا.

تحسين التخزين هو جوهر تحويل مستودع البيانات. عند استخدام قاعدة بيانات Amazon Redshift الخاصة بك كمصدر واختبار قاعدة بيانات Amazon Redshift كهدف ، توصي AWS SCT بمفاتيح الفرز ومفاتيح التوزيع لتحسين قاعدة البيانات الخاصة بك.

باستخدام AWS SCT ، يمكنك تحويل مخططات مستودع البيانات التالية إلى Amazon Redshift:

  • الأمازون الأحمر
  • تحليلات Azure Synapse (الإصدار 10)
  • قاعدة بيانات Greenplum (الإصدار 4.3 والإصدارات الأحدث)
  • Microsoft SQL Server (الإصدار 2008 والإصدارات الأحدث)
  • Netezza (الإصدار 7.0.3 والإصدارات الأحدث)
  • Oracle (الإصدار 10.2 والإصدارات الأحدث)
  • ندفة الثلج (الإصدار 3)
  • Teradata (الإصدار 13 والإصدارات الأحدث)
  • Vertica (الإصدار 7.2 والإصدارات الأحدث)

At
AWS ، نواصل إصدار ميزات وتحسينات جديدة لتحسين منتجنا. للحصول على أحدث التحويلات المدعومة ، تفضل بزيارة دليل مستخدم AWS SCT.

ترحيل البيانات باستخدام أداة استخراج بيانات AWS SCT

يمكنك استخدام أداة استخراج بيانات AWS SCT لاستخراج البيانات من مستودع البيانات الداخلي الخاص بك وترحيلها إلى Amazon Redshift. يستخرج الوكيل بياناتك ويحملها إما إلى Amazon S3 أو ، لعمليات الترحيل على نطاق واسع ، خدمة AWS Snowball Family. يمكنك بعد ذلك استخدام AWS SCT لنسخ البيانات إلى Amazon Redshift. Amazon S3 هي خدمة تخزين واسترجاع. لتخزين عنصر في Amazon S3 ، تقوم بتحميل الملف الذي تريد تخزينه في حاوية S3. عند تحميل ملف ، يمكنك تعيين أذونات للكائن وأيضًا على أي بيانات وصفية.

في عمليات الترحيل واسعة النطاق التي تتضمن تحميل البيانات إلى خدمة AWS Snowball Family ، يمكنك استخدام مهام سير العمل القائمة على المعالج في AWS SCT لأتمتة العملية التي تقوم فيها أداة استخراج البيانات بتنسيق AWS DMS لإجراء الترحيل الفعلي.

اعتبارات خاصة بأدوات ترحيل Amazon Redshift

لتحسين وتسريع ترحيل مستودع البيانات إلى Amazon Redshift ، ضع في اعتبارك النصائح وأفضل الممارسات التالية. هذه القائمة ليست شاملة. تأكد من أن لديك فهمًا جيدًا لملف تعريف مستودع البيانات الخاص بك وحدد أفضل الممارسات التي يمكنك استخدامها لمشروع الترحيل الخاص بك.

  • استخدم AWS SCT لإنشاء تقرير تقييم الترحيل وجهود ترحيل النطاق.
  • أتمتة الترحيل باستخدام AWS SCT حيثما أمكن ذلك. تُظهر تجربة عملائنا أن AWS SCT يمكنها تلقائيًا إنشاء غالبية نصوص DDL و SQL.
  • عندما لا يكون التحويل الآلي للمخطط ممكنًا ، استخدم البرمجة النصية المخصصة لتحويل التعليمات البرمجية.
  • قم بتثبيت وكلاء مستخرج بيانات AWS SCT في أقرب مكان ممكن من مصدر البيانات لتحسين أداء ترحيل البيانات وموثوقيتها.
  • لتحسين أداء ترحيل البيانات ، قم بتحديد حجم ملف الأمازون الحوسبة المرنة السحابية (Amazon EC2) وما يكافئه من الأجهزة الظاهرية التي تم تثبيت وكلاء استخراج البيانات عليها.
  • قم بتكوين العديد من وكلاء استخراج البيانات لتشغيل مهام متعددة بشكل متوازٍ لتحسين أداء ترحيل البيانات من خلال تعظيم استخدام النطاق الترددي للشبكة المخصص.
  • اضبط تكوين ذاكرة AWS SCT لتحسين أداء تحويل المخطط.
  • استخدم Amazon S3 لتخزين الكائنات الكبيرة مثل الصور وملفات PDF والبيانات الثنائية الأخرى من مستودع البيانات الموجود لديك.
  • لترحيل الجداول الكبيرة ، استخدم التقسيم الظاهري وأنشئ مهام فرعية لتحسين أداء ترحيل البيانات.
  • فهم حالات استخدام خدمات AWS مثل Direct Connect و AWS Transfer Family و AWS Snow Family. حدد الخدمة أو الأداة المناسبة لتلبية متطلبات ترحيل البيانات الخاصة بك.
  • افهم حصص خدمة AWS واتخذ قرارات مستنيرة بشأن تصميم الترحيل.

نبذة عامة

يزداد حجم البيانات وتعقيدها بشكل أسرع من أي وقت مضى. ومع ذلك ، يتوفر فقط جزء بسيط من هذا الأصل الثمين للتحليل. تحتوي مستودعات البيانات التقليدية في مقر العمل على بنى صارمة لا تتناسب مع حالات استخدام تحليلات البيانات الضخمة الحديثة. تعد مستودعات البيانات التقليدية هذه مكلفة في الإنشاء والتشغيل ، وتتطلب استثمارات كبيرة مقدمًا في كل من البرامج والأجهزة.

في هذا المنشور ، ناقشنا Amazon Redshift كمستودع بيانات مُدار بالكامل وقابل للتطوير وحديث يمكنه مساعدتك في تحليل جميع بياناتك وتحقيق الأداء على أي نطاق بتكلفة منخفضة ويمكن التنبؤ بها. لترحيل مستودع البيانات الخاص بك إلى Amazon Redshift ، تحتاج إلى مراعاة مجموعة من العوامل ، مثل الحجم الإجمالي لمستودع البيانات ، ومعدل تغيير البيانات ، وتعقيد تحويل البيانات ، قبل اختيار استراتيجية وعملية ترحيل مناسبة لتقليل التعقيد و تكلفة مشروع ترحيل مستودع البيانات الخاص بك. من خلال خدمات AWS مثل AWS SCT و AWS DMS ، وباعتماد النصائح وأفضل الممارسات لهذه الخدمات ، يمكنك أتمتة مهام الترحيل ، وتوسيع نطاق الترحيل ، وتسريع تسليم مشروع ترحيل مستودع البيانات ، وإسعاد عملائك.


عن المؤلف

لويس تانغ مهندس حلول أول في Amazon Web Services ومقرها سيدني ، أستراليا. يوفر Lewis إرشادات للشركاء لمجموعة واسعة من خدمات AWS ويساعد الشركاء على تسريع نمو ممارسات AWS.

بقعة_صورة

أحدث المعلومات الاستخباراتية

بقعة_صورة