"تقع البيانات في قلب كل تطبيق، وعملية، وقرار تجاري. وعندما يتم استخدام البيانات لتحسين تجارب العملاء ودفع الابتكار، فقد يؤدي ذلك إلى نمو الأعمال".

- سوامي سيفاسوبرامانيان، نائب رئيس قاعدة البيانات والتحليلات والتعلم الآلي في AWS في من خلال نهج صفر ETL، تساعد AWS المنشئين على تحقيق التحليلات في الوقت الفعلي تقريبًا.

أصبح العملاء في مختلف الصناعات يعتمدون بشكل أكبر على البيانات ويتطلعون إلى زيادة الإيرادات وخفض التكلفة وتحسين عملياتهم التجارية من خلال تنفيذ تحليلات في الوقت الفعلي تقريبًا على بيانات المعاملات، وبالتالي تعزيز المرونة. استنادًا إلى احتياجات العملاء وتعليقاتهم، تستثمر AWS وتتقدم بثبات نحو تحقيق رؤية صفر ETL حتى يتمكن المنشئون من التركيز بشكل أكبر على إنشاء قيمة من البيانات، بدلاً من إعداد البيانات للتحليل.

الأهداف و صفر-ETL التكامل مع الأمازون الأحمر يسهل حركة البيانات من نقطة إلى نقطة لتجهيزها للتحليلات والذكاء الاصطناعي (AI) والتعلم الآلي (ML) باستخدام Amazon Redshift على بيتابايت من البيانات. في غضون ثوانٍ من كتابة بيانات المعاملات أيد تعمل قواعد بيانات AWS، Zero-ETL، على إتاحة البيانات بسلاسة في Amazon Redshift، مما يلغي الحاجة إلى إنشاء وصيانة خطوط أنابيب بيانات معقدة تؤدي عمليات الاستخراج والتحويل والتحميل (ETL).

لمساعدتك في التركيز على إنشاء قيمة من البيانات بدلاً من استثمار الوقت والموارد غير المتمايزة في بناء وإدارة خطوط أنابيب ETL بين قواعد بيانات المعاملات ومستودعات البيانات، نحن أعلنت عن أربع عمليات تكامل صفرية لقاعدة بيانات AWS مع Amazon Redshift في AWS re:Invent 2023:

في هذا المنشور، نقدم إرشادات خطوة بخطوة حول كيفية البدء في التحليلات التشغيلية في الوقت الفعلي تقريبًا باستخدام تكامل Amazon Aurora PostgreSQL بدون ETL مع Amazon Redshift.

حل نظرة عامة

لإنشاء تكامل صفري ETL، يمكنك تحديد إصدار متوافق مع Amazon Aurora PostgreSQL المجموعة (متوافقة مع PostgreSQL 15.4 ودعم Zero-ETL) كمصدر، ومستودع بيانات Redshift كهدف. يقوم التكامل بنسخ البيانات من قاعدة البيانات المصدر إلى مستودع البيانات الهدف.

يجب عليك إنشاء مجموعات Aurora PostgreSQL DB المتوفرة داخل بيئة معاينة قاعدة بيانات Amazon RDS والتحول الأحمر مجموعة المعاينة المتوفرة or مجموعة عمل المعاينة بدون خادم، في منطقة شرق الولايات المتحدة (أوهايو) AWS. بالنسبة إلى Amazon Redshift، تأكد من اختيار مسار Preview_2023 من أجل استخدام عمليات التكامل ذات القيمة صفر ETL.

يوضح الرسم البياني التالي البنية المطبقة في هذا المنشور.

فيما يلي الخطوات اللازمة لإعداد تكامل ETL لهذا الحل. للحصول على أدلة البدء الكاملة، راجع العمل مع عمليات تكامل Aurora Zero-ETL مع Amazon Redshift و العمل مع عمليات التكامل الصفرية ETL.

بعد الخطوة 1، يمكنك أيضًا تخطي الخطوات من 2 إلى 4 والبدء مباشرة في إنشاء تكامل صفري ETL من الخطوة 5، وفي هذه الحالة ستعرض Amazon RDS رسالة حول التكوينات المفقودة ويمكنك الاختيار أصلحه لي للسماح لـ Amazon RDS بتكوين الخطوات تلقائيًا.

1. قم بتكوين مصدر Aurora PostgreSQL باستخدام مجموعة معلمات مجموعة قاعدة بيانات مخصصة.
2. تكوين أمازون Redshift Serverless الوجهة مع سياسة الموارد المطلوبة لمساحة الاسم الخاصة بها.
3. قم بتحديث مجموعة العمل Redshift Serverless لتمكين المعرفات الحساسة لحالة الأحرف.
4. تكوين الأذونات المطلوبة.
5. إنشاء تكامل الصفر ETL.
6. قم بإنشاء قاعدة بيانات من التكامل في Amazon Redshift.
7. ابدأ في تحليل بيانات المعاملات في الوقت الفعلي تقريبًا.

قم بتكوين مصدر Aurora PostgreSQL باستخدام مجموعة معلمات مجموعة قاعدة بيانات مخصصة

بالنسبة لمجموعات قاعدة بيانات Aurora PostgreSQL، يجب عليك إنشاء مجموعة المعلمات المخصصة داخل بيئة معاينة قاعدة بيانات Amazon RDS، في منطقة شرق الولايات المتحدة (أوهايو). أنت تستطيع الوصول مباشرةً إلى بيئة معاينة Amazon RDS.

لإنشاء قاعدة بيانات Aurora PostgreSQL، أكمل الخطوات التالية:

1. في وحدة تحكم Amazon RDS ، اختر مجموعات المعلمات في جزء التنقل.
2. اختار إنشاء مجموعة المعلمات.
3. في حالة عائلة مجموعة المعلمة، اختر aurora-postgresql15.
4. في حالة النوع، اختر DB Cluster Parameter Group.
5. في حالة أسم المجموعة، أدخل اسمًا (على سبيل المثال ، zero-etl-custom-pg-postgres).
6. اختار إنشاء.

تتطلب عمليات تكامل Aurora PostgreSQL Zero-ETL مع Amazon Redshift قيمًا محددة لـ معلمات مجموعة قاعدة بيانات Aurora، الأمر الذي يتطلب النسخ المتماثل المنطقي المحسن (aurora.enhanced_logic_replication).

7. على مجموعات المعلمات الصفحة، حدد مجموعة المعلمات التي تم إنشاؤها حديثًا.
8. على الإجراءات القائمة، اختر تعديل.
9. قم بتعيين Aurora PostgreSQL التالي (عائلة أورورا-postgresql15) إعدادات معلمة الكتلة:
   • rds.logical_replication=1
   • aurora.enhanced_logical_replication=1
   • aurora.logical_replication_backup=0
   • aurora.logical_replication_globaldb=0

يؤدي تمكين النسخ المتماثل المنطقي المحسّن (aurora.enhanced_logic_replication) إلى تعيين معلمة REPLICA IDENTITY إلى FULL تلقائيًا، مما يعني أنه تتم كتابة جميع قيم الأعمدة في سجل الكتابة المسبق (WAL).

10. اختار حفظ التغييرات.
11. اختار قواعد بيانات في جزء التنقل ، ثم اختر إنشاء قاعدة البيانات.
    
12. في حالة نوع المحرك، حدد أمازون أورورا.
13. في حالة طبعة، حدد إصدار متوافق مع Amazon Aurora PostgreSQL.
14. في حالة الإصدارات المتاحة، اختر Aurora PostgreSQL (متوافق مع PostgreSQL 15.4 ودعم Zero-ETL).
15. في حالة النماذج، حدد الإنتــاج.
16. في حالة معرف كتلة DB، أدخل zero-etl-source-pg.
17. تحت إعدادات بيانات الاعتماد، أدخل كلمة المرور ل كلمة السر الرئيسية أو استخدم الخيار لإنشاء كلمة مرور لك تلقائيًا.
18. في مجلة قسم تكوين المثيل، حدد فئات الذاكرة الأمثل.
19. اختر حجم المثيل المناسب (الحجم الافتراضي هو db.r5.2xlarge).
20. تحت تكوين إضافي، ل مجموعة معلمات الكتلة DB، اختر مجموعة المعلمات التي أنشأتها مسبقًا (zero-etl-custom-pg-postgres).
21. اترك الإعدادات الافتراضية للتكوينات المتبقية.
22. اختار إنشاء قاعدة البيانات.

في غضون دقائق قليلة، من المفترض أن يؤدي ذلك إلى إنشاء مجموعة Aurora PostgreSQL، مع كاتب واحد ومثيل قارئ واحد، مع تغيير الحالة من خلق إلى متوفرة . ستكون مجموعة Aurora PostgreSQL التي تم إنشاؤها حديثًا هي المصدر للتكامل الصفري لـ ETL.

الخطوة التالية هي إنشاء قاعدة بيانات مسماة في Amazon Aurora PostgreSQL للتكامل صفر ETL.

يتيح لك نموذج موارد PostgreSQL إنشاء قواعد بيانات متعددة داخل المجموعة. لذلك، أثناء خطوة إنشاء التكامل صفر ETL، تحتاج إلى تحديد قاعدة البيانات التي تريد استخدامها كمصدر للتكامل الخاص بك.

عند إعداد PostgreSQL، ستحصل على ثلاث قواعد بيانات قياسية جاهزة للاستخدام: template0، template1، وpostgres. عندما تقوم بإنشاء قاعدة بيانات جديدة في PostgreSQL، فإنك في الواقع تعتمدها على إحدى قواعد البيانات الثلاث هذه في مجموعتك. تعتمد قاعدة البيانات التي تم إنشاؤها أثناء إنشاء مجموعة Aurora PostgreSQL على القالب0. ال CREATE DATABASE يعمل الأمر عن طريق نسخ قاعدة بيانات موجودة، وإذا لم يتم تحديده بشكل صريح، فسيتم بشكل افتراضي نسخ قالب قاعدة بيانات النظام القياسي. بالنسبة لقاعدة البيانات المسماة للتكامل صفر ETL، يلزم إنشاء قاعدة البيانات باستخدام template1 وليس template1. لذلك، إذا تمت إضافة اسم قاعدة بيانات أولية ضمن تكوين إضافي، والتي سيتم إنشاؤها باستخدام template0 ولا يمكن استخدامها للتكامل صفر ETL.

23. لإنشاء قاعدة بيانات مسماة جديدة باستخدام CREATE DATABASE ضمن مجموعة Aurora PostgreSQL الجديدة zero-etl-source-pg، احصل أولاً على نقطة النهاية لمثيل الكاتب لمجموعة PostgreSQL.
24. من محطة أو باستخدام أوس كلاودشيل، SSH في مجموعة PostgreSQL وقم بتشغيل الأوامر التالية لتثبيت psql وإنشاء قاعدة بيانات جديدة zeroetl_db:

    sudo dnf install postgresql15
    psql –version
    psql -h <RDS Write Instance Endpoint> -p 5432 -U postgres
    create database zeroetl_db template template1;

إضافة template template1 اختياري، لأنه افتراضيًا، إذا لم يتم ذكره، CREATE DATABASE سوف نستخدم template1.

يمكنك أيضًا الاتصال عبر العميل وإنشاء قاعدة البيانات. تشير إلى اتصل بمجموعة قاعدة بيانات Aurora PostgreSQL للحصول على خيارات الاتصال بمجموعة PostgreSQL.

قم بتكوين Redshift Serverless كوجهة

بعد إنشاء مجموعة قاعدة بيانات مصدر Aurora PostgreSQL، يمكنك تكوين مستودع بيانات هدف Redshift. يجب أن يتوافق مستودع البيانات مع المتطلبات التالية:

• تم الإنشاء في المعاينة (لمصادر Aurora PostgreSQL فقط)
• يستخدم نوع عقدة RA3 (ra3.16xlarge أو ra3.4xlarge أو ra3.xlplus) مع عقدتين على الأقل، أو Redshift Serverless
• مشفرة (في حالة استخدام مجموعة متوفرة)

بالنسبة لهذا المنشور، نقوم بإنشاء وتكوين مجموعة عمل Redshift Serverless ومساحة الاسم كمستودع البيانات الهدف، باتباع الخطوات التالية:

1. في وحدة تحكم Amazon Redshift ، اختر لوحة القيادة بدون خادم في جزء التنقل.

نظرًا لأنه تم إطلاق التكامل الصفري لـ ETL لـ Amazon Aurora PostgreSQL إلى Amazon Redshift في المعاينة (ليس لأغراض الإنتاج)، فأنت بحاجة إلى إنشاء مستودع البيانات المستهدف في بيئة المعاينة.

2. اختار إنشاء مجموعة عمل المعاينة.

الخطوة الأولى هي تكوين مجموعة العمل Redshift Serverless.

3. في حالة اسم مجموعة العمل، أدخل اسمًا (على سبيل المثال ، zero-etl-target-rs-wg).
4. بالإضافة إلى ذلك، يمكنك اختيار السعة للحد من موارد الحوسبة لمستودع البيانات. يمكن تكوين السعة بزيادات قدرها 8، من 8 إلى 512 وحدة RPU. بالنسبة لهذا المنشور، قم بتعيين هذا على 8 وحدات معالجة البيانات.
5. اختار التالى.

بعد ذلك، تحتاج إلى تكوين مساحة الاسم لمستودع البيانات.

6. أختار قم بإنشاء مساحة اسم جديدة.
7. في حالة مساحة الاسم، أدخل اسمًا (على سبيل المثال ، zero-etl-target-rs-ns).
8. اختار التالى.
9. اختار قم بإنشاء مجموعة عمل.
10. بعد إنشاء مجموعة العمل ومساحة الاسم، اختر تكوينات مساحة الاسم في جزء التنقل وافتح تكوين مساحة الاسم.
11. على سياسة الموارد علامة التبويب، اختر أضف الأساسيين المعتمدين.

يحدد المدير المعتمد المستخدم أو الدور الذي يمكنه إنشاء عمليات تكامل صفرية لـ ETL في مستودع البيانات.

12. في حالة معرف حساب ARN أو AWS الرئيسي لـ IAM، يمكنك إدخال إما ARN لمستخدم أو دور AWS، أو معرف حساب AWS الذي تريد منحه حق الوصول لإنشاء عمليات تكامل صفرية. (يتم تخزين معرف الحساب كـ ARN.)
13. اختار حفظ التغييرات.

بعد تكوين المدير المعتمد، يتعين عليك السماح لقاعدة البيانات المصدر بتحديث مستودع بيانات Redshift الخاص بك. ولذلك، يجب عليك إضافة قاعدة البيانات المصدر كمصدر تكامل معتمد إلى مساحة الاسم.

14. اختار أضف مصدر التكامل المعتمد.
15. في حالة المصدر المعتمد ARN، أدخل ARN لمجموعة Aurora PostgreSQL، لأنه مصدر التكامل الصفري لـ ETL.

يمكنك الحصول على ARN لمجموعة Aurora PostgreSQL على وحدة تحكم Amazon RDS، و الاعداد تحت علامة التبويب اسم مورد أمازون.

16. اختار حفظ التغييرات.

قم بتحديث مجموعة العمل Redshift Serverless لتمكين المعرفات الحساسة لحالة الأحرف

يعتبر Amazon Aurora PostgreSQL حساسًا لحالة الأحرف بشكل افتراضي، ويتم تعطيل حساسية حالة الأحرف في جميع المجموعات المتوفرة ومجموعات العمل Redshift Serverless. لكي يكون التكامل ناجحًا، يجب استخدام معلمة حساسية الحالة Enable_case_sensitive_identifier يجب تمكينه لمستودع البيانات.

من أجل تعديل enable_case_sensitive_identifier في مجموعة عمل Redshift Serverless، فإنك تحتاج إلى استخدام واجهة سطر الأوامر AWS (AWS CLI)، لأن وحدة تحكم Amazon Redshift لا تدعم حاليًا تعديل قيم معلمات Redshift Serverless. قم بتشغيل الأمر التالي لتحديث المعلمة:

aws redshift-serverless update-workgroup --workgroup-name zero-etl-target-rs-wg --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=true --region us-east-2

تتمثل إحدى الطرق البسيطة للاتصال بـ AWS CLI في استخدام CloudShell، وهو عبارة عن غلاف قائم على المتصفح يوفر الوصول إلى سطر الأوامر إلى موارد وأدوات AWS مباشرة من المتصفح. توضح لقطة الشاشة التالية كيفية تشغيل الأمر في CloudShell.

تكوين الأذونات المطلوبة

لإنشاء تكامل صفري ETL ، يجب إرفاق المستخدم أو الدور الخاص بك السياسة القائمة على الهوية مع المناسب إدارة الهوية والوصول AWS (IAM) أذونات. يمكن لمالك حساب AWS تكوين الأذونات المطلوبة للمستخدم أو الأدوار التي قد تنشئ عمليات تكامل صفرية لـ ETL. تسمح سياسة العينة للمدير المرتبط بتنفيذ الإجراءات التالية:

• إنشاء عمليات تكامل صفرية ETL لمجموعة Aurora DB المصدر.
• عرض وحذف جميع عمليات تكامل صفرية ETL.
• إنشاء عمليات تكامل واردة في مستودع البيانات المستهدف. يحتوي Amazon Redshift على تنسيق ARN مختلف للإصدارات المتوفرة وبدون خادم:
• مجموعة مخصصة - arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid
• Serverless - arn:aws:redshift-serverless:{region}:{account-id}:namespace/namespace-uuid

هذا الإذن غير مطلوب إذا كان الحساب نفسه يمتلك مستودع بيانات Redshift وكان هذا الحساب هو الحساب الرئيسي المعتمد لمستودع البيانات هذا.

أكمل الخطوات التالية لتكوين الأذونات:

1. في وحدة تحكم IAM ، اختر السياسات في جزء التنقل.
2. اختار إنشاء سياسة.
3. قم بإنشاء سياسة جديدة تسمى rds-integrations باستخدام JSON التالي. بالنسبة لمعاينة Amazon Aurora PostgreSQL، فإن جميع أسماء ARNs والإجراءات داخل بيئة معاينة قاعدة بيانات Amazon RDS تمت إضافة -معاينة إلى مساحة اسم الخدمة. لذلك، في السياسة التالية، بدلا من RDS، تحتاج إلى استخدامها rds-preview. على سبيل المثال، rds-preview:CreateIntegration.

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "rds:CreateIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:cluster:source-cluster",
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DescribeIntegration"
        ],
        "Resource": ["*"]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DeleteIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "redshift:CreateInboundIntegration"
        ],
        "Resource": [
            "arn:aws:redshift:{region}:{account-id}:cluster:namespace-uuid"
        ]
    }]
}

4. قم بإرفاق السياسة التي أنشأتها بمستخدم IAM أو أذونات الدور.

إنشاء تكامل الصفر ETL

لإنشاء تكامل صفري ETL ، أكمل الخطوات التالية:

1. في وحدة تحكم Amazon RDS ، اختر تكامل Zero-ETL في جزء التنقل.
2. اختار إنشاء تكامل صفري ETL.
3. في حالة معرف التكامل، أدخل اسمًا ، على سبيل المثال zero-etl-demo.
4. اختار التالى.
5. في حالة قاعدة بيانات المصدر، اختر تصفح قواعد بيانات RDS.
6. حدد قاعدة البيانات المصدر zero-etl-source-pg واختر اختار.
7. في حالة قاعدة البيانات المسماة، أدخل اسم قاعدة البيانات الجديدة التي تم إنشاؤها في Amazon Aurora PostgreSQL (zeroetl-db).
8. اختار التالى.
9. في مجلة القسم المستهدف، ل حساب AWS، حدد استخدم الحساب الجاري.
10. في حالة مستودع بيانات Amazon Redshift، اختر تصفح مستودعات بيانات Redshift.

نناقش حدد حسابًا مختلفًا الخيار لاحقًا في هذا القسم.

11. حدد مساحة اسم الوجهة Redshift Serverless (zero-etl-target-rs-ns)، و اختار اختار.
12. أضف العلامات والتشفير، إن أمكن، ثم اختر التالي.
13. تحقق من اسم التكامل والمصدر والهدف والإعدادات الأخرى، ثم اختر إنشاء تكامل صفري ETL.

يمكنك اختيار التكامل على وحدة تحكم Amazon RDS لعرض التفاصيل ومراقبة التقدم المحرز. يستغرق تغيير الحالة من 30 دقيقة تقريبًا خلق إلى النشطه، اعتمادًا على حجم مجموعة البيانات المتوفرة بالفعل في المصدر.

لتحديد مستودع بيانات Redshift مستهدف موجود في حساب AWS آخر، يجب عليك إنشاء دور يسمح للمستخدمين في الحساب الحالي بالوصول إلى الموارد في الحساب المستهدف. لمزيد من المعلومات، راجع توفير الوصول إلى مستخدم IAM في حساب AWS آخر تملكه.

قم بإنشاء دور في الحساب الهدف بالأذونات التالية:

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "redshift:DescribeClusters",
            "redshift-serverless:ListNamespaces"
         ],
         "Resource":[
            "*"
         ]
      }
   ]
}

يجب أن يحتوي الدور على نهج الثقة التالي ، الذي يحدد معرف الحساب الهدف. يمكنك القيام بذلك عن طريق إنشاء دور مع كيان موثوق به كمعرف حساب AWS في حساب آخر.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "AWS": "arn:aws:iam::{external-account-id}:root"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

توضح لقطة الشاشة التالية إنشاء هذا على وحدة تحكم IAM.

ثم، أثناء إنشاء التكامل صفر-ETL، لـ حدد حسابًا مختلفًا، واختر معرف حساب الوجهة واسم الدور الذي قمت بإنشائه.

قم بإنشاء قاعدة بيانات من التكامل في Amazon Redshift

لإنشاء قاعدة البيانات الخاصة بك ، أكمل الخطوات التالية:

1. في لوحة القيادة Redshift Serverless ، انتقل إلى ملف zero-etl-target-rs-ns مساحة الاسم.
2. اختار بيانات الاستعلام لفتح محرر الاستعلام v2.
   
3. اتصل بمستودع بيانات Redshift Serverless عن طريق الاختيار إنشاء اتصال.
   
4. الحصول على integration_id من svv_integration جدول النظام:

   SELECT integration_id FROM svv_integration; -- copy this result, use in the next sql

5. استخدم integration_id من الخطوة السابقة لإنشاء قاعدة بيانات جديدة من التكامل. يجب عليك أيضًا تضمين مرجع إلى قاعدة البيانات المسماة داخل المجموعة التي حددتها عند إنشاء التكامل.
   CREATE DATABASE aurora_pg_zetl FROM INTEGRATION '<result from above>' DATABASE zeroetl_db;

اكتمل التكامل الآن، وستظهر لقطة كاملة للمصدر كما هي في الوجهة. ستتم مزامنة التغييرات الجارية في الوقت الفعلي تقريبًا.

تحليل بيانات المعاملات في الوقت الحقيقي القريب

يمكنك الآن البدء في تحليل البيانات في الوقت الفعلي تقريبًا من مصدر Amazon Aurora PostgreSQL إلى هدف Amazon Redshift:

1. اتصل بقاعدة بيانات Aurora PostgreSQL المصدر. في هذا العرض التوضيحي، نستخدم psql للاتصال بـ Amazon Aurora PostgreSQL:

   psql -h <amazon_aurora_postgres_writer_endpoint> -p 5432 -d zeroetl_db -U postgres

2. قم بإنشاء جدول نموذجي باستخدام مفتاح أساسي. تأكد من أن كافة الجداول المراد نسخها من المصدر إلى الهدف تحتوي على مفتاح أساسي. لا يمكن نسخ الجداول التي لا تحتوي على مفتاح أساسي إلى الهدف.

CREATE TABLE NATION  ( 
N_NATIONKEY  INTEGER NOT NULL PRIMARY KEY, 
N_NAME       CHAR(25) NOT NULL,
N_REGIONKEY  INTEGER NOT NULL,
N_COMMENT    VARCHAR(152));

3. أدخل بيانات وهمية في جدول الأمة وتحقق من تحميل البيانات بشكل صحيح:

INSERT INTO nation VALUES (1, 'USA', 1 , 'united states of america');
SELECT * FROM nation;

يجب الآن نسخ هذه البيانات النموذجية في Amazon Redshift.

تحليل البيانات المصدر في الوجهة

في لوحة معلومات Redshift Serverless، افتح الإصدار 2 من محرر الاستعلام واتصل بقاعدة البيانات aurora_pg_zetl قمت بإنشائه في وقت سابق.

قم بتشغيل الاستعلام التالي للتحقق من صحة النسخ المتماثل الناجح للبيانات المصدر في Amazon Redshift:

SELECT * FROM aurora_pg_etl.public.nation;

يمكنك أيضًا استخدام الاستعلام التالي للتحقق من صحة اللقطة الأولية أو نشاط التقاط بيانات التغيير المستمر (CDC):

SELECT * FROM sys_integration_activity ORDER BY last_commit_timestamp desc;

مراقبة

هناك العديد من الخيارات للحصول على مقاييس حول أداء وحالة تكامل Aurora PostgreSQL Zero-ETL مع Amazon Redshift.

إذا انتقلت إلى وحدة تحكم Amazon Redshift، فيمكنك الاختيار تكامل Zero-ETL في جزء التنقل. يمكنك اختيار التكامل الصفري ETL الذي تريده وعرضه الأمازون CloudWatch المقاييس المتعلقة بالتكامل هذه المقاييس متاحة أيضًا بشكل مباشر في CloudWatch.

لكل عملية تكامل، هناك علامتا تبويب تحتويان على المعلومات المتاحة:

• مقاييس التكامل - يعرض مقاييس مثل عدد الجداول التي تم نسخها بنجاح وتفاصيل التأخر
  
• إحصائيات الجدول - يعرض تفاصيل حول كل جدول منسوخ من Amazon Aurora PostgreSQL إلى Amazon Redshift
  

بالإضافة إلى مقاييس CloudWatch، يمكنك الاستعلام عما يلي وجهات نظر النظام، والتي توفر معلومات حول عمليات التكامل:

تنظيف

عندما تقوم بحذف تكامل صفري ETL، لا يتم حذف بيانات المعاملات الخاصة بك من Aurora أو Amazon Redshift، لكن Aurora لا ترسل بيانات جديدة إلى Amazon Redshift.

لحذف تكامل صفري ETL ، أكمل الخطوات التالية:

1. في وحدة تحكم Amazon RDS ، اختر تكامل Zero-ETL في جزء التنقل.
2. حدد تكامل الصفر ETL الذي تريد حذفه واختياره حذف.
   
3. لتأكيد الحذف، أدخل تأكيد ثم اختر حذف.
   

وفي الختام

في هذا المنشور، أوضحنا كيف يمكنك إعداد تكامل ETL صفري من Amazon Aurora PostgreSQL إلى Amazon Redshift، وهي ميزة تقلل من الجهد المبذول في الحفاظ على خطوط أنابيب البيانات وتمكن من إجراء تحليلات في الوقت الفعلي تقريبًا بشأن بيانات المعاملات والتشغيل.

لمعرفة المزيد حول التكامل صفر-ETL، راجع العمل مع عمليات تكامل Aurora Zero-ETL مع Amazon Redshift و القيود.

حول المؤلف

راكس خير هو مهندس حلول متخصص في التحليلات في AWS ومقره في ولاية بنسلفانيا. يساعد العملاء في تصميم حلول تحليلات البيانات على نطاق واسع على منصة AWS.

خوان لويس بولو جارزون هو مهندس حلول متخصص مشارك في AWS، وهو متخصص في أعباء عمل التحليلات. يتمتع بخبرة في مساعدة العملاء على تصميم وبناء وتحديث حلول التحليلات السحابية الخاصة بهم. خارج العمل، يستمتع بالسفر والهواء الطلق والمشي لمسافات طويلة وحضور الأحداث الموسيقية الحية.

سوشميتا بارثاكور هو أحد كبار مهندسي الحلول في Amazon Web Services، حيث يدعم عملاء المؤسسات في تصميم أعباء عملهم على AWS. بفضل خلفيتها القوية في تحليلات البيانات وإدارة البيانات، تتمتع بخبرة واسعة في مساعدة العملاء على تصميم وبناء حلول ذكاء الأعمال والتحليلات، سواء محليًا أو على السحابة. يقع مقر سوشميتا في تامبا بولاية فلوريدا، وتستمتع بالسفر والقراءة ولعب التنس.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/big-data/achieve-near-real-time-operational-analytics-using-amazon-aurora-postgresql-zero-etl-integration-with-amazon-redshift/