يستخدم عملاء الخدمات المالية البيانات من مصادر مختلفة تنشأ بترددات مختلفة، والتي تتضمن مجموعات البيانات في الوقت الفعلي والدُفعات والمؤرشفة. بالإضافة إلى ذلك، يحتاجون إلى بنيات تدفق للتعامل مع أحجام التجارة المتزايدة وتقلبات السوق والمتطلبات التنظيمية. فيما يلي بعض حالات الاستخدام التجاري الرئيسية التي تسلط الضوء على هذه الحاجة:

• تقارير التجارة - منذ الأزمة المالية العالمية في الفترة 2007-2008، زادت الهيئات التنظيمية من مطالبها وتدقيقها بشأن التقارير التنظيمية. وقد ركز المنظمون بشكل متزايد على حماية المستهلك من خلال الإبلاغ عن المعاملات (عادةً T+1، أي يوم عمل واحد بعد تاريخ التداول) وزيادة الشفافية في الأسواق من خلال متطلبات إعداد التقارير التجارية في الوقت الفعلي تقريبًا.
• إدارة المخاطر - مع ازدياد تعقيد أسواق رأس المال وإطلاق الهيئات التنظيمية أطر عمل جديدة للمخاطر، مثل المراجعة الأساسية لكتاب التداول (فرتب) و بازل XNUMXتتطلع المؤسسات المالية إلى زيادة وتيرة العمليات الحسابية لمخاطر السوق الإجمالية، ومخاطر السيولة، ومخاطر الطرف المقابل، وقياسات المخاطر الأخرى، وترغب في الاقتراب من الحسابات في الوقت الفعلي قدر الإمكان.
• جودة التجارة والتحسين - من أجل مراقبة جودة التجارة وتحسينها، تحتاج إلى إجراء تقييم مستمر لخصائص السوق مثل الحجم والاتجاه وعمق السوق ومعدل التعبئة وغيرها من المعايير المتعلقة بإكمال الصفقات. لا تتعلق جودة التجارة بأداء الوسيط فحسب، بل هي أيضًا متطلب من الجهات التنظيمية، بدءًا من MIFID II.

ويكمن التحدي في التوصل إلى حل يمكنه التعامل مع هذه المصادر المتباينة والترددات المتنوعة ومتطلبات الاستهلاك ذات زمن الوصول المنخفض. ويجب أن يكون الحل قابلاً للتطوير وفعالاً من حيث التكلفة ومباشرًا في اعتماده وتشغيله. الأمازون الأحمر ميزات مثل استيعاب البث، أمازون أورورا التكامل صفر ETLومشاركة البيانات مع تبادل بيانات AWS تمكين المعالجة في الوقت الفعلي تقريبًا لإعداد التقارير التجارية وإدارة المخاطر وتحسين التجارة.

في هذا المنشور، نوفر بنية حل تصف كيف يمكنك معالجة البيانات من ثلاثة أنواع مختلفة من المصادر - البيانات المتدفقة والمعاملات والبيانات المرجعية الخاصة بالجهات الخارجية - وتجميعها في تقارير Amazon Redshift for Business Intelligence (BI).

حل نظرة عامة

تم إنشاء بنية الحل هذه مع إعطاء الأولوية لنهج منخفض التعليمات البرمجية/بدون تعليمات برمجية مع المبادئ التوجيهية التالية:

• سهولة الاستخدام – ينبغي أن يكون التنفيذ والتشغيل باستخدام واجهات المستخدم البديهية أقل تعقيدًا
• قابلة لل - يجب أن تكون قادرًا على زيادة السعة وتقليلها بسلاسة عند الطلب
• التكامل الأصلي – يجب أن تتكامل المكونات بدون موصلات أو برامج إضافية
• فعالة من حيث التكلفة – يجب أن يقدم سعرًا / أداءً متوازنًا
• صيانة منخفضة - يجب أن يتطلب قدرًا أقل من الإدارة والنفقات التشغيلية

يوضح الرسم البياني التالي بنية الحل وكيفية تطبيق هذه المبادئ التوجيهية على مكونات العرض والتجميع وإعداد التقارير.

انشر الحل

يمكنك استخدام ما يلي تكوين سحابة AWS قالب لنشر الحل.

يقوم هذا المكدس بإنشاء الموارد التالية والأذونات اللازمة لدمج الخدمات:

ابتلاع

لاستيعاب البيانات، يمكنك استخدام الأمازون الانزياح الأحمر المتدفق لتحميل البيانات المتدفقة من دفق بيانات Kinesis. بالنسبة لبيانات المعاملات، يمكنك استخدام التكامل مع الانزياح الأحمر صفر-ETL مع أمازون أورورا MySQL. بالنسبة للبيانات المرجعية لطرف ثالث، يمكنك الاستفادة منها مشاركة بيانات AWS Data Exchange. تسمح لك هذه الإمكانات ببناء خطوط بيانات قابلة للتطوير بسرعة لأنه يمكنك زيادة سعة أجزاء Kinesis Data Streams، وحساب المصادر والأهداف ذات القيمة صفر ETL، وحساب Redshift لمشاركات البيانات عندما تنمو بياناتك. يعد استيعاب تدفق Redshift والتكامل الصفري لـ ETL بمثابة حلول منخفضة التعليمات البرمجية/بدون تعليمات برمجية يمكنك إنشاؤها باستخدام SQLs بسيطة دون استثمار الكثير من الوقت والمال في تطوير تعليمات برمجية مخصصة معقدة.

بالنسبة للبيانات المستخدمة لإنشاء هذا الحل، عقدنا شراكة مع فاكتست لنظم البحوث، شركة رائدة في مجال البيانات المالية والتحليلات ومزود التكنولوجيا المفتوحة. لدى FactSet عدة قواعد البيانات متاح في سوق AWS Data Exchange، والذي استخدمناه للبيانات المرجعية. استخدمنا أيضًا FactSet حلول بيانات السوق لأسعار السوق التاريخية والمتدفقة والصفقات.

اﻟﻤﻌﺎﻟﺠﺔ

تتم معالجة البيانات في Amazon Redshift مع الالتزام بمنهجية الاستخراج والتحميل والتحويل (ELT). مع النطاق غير المحدود تقريبًا وعزل عبء العمل، تعد ELT أكثر ملاءمة لحلول مستودعات البيانات السحابية.

يمكنك استخدام عرض تدفق Redshift لاستيعاب عروض الأسعار المتدفقة (عرض الأسعار/الطلب) في الوقت الفعلي من دفق بيانات Kinesis مباشرة إلى عرض متدفق مادي ومعالجة البيانات في الخطوة التالية باستخدام PartiQL لتحليل مدخلات دفق البيانات. لاحظ أن طرق العرض المادية المتدفقة تختلف عن طرق العرض المادية العادية من حيث كيفية عمل التحديث التلقائي وأوامر SQL لإدارة البيانات المستخدمة. تشير إلى اعتبارات استيعاب البث للتفاصيل.

يمكنك استخدام تكامل Aurora بدون ETL لاستيعاب بيانات المعاملات (الصفقات) من مصادر OLTP. تشير إلى العمل مع عمليات التكامل الصفرية ETL للمصادر المدعومة حاليا. يمكنك دمج البيانات من كل هذه المصادر باستخدام طرق العرض، واستخدام الإجراءات المخزنة لتنفيذ قواعد تحويل الأعمال مثل حساب المتوسطات المرجحة عبر القطاعات والبورصات.

تعد أحجام بيانات التجارة وعروض الأسعار التاريخية ضخمة ولا يتم الاستعلام عنها بشكل متكرر. يمكنك استخدام طيف الأمازون للانزياح الأحمر للوصول إلى هذه البيانات في مكانها دون تحميلها في Amazon Redshift. يمكنك إنشاء جداول خارجية تشير إلى البيانات الموجودة خدمة تخزين أمازون البسيطة (Amazon S3) واستعلام بشكل مشابه لكيفية الاستعلام عن أي جدول محلي آخر في Amazon Redshift. يمكن لمستودعات بيانات Redshift المتعددة الاستعلام بشكل متزامن عن نفس مجموعات البيانات في Amazon S3 دون الحاجة إلى عمل نسخ من البيانات لكل مستودع بيانات. تعمل هذه الميزة على تبسيط الوصول إلى البيانات الخارجية دون كتابة عمليات ETL المعقدة وتعزز سهولة استخدام الحل الشامل.

دعنا نراجع بعض نماذج الاستعلامات المستخدمة لتحليل عروض الأسعار والصفقات. نستخدم الجداول التالية في نماذج الاستعلامات:

• dt_hist_quote – بيانات الأسعار التاريخية التي تحتوي على سعر العرض وحجمه، وسعر الطلب وحجمه، والبورصات والقطاعات. يجب عليك استخدام مجموعات البيانات ذات الصلة في مؤسستك والتي تحتوي على سمات البيانات هذه.
• dt_hist_trades – بيانات الصفقات التاريخية التي تحتوي على سعر التداول وحجم التداول والقطاع وتفاصيل البورصة. يجب عليك استخدام مجموعات البيانات ذات الصلة في مؤسستك والتي تحتوي على سمات البيانات هذه.
• Factset_sector_map - رسم الخرائط بين القطاعات والتبادلات. يمكنك الحصول على هذا من مجموعة بيانات FactSet Fundamentals ADX.

نموذج الاستعلام لتحليل الاقتباسات التاريخية

يمكنك استخدام الاستعلام التالي للعثور على متوسط ​​فروق الأسعار المرجحة لعروض الأسعار:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

نموذج الاستعلام لتحليل الصفقات التاريخية

يمكنك استخدام الاستعلام التالي للعثور عليه $-volume على الصفقات من خلال التبادل التفصيلي، حسب القطاع، وحسب البورصة الرئيسية (NYSE وNasdaq):

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

التقارير

يمكنك استخدام أمازون QuickSight و أمازون تديرها جرافانا لإعداد التقارير في الوقت الفعلي وإعداد التقارير على التوالي. تتكامل هذه الخدمات أصلاً مع Amazon Redshift دون الحاجة إلى استخدام موصلات أو برامج إضافية بينهما.

يمكنك تشغيل استعلام مباشر من QuickSight لتقارير ذكاء الأعمال ولوحات المعلومات. باستخدام QuickSight، يمكنك أيضًا تخزين البيانات محليًا في ذاكرة التخزين المؤقت SPICE مع التحديث التلقائي لزمن وصول منخفض. تشير إلى ترخيص الاتصالات من Amazon QuickSight إلى مجموعات Amazon Redshift للحصول على تفاصيل شاملة حول كيفية دمج QuickSight مع Amazon Redshift.

يمكنك استخدام Amazon Managed Grafana للوحات معلومات التجارة في الوقت الفعلي تقريبًا والتي يتم تحديثها كل بضع ثوانٍ. يتم إنشاء لوحات المعلومات في الوقت الفعلي لمراقبة أوقات استجابة الاستيعاب التجاري باستخدام Grafana ويتم الحصول على البيانات من طرق عرض النظام في Amazon Redshift. تشير إلى استخدام مصدر بيانات Amazon Redshift للتعرف على كيفية تكوين Amazon Redshift كمصدر بيانات لـ Grafana.

يشمل المستخدمون الذين يتفاعلون مع أنظمة إعداد التقارير التنظيمية المحللين ومديري المخاطر والمشغلين وغيرهم من الأشخاص الذين يدعمون العمليات التجارية والتكنولوجية. وبصرف النظر عن إنشاء التقارير التنظيمية، تحتاج هذه الفرق إلى رؤية حول صحة أنظمة إعداد التقارير.

تحليل الاقتباسات التاريخية

في هذا القسم، نستكشف بعض الأمثلة على تحليل الاقتباسات التاريخية من أمازون QuickSight لوحة القيادة.

المتوسط ​​المرجح للانتشار حسب القطاعات

يوضح الرسم البياني التالي التجميع اليومي حسب القطاع لمتوسط ​​فروق أسعار العرض والطلب المرجح لجميع التداولات الفردية في بورصة ناسداك وبورصة نيويورك لمدة 3 أشهر. لحساب متوسط ​​الفارق اليومي، يتم ترجيح كل فارق بمجموع العرض وحجم الطلب بالدولار. يقوم الاستعلام الخاص بإنشاء هذا المخطط بمعالجة 103 مليار نقطة بيانات إجمالاً، ويربط كل صفقة بالجدول المرجعي للقطاع، ويتم تشغيله في أقل من 10 ثوانٍ.

المتوسط ​​المرجح للفرق بين البورصات

يوضح الرسم البياني التالي التجميع اليومي لمتوسط ​​فروق أسعار العرض والطلب المرجح لجميع التداولات الفردية في بورصة ناسداك وبورصة نيويورك لمدة 3 أشهر. تشبه منهجية الحساب ومقاييس أداء الاستعلام تلك الموجودة في المخطط السابق.

تحليل الصفقات التاريخية

في هذا القسم، نستكشف بعض الأمثلة على تحليل الصفقات التاريخية من أمازون QuickSight لوحة القيادة.

حجم التجارة حسب القطاع

يوضح الرسم البياني التالي التجميع اليومي حسب القطاع لجميع التداولات الفردية في بورصة ناسداك وبورصة نيويورك لمدة 3 أشهر. يقوم الاستعلام الخاص بإنشاء هذا المخطط بمعالجة 3.6 مليار عملية تداول إجمالاً، ويربط كل صفقة بالجدول المرجعي للقطاع، ويتم تشغيله في أقل من 5 ثوانٍ.

حجم التجارة للبورصات الكبرى

يوضح الرسم البياني التالي التجميع اليومي حسب مجموعة البورصة لجميع الصفقات الفردية لمدة 3 أشهر. يحتوي الاستعلام الخاص بإنشاء هذا المخطط على مقاييس أداء مشابهة للمخطط السابق.

لوحات معلومات في الوقت الفعلي

تعد المراقبة وإمكانية الملاحظة مطلبًا مهمًا لأي تطبيق أعمال مهم مثل إعداد التقارير التجارية وإدارة المخاطر وأنظمة إدارة التجارة. وبصرف النظر عن المقاييس على مستوى النظام، من المهم أيضًا مراقبة مؤشرات الأداء الرئيسية في الوقت الفعلي حتى يمكن تنبيه المشغلين والاستجابة في أقرب وقت ممكن للأحداث التي تؤثر على الأعمال. في هذا العرض التوضيحي، قمنا ببناء لوحات معلومات في Grafana تراقب تأخير عروض الأسعار وبيانات التداول من تدفق بيانات Kinesis وAurora، على التوالي.

تعرض لوحة معلومات تأخير عرض الأسعار مقدار الوقت المستغرق لاستيعاب كل سجل عرض أسعار من تدفق البيانات وإتاحته للاستعلام في Amazon Redshift.

تعرض لوحة معلومات تأخير استيعاب التجارة مقدار الوقت الذي تستغرقه المعاملة في Aurora لتصبح متاحة في Amazon Redshift للاستعلام.

تنظيف

لتنظيف مواردك، احذف الحزمة التي قمت بنشرها باستخدام AWS CloudFormation. للحصول على التعليمات، راجع حذف مكدس على وحدة تحكم AWS CloudFormation.

وفي الختام

إن زيادة حجم نشاط التداول وإدارة المخاطر الأكثر تعقيدًا والمتطلبات التنظيمية المعززة تقود شركات أسواق رأس المال إلى تبني معالجة البيانات في الوقت الفعلي وفي الوقت الفعلي تقريبًا، حتى في منصات المكاتب المتوسطة والخلفية حيث تتم المعالجة في نهاية اليوم وبين عشية وضحاها. كان المعيار. في هذا المنشور، أوضحنا كيف يمكنك استخدام إمكانات Amazon Redshift لسهولة الاستخدام وانخفاض الصيانة وفعالية التكلفة. ناقشنا أيضًا عمليات التكامل عبر الخدمات لاستيعاب بيانات السوق المتدفقة، ومعالجة التحديثات من قواعد بيانات OLTP، واستخدام البيانات المرجعية لجهة خارجية دون الحاجة إلى إجراء معالجة ETL أو ELT معقدة ومكلفة قبل إتاحة البيانات للتحليل وإعداد التقارير.

يرجى التواصل معنا إذا كنت بحاجة إلى أي إرشادات في تنفيذ هذا الحل. تشير إلى تحليلات في الوقت الفعلي من خلال البث المتدفق عبر Amazon Redshift, دليل البدء للتحليلات التشغيلية في الوقت الفعلي تقريبًا باستخدام تكامل Amazon Aurora Zero-ETL مع Amazon Redshiftو العمل مع مشاركات بيانات AWS Data Exchange كمنتج للمزيد من المعلومات.

حول المؤلف

ساتيش سونتي هو مهندس حلول متخصص في التحليلات ومقره من أتلانتا ، ومتخصص في بناء منصات بيانات المؤسسات وتخزين البيانات وحلول التحليلات. يتمتع بخبرة تزيد عن 18 عامًا في بناء أصول البيانات وقيادة برامج منصات البيانات المعقدة لعملاء البنوك والتأمين في جميع أنحاء العالم.

الكيت مموشاج يعمل كمهندس رئيسي في فريق تطوير سوق الخدمات المالية في AWS. تتولى Alket مسؤولية الإستراتيجية الفنية لأسواق رأس المال، والعمل مع الشركاء والعملاء لنشر التطبيقات عبر دورة حياة التجارة إلى سحابة AWS، بما في ذلك الاتصال بالسوق، وأنظمة التداول، ومنصات البحث والتحليلات قبل وبعد التجارة.

روبن فالك هو متخصص في أسواق رأس المال ويركز على الذكاء الاصطناعي والبيانات والتحليلات. يتشاور روبن مع المشاركين في أسواق رأس المال حول هندسة البيانات الحديثة وعمليات الاستثمار المنهجية. انضم إلى AWS قادمًا من S&P Global Market Intelligence حيث كان يشغل منصب الرئيس العالمي لحلول إدارة الاستثمار.

جيف ويلسون هو متخصص في السوق العالمية ويتمتع بخبرة 15 عامًا في العمل مع المنصات التحليلية. ينصب تركيزه الحالي على مشاركة فوائد استخدام Amazon Redshift، وهو مستودع البيانات السحابية الأصلي لشركة Amazon. يقيم جيف في فلوريدا ويعمل مع AWS منذ عام 2019.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/