金融サービスの顧客は、リアルタイム、バッチ、アーカイブされたデータセットなど、さまざまな頻度で発生したさまざまなソースからのデータを使用しています。さらに、増大する取引量、市場のボラティリティ、規制上の要求に対処するためのストリーミング アーキテクチャも必要です。以下は、このニーズを浮き彫りにする主要なビジネス ユース ケースの一部です。

• 貿易報告 – 2007 年から 2008 年の世界金融危機以来、規制当局は規制報告に対する要求と監視を強化しています。規制当局は、取引報告（通常は T+1、取引日の 1 営業日後を意味します）を通じて消費者を保護することと、ほぼリアルタイムの取引報告要件を通じて市場の透明性を高めることの両方に重点を置いています。
• 危機管理 – 資本市場がより複雑になり、規制当局が次のような新しいリスク枠組みを立ち上げるにつれて、 トレーディングブックの基本的なレビュー (FRTB) および バーゼルIII、金融機関は、全体的な市場リスク、流動性リスク、カウンターパーティリスク、その他のリスク測定の計算頻度を増やすことを検討しており、可能な限りリアルタイムの計算に近づけたいと考えています。
• 取引の品質と最適化 – 取引の品質を監視および最適化するには、取引量、方向、市場の深さ、フィルレート、および取引の完了に関連するその他のベンチマークなどの市場の特性を継続的に評価する必要があります。取引の質はブローカーのパフォーマンスに関係するだけでなく、規制当局からの要件でもあります。 ミフィドⅡ.

課題は、これらの異種ソース、さまざまな周波数、低遅延消費要件に対応できるソリューションを考え出すことです。ソリューションはスケーラブルでコスト効率が高く、導入と運用が簡単である必要があります。 Amazonレッドシフト ストリーミング取り込みなどの機能、 アマゾンオーロラ ゼロETL統合、およびデータ共有 AWSデータ交換 取引レポート、リスク管理、取引の最適化のためのほぼリアルタイムの処理を可能にします。

この投稿では、ストリーミング、トランザクション、サードパーティの参照データという 3 つの異なるタイプのソースからのデータを処理し、ビジネス インテリジェンス (BI) レポートのために Amazon Redshift に集約する方法を説明するソリューション アーキテクチャを提供します。

ソリューションの概要

このソリューション アーキテクチャは、次の基本原則に従って、ローコード/ノーコードのアプローチを優先して作成されています。

• 使いやすさ – 直感的なユーザーインターフェイスにより、実装と操作がより簡単になるはずです
• スケーラブル – オンデマンドで容量をシームレスに増減できる必要があります
• ネイティブ統合 – 追加のコネクタやソフトウェアを使用せずにコンポーネントを統合する必要があります
• 効率的なコスト – バランスの取れた価格/パフォーマンスを提供する必要があります
• 低メンテナンス – 必要な管理と運用のオーバーヘッドが少なくなるはずです

次の図は、ソリューション アーキテクチャと、これらの基本原則が取り込み、集計、レポートのコンポーネントにどのように適用されたかを示しています。

ソリューションを展開する

次のものを使用できます AWS CloudFormation ソリューションをデプロイするためのテンプレート。

このスタックは、サービスを統合するために次のリソースと必要な権限を作成します。

摂取

データを取り込むには、次を使用します AmazonRedshiftストリーミングの取り込み Kinesis データストリームからストリーミングデータをロードします。トランザクション データの場合は、 Redshift ゼロ ETL 統合 Amazon Aurora MySQL を使用します。サードパーティの参照データについては、以下を利用します。 AWS Data Exchange データ共有。これらの機能を使用すると、Kinesis Data Streams シャードの容量を増やしたり、ゼロ ETL ソースとターゲットのコンピューティングを行ったり、データが増大したときにデータ共有の Redshift コンピューティングを実行したりできるため、スケーラブルなデータ パイプラインを迅速に構築できます。 Redshift ストリーミング インジェストとゼロ ETL 統合は、複雑なカスタム コードの開発に多大な時間と費用を投資することなく、単純な SQL で構築できるローコード/ノーコード ソリューションです。

このソリューションの作成に使用されるデータについては、 FactSetは、金融データ、分析、オープン テクノロジーの大手プロバイダーです。ファクトセットにはいくつかの データセット AWS Data Exchange マーケットプレイスで入手でき、参照データとして使用しました。ファクトセットも使用しました 市場データソリューション 過去の市場相場やストリーミング市場の相場や取引を確認できます。

処理

データは、抽出、ロード、変換 (ELT) 方法論に準拠して Amazon Redshift で処理されます。事実上無制限のスケールとワークロードの分離を備えた ELT は、クラウド データ ウェアハウス ソリューションにより適しています。

Redshift ストリーミング インジェストを使用して、Kinesis データ ストリームからストリーミング マテリアライズド ビューに直接ストリーミング相場 (売り値/売り値) をリアルタイムで取り込み、データ ストリーム入力を解析するために PartiQL を使用して次のステップでデータを処理します。ストリーミング マテリアライズド ビューは、自動更新の仕組みと使用されるデータ管理 SQL コマンドの点で通常のマテリアライズド ビューとは異なることに注意してください。参照する ストリーミング取り込みに関する考慮事項 詳細については。

OLTP ソースからトランザクション データ (取引) を取り込むには、ゼロ ETL Aurora 統合を使用します。参照する ゼロ ETL 統合の使用 現在サポートされているソースの場合。ビューを使用してこれらすべてのソースからのデータを結合し、ストアド プロシージャを使用して、セクターや取引所全体の加重平均を計算するなどのビジネス変革ルールを実装できます。

過去の取引データと相場データの量は膨大であるため、頻繁にクエリされることはありません。使用できます AmazonRedshiftスペクトラム このデータを Amazon Redshift にロードせずに、その場でアクセスできます。データを指す外部テーブルを作成します。 Amazon シンプル ストレージ サービス (Amazon S3) を実行し、Amazon Redshift の他のローカル テーブルをクエリする方法と同様にクエリを実行します。複数の Redshift データ ウェアハウスは、データ ウェアハウスごとにデータのコピーを作成することなく、Amazon S3 内の同じデータセットを同時にクエリできます。この機能により、複雑な ETL プロセスを作成せずに外部データへのアクセスが簡素化され、ソリューション全体の使いやすさが向上します。

相場と取引の分析に使用されるサンプル クエリをいくつか見てみましょう。サンプルクエリでは次のテーブルを使用します。

• dt_hist_quote – 買値と出来高、売値と出来高、取引所とセクターを含む過去の相場データ。これらのデータ属性を含む関連データセットを組織内で使用する必要があります。
• dt_hist_trades – 取引価格、出来高、セクター、取引所の詳細を含む過去の取引データ。これらのデータ属性を含む関連データセットを組織内で使用する必要があります。
• ファクトセット_セクター_マップ – セクターと取引所間のマッピング。これは次から入手できます。 FactSet の基礎 ADX データセット.

過去の相場を分析するためのサンプルクエリ

次のクエリを使用して、気配値の加重平均スプレッドを見つけることができます。

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

過去の取引を分析するためのサンプルクエリ

次のクエリを使用して検索できます。 $-volume 詳細な取引所別、セクター別、および主要取引所 (NYSE および Nasdaq) ごとの取引について:

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

各種レポート作成

あなたが使用することができます アマゾンクイックサイト & AmazonマネージドGrafana それぞれ BI とリアルタイム レポート用です。これらのサービスは、間に追加のコネクタやソフトウェアを使用する必要がなく、Amazon Redshift とネイティブに統合されます。

QuickSight から BI レポートおよびダッシュボードに対して直接クエリを実行できます。 QuickSight を使用すると、低遅延の自動リフレッシュを使用してデータを SPICE キャッシュにローカルに保存することもできます。参照する Amazon QuickSight から Amazon Redshift クラスターへの接続の承認 QuickSight と Amazon Redshift を統合する方法についての包括的な詳細については、こちらをご覧ください。

Amazon Managed Grafana を使用すると、数秒ごとに更新されるほぼリアルタイムの取引ダッシュボードを実現できます。取引取り込みのレイテンシーを監視するためのリアルタイム ダッシュボードは Grafana を使用して作成され、データは Amazon Redshift のシステム ビューから取得されます。参照する Amazon Redshift データソースの使用 Amazon Redshift を Grafana のデータソースとして設定する方法について学びます。

規制報告システムを操作するユーザーには、アナリスト、リスク マネージャー、オペレーター、およびビジネスおよびテクノロジーの運用をサポートするその他の人物が含まれます。これらのチームは、規制レポートの作成とは別に、レポート システムの健全性を可視化する必要があります。

歴史的な名言の分析

このセクションでは、歴史的な引用分析の例をいくつか見ていきます。 アマゾンクイックサイト ダッシュボード。

セクターごとの加重平均スプレッド

次のグラフは、ナスダックとニューヨーク証券取引所の 3 か月間におけるすべての個別取引の加重平均買値スプレッドをセクターごとに毎日集計したものです。 103 日の平均スプレッドを計算するために、各スプレッドは買値と売値の合計で重み付けされます。このチャートを生成するクエリは、合計 10 億のデータ ポイントを処理し、各取引をセクター参照テーブルと結合し、XNUMX 秒以内に実行されます。

取引所ごとの加重平均スプレッド

次のグラフは、NASDAQ と NYSE の 3 か月間におけるすべての個別取引の加重平均買値スプレッドの日次集計を示しています。計算方法とクエリ パフォーマンス メトリクスは、前のグラフと同様です。

過去の取引分析

このセクションでは、過去の取引分析の例をいくつか見ていきます。 アマゾンクイックサイト ダッシュボード。

セクター別の貿易量

次のグラフは、NASDAQ と NYSE の 3 か月間のすべての個別取引のセクター別の日次集計を示しています。このチャートを生成するクエリは合計 3.6 億件の取引を処理し、各取引をセクター参照テーブルと結合し、5 秒以内に実行されます。

主要取引所の取引高

次のグラフは、3 か月間のすべての個別取引の取引所グループ別の日次集計を示しています。このグラフを生成するクエリには、前のグラフと同様のパフォーマンス メトリックがあります。

リアルタイムのダッシュボード

監視と観察可能性は、取引報告、リスク管理、取引管理システムなどの重要なビジネス アプリケーションにとって重要な要件です。システムレベルの指標とは別に、ビジネスに影響を与えるイベントに対してオペレーターが警告を受けてできるだけ早く対応できるように、主要業績評価指標をリアルタイムで監視することも重要です。このデモンストレーションでは、Kinesis データ ストリームと Aurora からの相場データと取引データの遅延を監視するダッシュボードを Grafana で構築しました。

見積もり取り込み遅延ダッシュボードには、各見積もりレコードがデータ ストリームから取り込まれ、Amazon Redshift でのクエリに使用できるようになるまでにかかる時間が表示されます。

取引取り込み遅延ダッシュボードには、Aurora のトランザクションが Amazon Redshift でクエリできるようになるまでにかかる時間が表示されます。

クリーンアップ

リソースをクリーンアップするには、AWS CloudFormation を使用してデプロイしたスタックを削除します。手順については、を参照してください。 AWSCloudFormationコンソールでスタックを削除する.

まとめ

取引量の増加、リスク管理の複雑化、規制要件の強化により、資本市場企業は、一日の終わりや夜間に処理が行われるミッドオフィスやバックオフィスのプラットフォームであっても、リアルタイムおよびほぼリアルタイムのデータ処理を採用するようになってきています。が標準だった。この投稿では、Amazon Redshift の機能を使用して使いやすさ、メンテナンスの負担を軽減し、コスト効率を高める方法を説明しました。また、データを分析やレポートに利用できるようにする前に、複雑で高価な ETL または ELT 処理を実行することなく、ストリーミング市場データを取り込み、OLTP データベースからの更新を処理し、サードパーティの参照データを使用するためのサービス間の統合についても説明しました。

このソリューションの実装に関してガイダンスが必要な場合は、お問い合わせください。参照する AmazonRedshiftストリーミング取り込みによるリアルタイム分析, Amazon Aurora と Amazon Redshift のゼロ ETL 統合を使用した、ほぼリアルタイムの運用分析のためのスタートガイド, プロデューサーとして AWS Data Exchange データ共有を操作する 。

著者について

サテシュソンティ アトランタを拠点とするシニアアナリティクススペシャリストソリューションアーキテクトであり、エンタープライズデータプラットフォーム、データウェアハウジング、アナリティクスソリューションの構築を専門としています。 彼は、データ資産の構築と、世界中の銀行および保険のクライアント向けの複雑なデータプラットフォームプログラムの主導に18年以上の経験があります。

アルケット・メムシャジ AWS の金融サービス市場開発チームの主任アーキテクトとして働いています。 Alket は資本市場の技術戦略を担当しており、パートナーや顧客と協力して、市場接続、取引システム、取引前後の分析および研究プラットフォームなど、取引ライフサイクル全体にわたってアプリケーションを AWS クラウドにデプロイしています。

ルーベン・フォーク AI、データ、分析に重点を置いた資本市場スペシャリストです。ルーベン氏は、最新のデータ アーキテクチャと体系的な投資プロセスについて資本市場参加者と相談しています。彼は S&P Global Market Intelligence から AWS に入社し、投資管理ソリューションのグローバル責任者を務めていました。

ジェフ・ウィルソン は、分析プラットフォームで 15 年の経験を持つ世界的な市場投入スペシャリストです。彼の現在の焦点は、Amazon のネイティブ クラウド データ ウェアハウスである Amazon Redshift を使用する利点を共有することです。 Jeff はフロリダに拠点を置き、2019 年から AWS に勤務しています。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/