Logo Zephyrnet

Trí thông minh dữ liệu tạo

Dữ Liệu Lớn.

Kết hợp dữ liệu giao dịch, phát trực tuyến và bên thứ ba trên Amazon Redshift cho các dịch vụ tài chính | Dịch vụ web của Amazon

Được xuất bản lại bởi Plato
Được xuất bản lại bởi Plato

Ngày:

Lượt xem: 120

Khách hàng sử dụng dịch vụ tài chính đang sử dụng dữ liệu từ các nguồn khác nhau có tần suất khác nhau, bao gồm các tập dữ liệu theo thời gian thực, theo đợt và được lưu trữ. Ngoài ra, họ cần kiến ​​trúc phát trực tuyến để xử lý khối lượng giao dịch ngày càng tăng, biến động thị trường và nhu cầu pháp lý. Sau đây là một số trường hợp sử dụng kinh doanh chính làm nổi bật nhu cầu này:

  • Báo cáo thương mại – Kể từ cuộc khủng hoảng tài chính toàn cầu 2007–2008, các cơ quan quản lý đã tăng cường yêu cầu và giám sát chặt chẽ về báo cáo theo quy định. Các cơ quan quản lý đã tăng cường tập trung vào việc bảo vệ người tiêu dùng thông qua báo cáo giao dịch (thường là T+1, nghĩa là 1 ngày làm việc sau ngày giao dịch) và tăng tính minh bạch cho thị trường thông qua các yêu cầu báo cáo giao dịch gần như theo thời gian thực.
  • Quản trị rủi ro – Khi thị trường vốn trở nên phức tạp hơn và các cơ quan quản lý đưa ra các khuôn khổ rủi ro mới, chẳng hạn như Đánh giá cơ bản về sách giao dịch (FRTB) và Basel IIICác tổ chức tài chính đang tìm cách tăng tần suất tính toán rủi ro thị trường tổng thể, rủi ro thanh khoản, rủi ro đối tác và các phép đo rủi ro khác, đồng thời muốn tiến gần đến các tính toán theo thời gian thực nhất có thể.
  • Chất lượng giao dịch và tối ưu hóa – Để giám sát và tối ưu hóa chất lượng giao dịch, bạn cần liên tục đánh giá các đặc điểm của thị trường như khối lượng, chiều hướng, độ sâu thị trường, tỷ lệ khớp lệnh và các tiêu chuẩn khác liên quan đến việc hoàn thành giao dịch. Chất lượng giao dịch không chỉ liên quan đến hiệu quả hoạt động của nhà môi giới mà còn là yêu cầu của các cơ quan quản lý, bắt đầu từ việc MiFID II.

Thách thức là đưa ra giải pháp có thể xử lý các nguồn khác nhau, tần số khác nhau và yêu cầu tiêu thụ có độ trễ thấp này. Giải pháp phải có khả năng mở rộng, tiết kiệm chi phí và dễ dàng áp dụng và vận hành. Amazon RedShift các tính năng như truyền tải trực tuyến, Amazon cực quang tích hợp không ETLvà chia sẻ dữ liệu với Trao đổi dữ liệu AWS cho phép xử lý gần như thời gian thực để báo cáo giao dịch, quản lý rủi ro và tối ưu hóa giao dịch.

Trong bài đăng này, chúng tôi cung cấp kiến ​​trúc giải pháp mô tả cách bạn có thể xử lý dữ liệu từ ba loại nguồn khác nhau—dữ liệu truyền trực tuyến, dữ liệu giao dịch và dữ liệu tham chiếu của bên thứ ba—và tổng hợp chúng trong báo cáo Amazon Redshift dành cho nghiệp vụ thông minh (BI).

Tổng quan về giải pháp

Kiến trúc giải pháp này được tạo ra theo hướng ưu tiên cách tiếp cận ít mã/không mã với các nguyên tắc hướng dẫn sau:

  • Dễ sử dụng – Việc triển khai và vận hành sẽ ít phức tạp hơn với giao diện người dùng trực quan
  • Khả năng mở rộng – Bạn có thể tăng giảm công suất một cách liền mạch theo yêu cầu
  • Tích hợp gốc – Các thành phần nên tích hợp mà không cần kết nối hoặc phần mềm bổ sung
  • Chi phí hiệu quả – Nó phải cung cấp mức giá/hiệu suất cân bằng
  • Mức độ bảo trì thấp – Cần ít chi phí quản lý và vận hành hơn

Sơ đồ sau đây minh họa kiến ​​trúc giải pháp và cách áp dụng các nguyên tắc hướng dẫn này cho các thành phần nhập, tổng hợp và báo cáo.

Triển khai giải pháp

Bạn có thể sử dụng như sau Hình thành đám mây AWS mẫu để triển khai giải pháp.

Khởi chạy ngăn xếp thông tin đám mây

Ngăn xếp này tạo các tài nguyên và quyền cần thiết sau để tích hợp các dịch vụ:

Nhập

Để nhập dữ liệu, bạn sử dụng Nhập dữ liệu truyền trực tuyến Amazon Redshift để tải dữ liệu phát trực tuyến từ luồng dữ liệu Kinesis. Đối với dữ liệu giao dịch, bạn sử dụng Tích hợp Redshift zero-ETL với Amazon Aurora MySQL. Đối với dữ liệu tham khảo của bên thứ ba, bạn tận dụng Chia sẻ dữ liệu AWS Data Exchange. Những khả năng này cho phép bạn nhanh chóng xây dựng các đường dẫn dữ liệu có thể mở rộng vì bạn có thể tăng công suất của các phân đoạn Kinesis Data Streams, tính toán cho các nguồn và mục tiêu không có ETL cũng như tính toán Redshift để chia sẻ dữ liệu khi dữ liệu của bạn tăng lên. Nhập luồng Redshift và tích hợp zero-ETL là các giải pháp ít mã/không có mã mà bạn có thể xây dựng bằng các SQL đơn giản mà không cần đầu tư thời gian và tiền bạc đáng kể vào việc phát triển mã tùy chỉnh phức tạp.

Đối với dữ liệu được sử dụng để tạo ra giải pháp này, chúng tôi đã hợp tác với FactSet, nhà cung cấp dữ liệu tài chính, phân tích và công nghệ mở hàng đầu. FactSet có một số bộ dữ liệu có sẵn trên thị trường AWS Data Exchange mà chúng tôi đã sử dụng cho dữ liệu tham khảo. Chúng tôi cũng đã sử dụng FactSet giải pháp dữ liệu thị trường để biết báo giá và giao dịch thị trường trong lịch sử và trực tuyến.

Chế biến

Dữ liệu được xử lý trong Amazon Redshift tuân theo phương pháp trích xuất, tải và chuyển đổi (ELT). Với khả năng cách ly khối lượng công việc và quy mô gần như không giới hạn, ELT phù hợp hơn với các giải pháp kho dữ liệu đám mây.

Bạn sử dụng tính năng nhập trực tuyến Redshift để nhập các báo giá truyền trực tuyến (giá thầu/yêu cầu) theo thời gian thực từ luồng dữ liệu Kinesis trực tiếp vào chế độ xem cụ thể hóa truyền trực tuyến và xử lý dữ liệu trong bước tiếp theo bằng cách sử dụng PartiQL để phân tích cú pháp đầu vào luồng dữ liệu. Lưu ý rằng các chế độ xem cụ thể hóa phát trực tuyến khác với các chế độ xem cụ thể hóa thông thường về cách hoạt động của tính năng tự động làm mới và các lệnh SQL quản lý dữ liệu được sử dụng. tham khảo Những điều cần cân nhắc khi truyền trực tuyến để biết thêm chi tiết.

Bạn sử dụng tích hợp Aurora không ETL để nhập dữ liệu giao dịch (giao dịch) từ các nguồn OLTP. tham khảo Làm việc với tích hợp zero-ETL cho các nguồn hiện được hỗ trợ. Bạn có thể kết hợp dữ liệu từ tất cả các nguồn này bằng cách sử dụng chế độ xem và sử dụng các quy trình được lưu trữ để triển khai các quy tắc chuyển đổi kinh doanh như tính toán mức trung bình có trọng số giữa các ngành và sàn giao dịch.

Khối lượng dữ liệu lịch sử giao dịch và báo giá rất lớn và thường không được truy vấn thường xuyên. Bạn có thể dùng Quang phổ dịch chuyển đỏ Amazon để truy cập dữ liệu này tại chỗ mà không cần tải dữ liệu đó vào Amazon Redshift. Bạn tạo các bảng bên ngoài trỏ đến dữ liệu trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và truy vấn tương tự như cách bạn truy vấn bất kỳ bảng cục bộ nào khác trong Amazon Redshift. Nhiều kho dữ liệu Redshift có thể truy vấn đồng thời cùng một bộ dữ liệu trong Amazon S3 mà không cần tạo bản sao dữ liệu cho từng kho dữ liệu. Tính năng này giúp đơn giản hóa việc truy cập dữ liệu bên ngoài mà không cần ghi các quy trình ETL phức tạp và nâng cao tính dễ sử dụng của giải pháp tổng thể.

Hãy xem xét một số truy vấn mẫu được sử dụng để phân tích báo giá và giao dịch. Chúng tôi sử dụng các bảng sau trong các truy vấn mẫu:

  • dt_hist_quote – Dữ liệu báo giá lịch sử chứa giá và khối lượng đặt mua, giá chào bán và khối lượng cũng như các sàn giao dịch và ngành. Bạn nên sử dụng các tập dữ liệu có liên quan trong tổ chức của mình có chứa các thuộc tính dữ liệu này.
  • dt_hist_trades – Dữ liệu giao dịch lịch sử chứa chi tiết về giá, khối lượng, ngành và sàn giao dịch. Bạn nên sử dụng các tập dữ liệu có liên quan trong tổ chức của mình có chứa các thuộc tính dữ liệu này.
  • Factset_sector_map – Lập bản đồ giữa các ngành và sàn giao dịch. Bạn có thể có được điều này từ Bộ dữ liệu ADX cơ bản của FactSet.

Truy vấn mẫu để phân tích báo giá lịch sử

Bạn có thể sử dụng truy vấn sau để tìm mức chênh lệch trung bình có trọng số trên báo giá:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

Truy vấn mẫu để phân tích các giao dịch lịch sử

Bạn có thể sử dụng truy vấn sau để tìm $-volume về giao dịch theo sàn giao dịch chi tiết, theo ngành và theo sàn giao dịch chính (NYSE và Nasdaq):

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

Báo cáo

Bạn có thể sử dụng Amazon QuickSight và Grafana do Amazon quản lý tương ứng cho BI và báo cáo thời gian thực. Các dịch vụ này tích hợp nguyên bản với Amazon Redshift mà không cần sử dụng thêm trình kết nối hoặc phần mềm bổ sung.

Bạn có thể chạy truy vấn trực tiếp từ QuickSight cho báo cáo và bảng thông tin BI. Với QuickSight, bạn cũng có thể lưu trữ cục bộ dữ liệu trong bộ đệm SPICE với tính năng tự động làm mới để có độ trễ thấp. tham khảo Cấp phép kết nối từ cụm Amazon QuickSight đến cụm Amazon Redshift để biết thông tin chi tiết toàn diện về cách tích hợp QuickSight với Amazon Redshift.

Bạn có thể sử dụng Amazon Managed Grafana để có bảng thông tin giao dịch gần như theo thời gian thực được làm mới vài giây một lần. Bảng thông tin thời gian thực để theo dõi độ trễ nhập giao dịch được tạo bằng Grafana và dữ liệu được lấy từ chế độ xem hệ thống trong Amazon Redshift. tham khảo Sử dụng nguồn dữ liệu Amazon Redshift để tìm hiểu về cách định cấu hình Amazon Redshift làm nguồn dữ liệu cho Grafana.

Những người dùng tương tác với hệ thống báo cáo theo quy định bao gồm các nhà phân tích, nhà quản lý rủi ro, nhà điều hành và những cá nhân khác hỗ trợ hoạt động kinh doanh và công nghệ. Ngoài việc tạo các báo cáo theo quy định, các nhóm này còn yêu cầu khả năng hiển thị về tình trạng của hệ thống báo cáo.

Phân tích báo giá lịch sử

Trong phần này, chúng ta khám phá một số ví dụ về phân tích báo giá lịch sử từ Amazon QuickSight bảng điều khiển.

Chênh lệch bình quân gia quyền theo ngành

Biểu đồ sau đây cho thấy tổng hợp hàng ngày theo lĩnh vực của chênh lệch giá mua-bán trung bình có trọng số của tất cả các giao dịch riêng lẻ trên NASDAQ và NYSE trong 3 tháng. Để tính mức chênh lệch trung bình hàng ngày, mỗi mức chênh lệch được tính bằng tổng giá thầu và khối lượng đô la yêu cầu. Truy vấn để tạo biểu đồ này xử lý tổng cộng 103 tỷ điểm dữ liệu, kết hợp mỗi giao dịch với bảng tham chiếu ngành và chạy trong chưa đầy 10 giây.

Mức chênh lệch trung bình có trọng số theo các sàn giao dịch

Biểu đồ sau đây cho thấy tổng hợp hàng ngày chênh lệch giá mua-bán trung bình có trọng số của tất cả các giao dịch riêng lẻ trên NASDAQ và NYSE trong 3 tháng. Phương pháp tính toán và số liệu hiệu suất truy vấn tương tự như biểu đồ trước đó.

Phân tích giao dịch lịch sử

Trong phần này, chúng ta khám phá một số ví dụ về phân tích lịch sử giao dịch từ Amazon QuickSight bảng điều khiển.

Khối lượng thương mại theo ngành

Biểu đồ sau đây cho thấy tổng hợp hàng ngày theo lĩnh vực của tất cả các giao dịch riêng lẻ trên NASDAQ và NYSE trong 3 tháng. Truy vấn để tạo biểu đồ này xử lý tổng cộng 3.6 tỷ giao dịch, nối mỗi giao dịch với bảng tham chiếu ngành và chạy trong chưa đầy 5 giây.

Khối lượng giao dịch trên các sàn giao dịch lớn

Biểu đồ sau đây hiển thị tổng hợp hàng ngày theo nhóm trao đổi của tất cả các giao dịch riêng lẻ trong 3 tháng. Truy vấn để tạo biểu đồ này có số liệu hiệu suất tương tự như biểu đồ trước đó.

bảng điều khiển thời gian thực

Giám sát và quan sát là một yêu cầu quan trọng đối với bất kỳ ứng dụng kinh doanh quan trọng nào như báo cáo thương mại, quản lý rủi ro và hệ thống quản lý thương mại. Ngoài các số liệu cấp hệ thống, điều quan trọng là phải giám sát các chỉ số hiệu suất chính trong thời gian thực để người vận hành có thể được cảnh báo và phản hồi sớm nhất có thể trước các sự kiện ảnh hưởng đến hoạt động kinh doanh. Đối với phần minh họa này, chúng tôi đã xây dựng các bảng thông tin trong Grafana để theo dõi độ trễ của dữ liệu báo giá và giao dịch tương ứng từ luồng dữ liệu Kinesis và Aurora.

Bảng thông tin về độ trễ nhập báo giá hiển thị lượng thời gian cần thiết để mỗi bản ghi báo giá được nhập từ luồng dữ liệu và có sẵn để truy vấn trong Amazon Redshift.

Bảng thông tin về độ trễ nhập giao dịch hiển thị khoảng thời gian cần thiết để một giao dịch trong Aurora có sẵn trong Amazon Redshift để truy vấn.

Làm sạch

Để dọn sạch tài nguyên của bạn, hãy xóa ngăn xếp bạn đã triển khai bằng AWS CloudFormation. Để biết hướng dẫn, hãy tham khảo Xóa ngăn xếp trên bảng điều khiển AWS CloudFormation.

Kết luận

Khối lượng hoạt động giao dịch ngày càng tăng, quản lý rủi ro phức tạp hơn và các yêu cầu pháp lý nâng cao đang khiến các công ty thị trường vốn áp dụng xử lý dữ liệu theo thời gian thực và gần thời gian thực, ngay cả trong các nền tảng văn phòng giữa và sau, nơi xử lý cuối ngày và qua đêm. là tiêu chuẩn. Trong bài đăng này, chúng tôi đã trình bày cách bạn có thể sử dụng các khả năng của Amazon Redshift để dễ sử dụng, ít phải bảo trì và tiết kiệm chi phí. Chúng tôi cũng thảo luận về việc tích hợp nhiều dịch vụ để thu thập dữ liệu thị trường phát trực tuyến, xử lý các bản cập nhật từ cơ sở dữ liệu OLTP và sử dụng dữ liệu tham chiếu của bên thứ ba mà không cần phải thực hiện xử lý ETL hoặc ELT phức tạp và tốn kém trước khi cung cấp dữ liệu để phân tích và báo cáo.

Vui lòng liên hệ với chúng tôi nếu bạn cần bất kỳ hướng dẫn nào trong việc triển khai giải pháp này. tham khảo Phân tích thời gian thực với quá trình nhập trực tuyến Amazon Redshift, Hướng dẫn bắt đầu phân tích hoạt động gần thời gian thực bằng cách sử dụng tích hợp zero-ETL của Amazon Aurora với Amazon Redshiftvà Làm việc với chia sẻ dữ liệu AWS Data Exchange với tư cách là nhà sản xuất để biết thêm thông tin chi tiết.

Về các tác giả

satesh sonti là Kiến trúc sư Giải pháp Chuyên gia Phân tích Sr. sống tại Atlanta, chuyên về xây dựng nền tảng dữ liệu doanh nghiệp, kho dữ liệu và các giải pháp phân tích. Ông có hơn 18 năm kinh nghiệm trong việc xây dựng tài sản dữ liệu và dẫn đầu các chương trình nền tảng dữ liệu phức tạp cho khách hàng ngân hàng và bảo hiểm trên toàn cầu.

Alket Memushaj làm việc với tư cách là Kiến trúc sư chính trong nhóm Phát triển Thị trường Dịch vụ Tài chính tại AWS. Alket chịu trách nhiệm về chiến lược kỹ thuật cho thị trường vốn, làm việc với các đối tác và khách hàng để triển khai các ứng dụng trong suốt vòng đời giao dịch lên Đám mây AWS, bao gồm kết nối thị trường, hệ thống giao dịch cũng như nền tảng nghiên cứu và phân tích trước và sau giao dịch.

Ruben Falk là Chuyên gia Thị trường Vốn tập trung vào AI, dữ liệu & phân tích. Ruben tư vấn cho những người tham gia thị trường vốn về kiến ​​trúc dữ liệu hiện đại và quy trình đầu tư có hệ thống. Ông gia nhập AWS từ S&P Global Market Intelligence, nơi ông là Giám đốc Giải pháp Quản lý Đầu tư Toàn cầu.

Jeff Wilson là Chuyên gia tiếp cận thị trường trên toàn thế giới với 15 năm kinh nghiệm làm việc với các nền tảng phân tích. Trọng tâm hiện tại của anh là chia sẻ lợi ích của việc sử dụng Amazon Redshift, kho dữ liệu đám mây gốc của Amazon. Jeff có trụ sở tại Florida và đã làm việc tại AWS từ năm 2019.

tại chỗ_img

Tin tức mới nhất

tại chỗ_img

Bản quyền @ 2024 Plato Technologies Inc.