제퍼넷 로고

생성 데이터 인텔리전스

빅 데이터

금융 서비스를 위해 Amazon Redshift의 트랜잭션, 스트리밍 및 타사 데이터 결합 | 아마존 웹 서비스

플라톤에 의해 재발행
플라톤에 의해 재발행

시간

조회 수 : 120

금융 서비스 고객은 실시간, 배치 및 보관된 데이터 세트를 포함하여 다양한 빈도로 발생하는 다양한 소스의 데이터를 사용하고 있습니다. 또한 증가하는 거래량, 시장 변동성 및 규제 요구 사항을 처리하려면 스트리밍 아키텍처가 필요합니다. 다음은 이러한 요구 사항을 강조하는 주요 비즈니스 사용 사례 중 일부입니다.

  • 무역보고 – 2007~2008년 글로벌 금융 위기 이후 규제 당국은 규제 보고에 대한 요구와 조사를 강화했습니다. 규제 기관은 거래 보고(일반적으로 T+1, 거래일로부터 영업일 기준 1일)를 통해 소비자를 보호하고 거의 실시간 거래 보고 요구 사항을 통해 시장 투명성을 높이는 데 더 중점을 두었습니다.
  • 위험 관리 – 자본 시장이 더욱 복잡해지고 규제 기관이 다음과 같은 새로운 위험 프레임워크를 출시함에 따라 트레이딩 북의 기본 검토 (FRTB) 및 바젤 III, 금융 기관은 전체 시장 위험, 유동성 위험, 거래상대방 위험 및 기타 위험 측정에 대한 계산 빈도를 높이고 가능한 한 실시간 계산에 가까워지기를 원합니다.
  • 거래 품질 및 최적화 – 거래 품질을 모니터링하고 최적화하려면 거래량, 방향, 시장 깊이, 유효율 및 거래 완료와 관련된 기타 벤치마크와 같은 시장 특성을 지속적으로 평가해야 합니다. 거래 품질은 브로커 성과와 관련될 뿐만 아니라 규제 기관의 요구 사항이기도 합니다. MiFID II.

문제는 이러한 서로 다른 소스, 다양한 주파수, 짧은 대기 시간 소비 요구 사항을 처리할 수 있는 솔루션을 찾는 것입니다. 솔루션은 확장 가능하고 비용 효율적이며 채택 및 운영이 간편해야 합니다. 아마존 레드 시프트 스트리밍 수집과 같은 기능, Amazon Aurora 제로 ETL 통합및 데이터 공유 AWS 데이터 교환 거래 보고, 위험 관리 및 거래 최적화를 위해 거의 실시간 처리가 가능합니다.

이 게시물에서는 세 가지 유형의 소스(스트리밍, 트랜잭션 및 타사 참조 데이터)의 데이터를 처리하고 비즈니스 인텔리전스(BI) 보고를 위해 Amazon Redshift에서 집계하는 방법을 설명하는 솔루션 아키텍처를 제공합니다.

솔루션 개요

이 솔루션 아키텍처는 다음 기본 원칙에 따라 로우 코드/노 코드 접근 방식을 우선시하여 만들어졌습니다.

  • 사용 용이성 – 직관적인 사용자 인터페이스로 구현 및 운영이 덜 복잡해야 합니다.
  • 확장 – 필요에 따라 용량을 원활하게 늘리거나 줄일 수 있어야 합니다.
  • 기본 통합 – 구성 요소는 추가 커넥터나 소프트웨어 없이 통합되어야 합니다.
  • 비용 효율적 – 균형 잡힌 가격 대비 성능을 제공해야 합니다.
  • 낮은 유지 보수 – 관리 및 운영 오버헤드가 덜 필요합니다.

다음 다이어그램은 솔루션 아키텍처와 이러한 기본 원칙이 수집, 집계 및 보고 구성 요소에 어떻게 적용되었는지 보여줍니다.

솔루션 배포

다음을 사용할 수 있습니다. AWS 클라우드 포메이션 솔루션을 배포하기 위한 템플릿입니다.

Cloudformation 스택 실행

이 스택은 서비스를 통합하는 데 다음과 같은 리소스와 필요한 권한을 생성합니다.

음식물 섭취

데이터를 수집하려면 다음을 사용합니다. Amazon Redshift 스트리밍 수집 Kinesis 데이터 스트림에서 스트리밍 데이터를 로드합니다. 거래 데이터의 경우 Redshift 제로 ETL 통합 Amazon Aurora MySQL을 사용합니다. 제3자 참조 데이터의 경우 다음을 활용하세요. AWS Data Exchange 데이터 공유. 이러한 기능을 사용하면 Kinesis Data Streams 샤드의 용량을 늘리고, ETL이 없는 소스 및 대상에 대해 컴퓨팅하고, 데이터가 증가할 때 데이터 공유를 위해 Redshift 컴퓨팅을 할 수 있으므로 확장 가능한 데이터 파이프라인을 빠르게 구축할 수 있습니다. Redshift 스트리밍 수집 및 제로 ETL 통합은 복잡한 사용자 지정 코드를 개발하는 데 상당한 시간과 비용을 투자하지 않고도 간단한 SQL로 구축할 수 있는 로우 코드/노코드 솔루션입니다.

이 솔루션을 만드는 데 사용된 데이터에 대해 우리는 다음과 제휴했습니다. 팩트 셋, 선도적인 금융 데이터, 분석 및 개방형 기술 제공업체입니다. FactSet에는 여러 가지 데이터 세트 참조 데이터로 사용한 AWS Data Exchange 마켓플레이스에서 사용할 수 있습니다. 우리는 또한 FactSet을 사용했습니다. 시장 데이터 솔루션 과거 및 스트리밍 시장 시세 및 거래를 위해.

처리

데이터는 ELT(추출, 로드 및 변환) 방법론을 준수하는 Amazon Redshift에서 처리됩니다. 사실상 무제한의 규모와 워크로드 격리를 갖춘 ELT는 클라우드 데이터 웨어하우스 솔루션에 더 적합합니다.

Kinesis 데이터 스트림의 스트리밍 견적(입찰/요청)을 스트리밍 구체화된 뷰로 직접 실시간 수집하기 위해 Redshift 스트리밍 수집을 사용하고, 데이터 스트림 입력 구문 분석을 위해 PartiQL을 사용하여 다음 단계에서 데이터를 처리합니다. 스트리밍 구체화된 뷰는 자동 새로 고침 작동 방식과 사용되는 데이터 관리 SQL 명령 측면에서 일반 구체화된 뷰와 다릅니다. 인용하다 스트리밍 수집 고려 사항 자세한 내용은.

OLTP 소스에서 트랜잭션 데이터(거래)를 수집하기 위해 제로 ETL Aurora 통합을 사용합니다. 인용하다 제로 ETL 통합 작업 현재 지원되는 소스의 경우. 뷰를 사용하여 이러한 모든 소스의 데이터를 결합하고 저장 프로시저를 사용하여 부문 및 거래소 전체의 가중 평균 계산과 같은 비즈니스 변환 규칙을 구현할 수 있습니다.

과거 거래 및 견적 데이터의 양은 엄청나며 자주 ​​쿼리되지 않는 경우가 많습니다. 당신이 사용할 수있는 아마존 레드시프트 스펙트럼 Amazon Redshift에 로드하지 않고 이 데이터에 액세스할 수 있습니다. 데이터를 가리키는 외부 테이블을 생성합니다. 아마존 단순 스토리지 서비스 (Amazon S3) 및 Amazon Redshift에서 다른 로컬 테이블을 쿼리하는 방법과 유사하게 쿼리합니다. 여러 Redshift 데이터 웨어하우스는 각 데이터 웨어하우스에 대한 데이터 복사본을 만들 필요 없이 Amazon S3의 동일한 데이터 세트를 동시에 쿼리할 수 있습니다. 이 기능은 복잡한 ETL 프로세스를 작성하지 않고도 외부 데이터에 대한 액세스를 단순화하고 전체 솔루션의 사용 편의성을 향상시킵니다.

견적 및 거래 분석에 사용되는 몇 가지 샘플 쿼리를 검토해 보겠습니다. 샘플 쿼리에서는 다음 테이블을 사용합니다.

  • dt_hist_quote – 입찰 가격 및 거래량, 매도 가격 및 거래량, 거래소 및 부문을 포함하는 과거 시세 데이터입니다. 이러한 데이터 속성이 포함된 관련 데이터 세트를 조직에서 사용해야 합니다.
  • dt_hist_trades – 거래 가격, 거래량, 부문 및 거래소 세부 정보가 포함된 과거 거래 데이터입니다. 이러한 데이터 속성이 포함된 관련 데이터 세트를 조직에서 사용해야 합니다.
  • 사실세트_섹터_맵 – 부문과 거래소 간 매핑. 이것은 다음에서 얻을 수 있습니다. FactSet 기초 ADX 데이터 세트.

과거 시세 분석을 위한 샘플 쿼리

다음 쿼리를 사용하여 시세에 대한 가중 평균 스프레드를 찾을 수 있습니다.

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

과거 거래 분석을 위한 샘플 쿼리

다음 쿼리를 사용하여 찾을 수 있습니다. $-volume 세부거래소, 부문별, 주요거래소(NYSE 및 Nasdaq)별 거래:

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

통계 보고서

당신이 사용할 수 아마존 퀵 사이트 과 아마존 매니지드 그라파나 BI 및 실시간 보고에 각각 사용됩니다. 이러한 서비스는 중간에 추가 커넥터나 소프트웨어를 사용할 필요 없이 기본적으로 Amazon Redshift와 통합됩니다.

BI 보고 및 대시보드에 대해 QuickSight에서 직접 쿼리를 실행할 수 있습니다. QuickSight를 사용하면 짧은 대기 시간을 위해 자동 새로 고침을 통해 SPICE 캐시에 데이터를 로컬로 저장할 수도 있습니다. 인용하다 Amazon QuickSight에서 Amazon Redshift 클러스터로의 연결 승인 QuickSight를 Amazon Redshift와 통합하는 방법에 대한 포괄적인 세부 정보를 확인하세요.

몇 초마다 새로 고쳐지는 거의 실시간 거래 대시보드에 Amazon Managed Grafana를 사용할 수 있습니다. 거래 수집 지연 시간을 모니터링하기 위한 실시간 대시보드는 Grafana를 사용하여 생성되며 데이터는 Amazon Redshift의 시스템 보기에서 가져옵니다. 인용하다 Amazon Redshift 데이터 소스 사용 Amazon Redshift를 Grafana용 데이터 소스로 구성하는 방법을 알아보세요.

규제 보고 시스템과 상호 작용하는 사용자에는 비즈니스 및 기술 운영을 지원하는 분석가, 위험 관리자, 운영자 및 기타 인물이 포함됩니다. 규제 보고서 생성 외에도 이러한 팀에는 보고 시스템의 상태에 대한 가시성이 필요합니다.

역사적 인용문 분석

이 섹션에서는 역사적 인용문 분석의 몇 가지 예를 살펴보겠습니다. 아마존 퀵 사이트 계기반.

부문별 가중평균 스프레드

다음 차트는 3개월 동안 NASDAQ 및 NYSE의 모든 개별 거래에 대한 가중 평균 매수-매도 스프레드를 부문별로 매일 집계한 것을 보여줍니다. 평균 일일 스프레드를 계산하기 위해 각 스프레드에는 입찰 금액과 달러 매도 금액의 합계로 가중치가 적용됩니다. 이 차트를 생성하는 쿼리는 총 103억 개의 데이터 포인트를 처리하고 각 거래를 섹터 참조 테이블과 결합하며 10초 이내에 실행됩니다.

거래소별 가중평균 스프레드

다음 차트는 3개월 동안 NASDAQ 및 NYSE의 모든 개별 거래에 대한 가중 평균 매수-매도 스프레드를 일일 집계한 것을 보여줍니다. 계산 방법과 쿼리 성능 지표는 앞의 차트와 유사합니다.

역사적 거래 분석

이 섹션에서는 과거 거래 분석의 몇 가지 예를 살펴보겠습니다. 아마존 퀵 사이트 계기반.

부문별 거래량

다음 차트는 3개월 동안 NASDAQ 및 NYSE의 모든 개별 거래를 부문별 일일 집계로 보여줍니다. 이 차트를 생성하는 쿼리는 총 3.6억 개의 거래를 처리하고 각 거래를 섹터 참조 테이블과 결합하며 5초 이내에 실행됩니다.

주요 거래소의 거래량

다음 차트는 3개월 동안 모든 개별 거래를 거래소 그룹별로 일일 집계한 것을 보여줍니다. 이 차트를 생성하는 쿼리에는 이전 차트와 유사한 성능 측정항목이 있습니다.

실시간 대시보드

모니터링 및 관찰 가능성은 무역 보고, 위험 관리, 무역 관리 시스템과 같은 중요한 비즈니스 애플리케이션에 중요한 요구 사항입니다. 시스템 수준 지표 외에도 핵심 성과 지표를 실시간으로 모니터링하여 운영자가 비즈니스에 영향을 미치는 이벤트에 대해 가능한 한 빨리 경고를 받고 대응할 수 있도록 하는 것도 중요합니다. 이 데모를 위해 우리는 Kinesis 데이터 스트림과 Aurora의 견적 및 거래 데이터 지연을 각각 모니터링하는 대시보드를 Grafana에 구축했습니다.

견적 수집 지연 대시보드에는 각 견적 레코드가 데이터 스트림에서 수집되어 Amazon Redshift에서 쿼리할 수 있는 데 걸리는 시간이 표시됩니다.

거래 수집 지연 대시보드는 Aurora의 트랜잭션을 Amazon Redshift에서 쿼리할 수 있게 되는 데 걸리는 시간을 보여줍니다.

정리

리소스를 정리하려면 AWS CloudFormation을 사용하여 배포한 스택을 삭제하십시오. 지침은 다음을 참조하세요. AWS CloudFormation 콘솔에서 스택 삭제.

결론

증가하는 거래 활동량, 더욱 복잡한 위험 관리 및 강화된 규제 요건으로 인해 자본 시장 기업은 하루종일 및 밤샘 처리가 이루어지는 중간 및 백오피스 플랫폼에서도 실시간 및 거의 실시간에 가까운 데이터 처리를 수용하게 되었습니다. 표준이었습니다. 이 게시물에서는 사용 편의성, 낮은 유지 관리 및 비용 효율성을 위해 Amazon Redshift 기능을 사용할 수 있는 방법을 시연했습니다. 또한 분석 및 보고용 데이터를 제공하기 전에 복잡하고 값비싼 ETL 또는 ELT 처리를 수행할 필요 없이 스트리밍 시장 데이터를 수집하고, OLTP 데이터베이스에서 업데이트를 처리하고, 타사 참조 데이터를 사용하기 위한 교차 서비스 통합에 대해서도 논의했습니다.

이 솔루션을 구현하는 데 지침이 필요한 경우 당사에 문의하세요. 인용하다 Amazon Redshift 스트리밍 수집을 통한 실시간 분석, Amazon Redshift와 Amazon Aurora zero-ETL 통합을 사용하여 거의 실시간 운영 분석을 위한 시작 안내서및 생산자로서 AWS Data Exchange 데이터 공유 작업

저자에 관하여

사테시 손티 애틀랜타에 기반을 둔 수석 분석 전문가 솔루션 설계자이며 엔터프라이즈 데이터 플랫폼, 데이터 웨어하우징 및 분석 솔루션 구축을 전문으로 합니다. 그는 데이터 자산을 구축하고 전 세계 은행 및 보험 고객을 위한 복잡한 데이터 플랫폼 프로그램을 주도하는 데 18년 이상의 경험을 가지고 있습니다.

알켓 메무샤즈 AWS 금융 서비스 시장 개발 팀의 수석 설계자로 일하고 있습니다. Alket은 파트너 및 고객과 협력하여 시장 연결성, 거래 시스템, 거래 전후 분석 및 연구 플랫폼을 포함하여 거래 수명 주기 전반에 걸쳐 AWS 클라우드에 애플리케이션을 배포하는 등 자본 시장의 기술 전략을 담당하고 있습니다.

루벤 포크 AI, 데이터 및 분석에 중점을 둔 자본 시장 전문가입니다. Ruben은 현대적인 데이터 아키텍처와 체계적인 투자 프로세스에 대해 자본 시장 참여자들과 상담합니다. 그는 S&P Global Market Intelligence에서 투자 관리 솔루션의 글로벌 책임자로 근무하다가 AWS에 합류했습니다.

제프 윌슨 15년 동안 분석 플랫폼 작업 경험을 보유한 세계적인 시장 진출 전문가입니다. 현재 그의 초점은 Amazon의 기본 클라우드 데이터 웨어하우스인 Amazon Redshift 사용의 이점을 공유하는 것입니다. Jeff는 플로리다에 거주하며 2019년부터 AWS에서 근무했습니다.

spot_img

최신 인텔리전스

spot_img

저작권 @ 2024 Plato Technologies Inc.