Klanten uit de financiële dienstverlening gebruiken gegevens uit verschillende bronnen die afkomstig zijn van verschillende frequenties, waaronder realtime, batch- en gearchiveerde datasets. Bovendien hebben ze streaming-architecturen nodig om de groeiende handelsvolumes, de marktvolatiliteit en de eisen van de regelgeving aan te kunnen. Hieronder volgen enkele van de belangrijkste zakelijke gebruiksscenario’s die deze behoefte benadrukken:

• Handelsrapportage – Sinds de mondiale financiële crisis van 2007-2008 hebben toezichthouders hun eisen en toezicht op de rapportage door toezichthouders vergroot. Toezichthouders hebben meer aandacht besteed aan het beschermen van de consument door middel van transactierapportage (doorgaans T+1, wat 1 werkdag na de transactiedatum betekent) en het vergroten van de transparantie op de markten via bijna realtime handelsrapportagevereisten.
• Risicomanagement – Naarmate de kapitaalmarkten complexer worden en toezichthouders nieuwe risicokaders lanceren, zoals Fundamentele herziening van het handelsboek (FRTB) en Bazel IIIwillen financiële instellingen de frequentie van berekeningen voor het algehele marktrisico, liquiditeitsrisico, tegenpartijrisico en andere risicometingen verhogen, en willen ze zo dicht mogelijk bij realtime berekeningen komen.
• Handelskwaliteit en optimalisatie – Om de handelskwaliteit te monitoren en te optimaliseren, moet u voortdurend marktkenmerken evalueren, zoals volume, richting, marktdiepte, opvullingspercentage en andere benchmarks die verband houden met de voltooiing van transacties. Handelskwaliteit houdt niet alleen verband met de prestaties van makelaars, maar is om te beginnen ook een vereiste van toezichthouders MIFID II.

De uitdaging is om met een oplossing te komen die deze ongelijksoortige bronnen, gevarieerde frequenties en verbruiksvereisten met lage latentie aankan. De oplossing moet schaalbaar, kostenefficiënt en eenvoudig te implementeren en te gebruiken zijn. Amazon roodverschuiving functies zoals streaming-opname, Amazon Aurora nul-ETL-integratieen het delen van gegevens met AWS-gegevensuitwisseling maak bijna realtime verwerking mogelijk voor handelsrapportage, risicobeheer en handelsoptimalisatie.

In dit bericht bieden we een oplossingsarchitectuur die beschrijft hoe u gegevens uit drie verschillende soorten bronnen kunt verwerken (streaming-, transactionele en referentiegegevens van derden) en deze kunt samenvoegen in Amazon Redshift voor business intelligence (BI)-rapportage.

Overzicht oplossingen

Deze oplossingsarchitectuur is gemaakt met prioriteit voor een low-code/no-code-aanpak met de volgende leidende principes:

• Gebruiksgemak – Het moet minder complex zijn om intuïtieve gebruikersinterfaces te implementeren en te bedienen
• schaalbare – U moet de capaciteit op aanvraag naadloos kunnen vergroten en verkleinen
• Native integratie – Componenten moeten worden geïntegreerd zonder extra connectoren of software
• Kostenefficient – Het moet een evenwichtige prijs-prestatieverhouding opleveren
• Weinig onderhoud – Het zou minder management- en operationele overhead vereisen

Het volgende diagram illustreert de oplossingsarchitectuur en hoe deze leidende principes werden toegepast op de componenten voor opname, aggregatie en rapportage.

Implementeer de oplossing

U kunt het volgende gebruiken AWS CloudFormatie sjabloon om de oplossing te implementeren.

Deze stapel creëert de volgende bronnen en noodzakelijke machtigingen om de services te integreren:

Inslikken

Om gegevens op te nemen, gebruikt u Amazon Redshift streaming-opname om streaminggegevens uit de Kinesis-gegevensstroom te laden. Voor transactiegegevens gebruikt u de Redshift zero-ETL-integratie met Amazon Aurora MySQL. Voor referentiegegevens van derden profiteert u van AWS Data Exchange-gegevensshares. Met deze mogelijkheden kunt u snel schaalbare datapijplijnen bouwen, omdat u de capaciteit van Kinesis Data Streams-shards kunt vergroten, kunt berekenen voor nul-ETL-bronnen en -doelen, en Redshift kunt berekenen voor gegevensshares wanneer uw gegevens groeien. Redshift-streamingopname en zero-ETL-integratie zijn low-code/no-code-oplossingen die u kunt bouwen met eenvoudige SQL's zonder veel tijd en geld te investeren in het ontwikkelen van complexe aangepaste code.

Voor de gegevens die zijn gebruikt om deze oplossing te creëren, hebben we samengewerkt met FactSet, een toonaangevende leverancier van financiële gegevens, analyses en open technologie. FactSet heeft er verschillende datasets beschikbaar op de AWS Data Exchange-marktplaats, die we hebben gebruikt voor referentiegegevens. We hebben ook FactSet's gebruikt oplossingen voor marktgegevens voor historische en streaming marktkoersen en transacties.

In behandeling

Gegevens worden verwerkt in Amazon Redshift volgens de extractie-, laad- en transformatiemethode (ELT). Met vrijwel onbeperkte schaal- en werklastisolatie is ELT meer geschikt voor cloud-datawarehouse-oplossingen.

U gebruikt Redshift streaming-opname voor realtime opname van streaming-offertes (bied/vraag) uit de Kinesis-datastroom rechtstreeks in een streaming-gematerialiseerde weergave en verwerkt de gegevens in de volgende stap met behulp van PartiQL voor het parseren van de datastroom-invoer. Houd er rekening mee dat het streamen van gerealiseerde weergaven verschilt van reguliere gerealiseerde weergaven in termen van hoe automatisch vernieuwen werkt en welke SQL-opdrachten voor gegevensbeheer worden gebruikt. Verwijzen naar Overwegingen bij streaming-opname voor meer info.

Voor het opnemen van transactiegegevens (transacties) uit OLTP-bronnen gebruikt u de zero-ETL Aurora-integratie. Verwijzen naar Werken met zero-ETL-integraties voor momenteel ondersteunde bronnen. U kunt gegevens uit al deze bronnen combineren met behulp van weergaven, en opgeslagen procedures gebruiken om regels voor bedrijfstransformatie te implementeren, zoals het berekenen van gewogen gemiddelden over sectoren en beurzen heen.

De historische volumes aan handels- en offertegegevens zijn enorm en worden vaak niet vaak opgevraagd. Je kunt gebruiken Amazon Roodverschuivingsspectrum om toegang te krijgen tot deze gegevens zonder deze in Amazon Redshift te laden. U maakt externe tabellen die naar gegevens verwijzen Amazon eenvoudige opslagservice (Amazon S3) en query's uitvoeren op dezelfde manier als elke andere lokale tabel in Amazon Redshift. Meerdere Redshift-datawarehouses kunnen gelijktijdig dezelfde datasets in Amazon S3 opvragen zonder dat er voor elk datawarehouse kopieën van de gegevens hoeven te worden gemaakt. Deze functie vereenvoudigt de toegang tot externe gegevens zonder complexe ETL-processen te schrijven en verbetert het gebruiksgemak van de algehele oplossing.

Laten we eens kijken naar enkele voorbeeldquery's die worden gebruikt voor het analyseren van koersen en transacties. We gebruiken de volgende tabellen in de voorbeeldquery's:

• dt_hist_quote – Historische koersgegevens met biedprijs en volume, laatprijs en volume, en beurzen en sectoren. U moet in uw organisatie relevante datasets gebruiken die deze gegevensattributen bevatten.
• dt_hist_trades – Historische handelsgegevens met details over de verhandelde prijs, het volume, de sector en de beurs. U moet in uw organisatie relevante datasets gebruiken die deze gegevensattributen bevatten.
• feitenset_sector_map – In kaart brengen tussen sectoren en uitwisselingen. Deze kunt u verkrijgen bij de FactSet Fundamentals ADX-gegevensset.

Voorbeeldquery voor het analyseren van historische koersen

U kunt de volgende query gebruiken om de gewogen gemiddelde spreads op koersen te vinden:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

Voorbeeldquery voor het analyseren van historische transacties

U kunt de volgende query gebruiken om te vinden $-volume over transacties per gedetailleerde beurs, per sector en per grote beurs (NYSE en Nasdaq):

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

Rapportage

Je kunt gebruiken Amazon QuickSight en Amazon beheerde Grafana voor respectievelijk BI en real-time rapportage. Deze services kunnen standaard worden geïntegreerd met Amazon Redshift zonder dat er tussendoor extra connectoren of software nodig zijn.

U kunt vanuit QuickSight een directe query uitvoeren voor BI-rapportage en -dashboards. Met QuickSight kunt u gegevens ook lokaal opslaan in de SPICE-cache met automatische vernieuwing voor lage latentie. Verwijzen naar Autorisatie van verbindingen van Amazon QuickSight naar Amazon Redshift-clusters voor uitgebreide details over hoe u QuickSight kunt integreren met Amazon Redshift.

U kunt Amazon Managed Grafana gebruiken voor vrijwel realtime handelsdashboards die om de paar seconden worden vernieuwd. De realtime dashboards voor het monitoren van de latenties bij handelsopname worden gemaakt met behulp van Grafana en de gegevens zijn afkomstig van systeemweergaven in Amazon Redshift. Verwijzen naar Met behulp van de Amazon Redshift-gegevensbron voor meer informatie over het configureren van Amazon Redshift als gegevensbron voor Grafana.

Tot de gebruikers die interactie hebben met regelgevende rapportagesystemen behoren analisten, risicomanagers, operators en andere personen die zakelijke en technologische activiteiten ondersteunen. Naast het genereren van regelgevingsrapporten hebben deze teams inzicht nodig in de gezondheid van de rapportagesystemen.

Analyse van historische citaten

In deze sectie onderzoeken we enkele voorbeelden van analyse van historische citaten uit de Amazon QuickSight dashboard.

Gewogen gemiddelde spreiding per sector

De volgende grafiek toont de dagelijkse aggregatie per sector van de gewogen gemiddelde bied-laatspreads van alle individuele transacties op NASDAQ en NYSE gedurende drie maanden. Om de gemiddelde dagelijkse spread te berekenen, wordt elke spread gewogen door de som van het bied- en laat-dollarvolume. De zoekopdracht om deze grafiek te genereren verwerkt in totaal 3 miljard datapunten, voegt elke transactie samen met de sectorreferentietabel en wordt uitgevoerd in minder dan 103 seconden.

Gewogen gemiddelde spread per beurzen

De volgende grafiek toont de dagelijkse aggregatie van de gewogen gemiddelde bied-laatspreads van alle individuele transacties op NASDAQ en NYSE gedurende drie maanden. De berekeningsmethodologie en de prestatiestatistieken voor query's zijn vergelijkbaar met die in het voorgaande diagram.

Analyse van historische transacties

In deze sectie onderzoeken we enkele voorbeelden van analyse van historische transacties uit de Amazon QuickSight dashboard.

Handelsvolumes per sector

De volgende grafiek toont de dagelijkse aggregatie per sector van alle individuele transacties op NASDAQ en NYSE gedurende 3 maanden. De zoekopdracht om deze grafiek te genereren verwerkt in totaal 3.6 miljard transacties, voegt elke transactie samen met de sectorreferentietabel en duurt minder dan 5 seconden.

Handelsvolumes voor grote beurzen

Het volgende diagram toont de dagelijkse aggregatie per beursgroep van alle individuele transacties gedurende 3 maanden. De query om dit diagram te genereren heeft vergelijkbare prestatiestatistieken als het voorgaande diagram.

Realtime dashboards

Monitoring en waarneembaarheid zijn een belangrijke vereiste voor elke kritische bedrijfstoepassing, zoals handelsrapportage, risicobeheer en handelsbeheersystemen. Naast statistieken op systeemniveau is het ook belangrijk om de belangrijkste prestatie-indicatoren in realtime te monitoren, zodat operators gewaarschuwd kunnen worden en zo snel mogelijk kunnen reageren op gebeurtenissen die van invloed zijn op het bedrijf. Voor deze demonstratie hebben we dashboards gebouwd in Grafana die de vertraging van offerte- en handelsgegevens uit respectievelijk de Kinesis-datastroom en Aurora monitoren.

Het dashboard voor vertraging bij het opnemen van offertes toont de hoeveelheid tijd die nodig is voordat elke offerterecord uit de gegevensstroom wordt opgenomen en beschikbaar is voor bevraging in Amazon Redshift.

Het dashboard voor vertraging bij handelsopname toont de hoeveelheid tijd die nodig is voordat een transactie in Aurora beschikbaar komt in Amazon Redshift voor bevraging.

Opruimen

Om uw bronnen op te schonen, verwijdert u de stapel die u heeft geïmplementeerd met AWS CloudFormation. Voor instructies, zie Een stapel verwijderen op de AWS CloudFormation-console.

Conclusie

Toenemende handelsvolumes, een complexer risicobeheer en strengere regelgevingsvereisten zorgen ervoor dat kapitaalmarktbedrijven real-time en bijna-real-time gegevensverwerking omarmen, zelfs op mid- en backofficeplatforms waar verwerking aan het einde van de dag en de nacht plaatsvindt. was de standaard. In dit bericht hebben we laten zien hoe u de mogelijkheden van Amazon Redshift kunt gebruiken voor gebruiksgemak, weinig onderhoud en kostenefficiëntie. We hebben ook cross-service-integraties besproken om streaming-marktgegevens op te nemen, updates uit OLTP-databases te verwerken en referentiegegevens van derden te gebruiken zonder complexe en dure ETL- of ELT-verwerking uit te voeren voordat de gegevens beschikbaar worden gesteld voor analyse en rapportage.

Neem contact met ons op als u hulp nodig heeft bij de implementatie van deze oplossing. Verwijzen naar Realtime analyse met Amazon Redshift-streamingopname, Handleiding om aan de slag te gaan voor bijna realtime operationele analyses met behulp van Amazon Aurora zero-ETL-integratie met Amazon Redshift en Werken met AWS Data Exchange-datashares als producent voor meer informatie.

Over de auteurs

Satesh Sonti is een Sr. Analytics Specialist Solutions Architect gevestigd in Atlanta, gespecialiseerd in het bouwen van enterprise dataplatforms, datawarehousing en analyseoplossingen. Hij heeft meer dan 18 jaar ervaring in het bouwen van data-assets en het leiden van complexe dataplatformprogramma's voor bank- en verzekeringsklanten over de hele wereld.

Alket Memushaj werkt als Principal Architect in het Financial Services Market Development-team bij AWS. Alket is verantwoordelijk voor de technische strategie voor kapitaalmarkten en werkt samen met partners en klanten om applicaties gedurende de handelslevenscyclus in de AWS Cloud te implementeren, inclusief marktconnectiviteit, handelssystemen en pre- en post-trade analyse- en onderzoeksplatforms.

Ruben Valk is een Capital Markets Specialist gericht op AI en data & analytics. Ruben overlegt met kapitaalmarktdeelnemers over moderne data-architectuur en systematische investeringsprocessen. Hij kwam bij AWS terecht via S&P Global Market Intelligence, waar hij Global Head of Investment Management Solutions was.

Jeff Wilson is een wereldwijde go-to-market specialist met 15 jaar ervaring in het werken met analytische platforms. Zijn huidige focus ligt op het delen van de voordelen van het gebruik van Amazon Redshift, het eigen clouddatawarehouse van Amazon. Jeff is gevestigd in Florida en werkt sinds 2019 bij AWS.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/