Dit bericht is geschreven in samenwerking met Sreenivasa Mungala en Matt Grimm van FanDuel.

In dit bericht delen we hoe FanDuel is overgestapt van een DC2-nodesarchitectuur naar een moderne Amazon roodverschuiving architectuur, die door Redshift ingerichte clusters omvat die gebruik maken van RA3-instanties, Amazon Redshift-gegevens delen en Amazon Redshift Serverloos.

Over FanDuel

Deel van Flutter entertainment, FanDuel Group is een gamingbedrijf dat sportsbooks, dagelijkse fantasiesporten, paardenraces en online casino's aanbiedt. Het bedrijf exploiteert sportsbooks in een aantal Amerikaanse en Canadese staten. Fanduel veroverde voor het eerst een niche in de VS via dagelijkse fantasiesporten, zoals hun populairste fantasiesport: NFL-voetbal.

Naarmate de zakelijke voetafdruk van FanDuel groeide, groeide ook de complexiteit van hun analytische behoeften. Steeds meer leden van FanDuel's gemeenschap van analisten en zakelijke gebruikers zochten naar alomvattende dataoplossingen die de data over de verschillende takken van hun bedrijf centraliseerden. Hun individuele, productspecifieke en vaak lokale datawarehouses raakten al snel achterhaald. Het datateam van FanDuel heeft het probleem opgelost van het creëren van een nieuwe enorme dataopslag voor het centraliseren van de gegevens op één plek, met één versie van de waarheid. De kern van dit nieuwe Global Data Platform was Amazon Redshift, dat al snel de vertrouwde dataopslag werd waarvan alle analyses waren afgeleid. Gebruikers konden nu risico's, winstgevendheid en cross-sell-mogelijkheden beoordelen, niet alleen voor afzonderlijke divisies of producten, maar ook wereldwijd voor het bedrijf als geheel.

FanDuel's reis op Amazon Redshift

FanDuel's eerste Redshift-cluster werd gelanceerd met behulp van Dense Compute (DC2)-nodes. Hiervoor werd gekozen boven DS2-knooppunten (Dense Storage) om te profiteren van de grotere rekenkracht voor de complexe vragen in hun organisatie. Naarmate FanDuel groeide, groeide ook hun datawerklast. Dit betekende dat er een constante uitdaging was om op te schalen en conflicten te overwinnen en tegelijkertijd de prestaties te leveren die hun gebruikersgemeenschap nodig had voor de dagelijkse besluitvorming. FanDuel ging deze uitdaging aanvankelijk aan door voortdurend knooppunten toe te voegen en te experimenteren met workload management (WLM), maar het werd overduidelijk dat ze een belangrijkere stap moesten zetten om aan de behoeften van hun gebruikers te voldoen.

In 2021 is de werklast van FanDuel bijna verdrievoudigd sinds ze in 2018 voor het eerst Amazon Redshift begonnen te gebruiken, en ze begonnen Redshift RA3-nodes versus DC2-nodes te evalueren om te profiteren van de scheiding van opslag en rekenkracht en betere prestaties te leveren tegen lagere kosten. FanDuel wilde in de eerste plaats de overstap maken naar het scheiden van opslag en rekenkracht, en het delen van gegevens evalueren in de hoop verschillende rekenkracht aan de gegevens toe te voegen om de conflicten van gebruikers op hun primaire cluster te verminderen. FanDuel besloot een nieuw RA3-cluster te lanceren toen ze ervan overtuigd waren dat de prestaties overeenkwamen met die van hun bestaande DC2-architectuur, waardoor ze de mogelijkheid kregen om hun opslag onafhankelijk te schalen en te berekenen.

In 2022 verlegde FanDuel de focus naar het delen van data. Het delen van gegevens stelt u in staat om live gegevens veilig te delen in de Redshift-datawarehouses, zodat u ze kunt lezen en lezen schrijven (in voorbeeld) doeleinden. Dit betekent dat werklasten kunnen worden geïsoleerd in individuele clusters, waardoor een meer gestroomlijnd schemaontwerp, WLM-configuratie en juiste maatvoering voor kostenoptimalisatie mogelijk zijn. Het volgende diagram illustreert deze architectuur.

Om een ​​architectuur voor het delen van gegevens te realiseren, was het plan om eerst consumentenclusters op te zetten voor ontwikkelings- en testomgevingen voor hun data-ingenieurs die belangrijke verouderde code verplaatsten naar dbt. FanDuel wilde dat hun technici toegang zouden hebben tot productiedatasets om hun nieuwe modellen te testen en de resultaten van hun oudere SQL-gebaseerde codesets te matchen. Ze wilden er ook zeker van zijn dat ze over voldoende rekenkracht beschikten om veel taken tegelijkertijd uit te voeren. Nadat ze de voordelen van het delen van gegevens hadden gezien, hebben ze in het voorjaar van 2022 hun eerste productieconsumentencluster opgezet om andere analytische gebruiksscenario's aan te kunnen. Dit was het delen van de meeste schema's en hun tabellen van het hoofdproducentencluster.

Voordelen van de overstap naar een architectuur voor het delen van gegevens

FanDuel zag veel voordelen in de architectuur voor het delen van gegevens, waarbij data-ingenieurs toegang hadden tot echte productiegegevens om hun werk te testen zonder de prestaties van de producent te beïnvloeden. Sinds de werklast is gesplitst via een architectuur voor het delen van gegevens, heeft FanDuel de gelijktijdigheid van query's verdubbeld en de wachtrijen voor query's verminderd, wat heeft geresulteerd in een betere end-to-end querytijd. FanDuel kreeg positieve feedback op de nieuwe omgeving en plukte al snel de vruchten van de hogere engineeringsnelheid en minder prestatieproblemen in de productie na implementatie. Hun eerste onderneming in de wereld van het delen van gegevens werd absoluut als een succes beschouwd.

Gezien de succesvolle uitrol van hun eerste consument in een architectuur voor het delen van gegevens, zochten ze naar mogelijkheden om aan de behoeften van andere gebruikers te voldoen met nieuwe, doelgerichte consumenten. Met de hulp van AWS startte FanDuel de ontwikkeling van een alomvattende strategie gericht op het veiligstellen van hun extractie-, laad- en transformatiebanen (ELT). Deze aanpak omvatte het implementeren van werklastisolatie en het toewijzen van speciale clusters voor deze werklasten, aangeduid als het producentencluster binnen de architectuur voor het delen van gegevens. Tegelijkertijd waren ze van plan om alle andere activiteiten naar een of meer consumentenclusters te migreren, afgezien van het bestaande cluster dat door hun data-engineeringteam werd gebruikt.

Ze hebben in de zomer van 2022 een tweede consument opgericht in de hoop een aantal van hun meer resource-intensieve analytische processen van het hoofdcluster te verplaatsen. Om hun analisten in de loop van de tijd meer macht te geven, hadden ze een patroon toegestaan ​​waarin andere gebruikers dan data-ingenieurs hun eigen objecten konden maken en delen.

Terwijl de kalender van 2022 naar 2023 veranderde, veranderden verschillende ontwikkelingen het architectuurlandschap bij FanDuel. Ten eerste lanceerde FanDuel hun eerste, op gebeurtenissen gebaseerde streamingwerk voor hun sportsbook-gegevens, waardoor ze gegevens met een veel lagere latentie in Amazon Redshift konden microbatchen dan hun vorige, oudere batch-aanpak. Hierdoor konden ze C-Suite-omzetrapporten genereren tegen een veel eerdere SLA, wat een grote overwinning was voor het datateam, omdat dit vóór de Super Bowl nooit was bereikt.

FanDuel introduceerde een nieuwe interne KPI genaamd Query Efficiency, een maatstaf om de hoeveelheid tijd vast te leggen die gebruikers hebben besteed aan het wachten op het uitvoeren van hun zoekopdrachten. Toen de werkdruk exponentieel begon te stijgen, merkte FanDuel ook een toename van deze KPI op, specifiek voor risico- en handelswerklasten.

In samenwerking met AWS Enterprise Support en het Amazon Redshift-serviceteam realiseerde FanDuel zich al snel dat de risico- en handelsgebruikssituatie een perfecte gelegenheid was om deze te verplaatsen naar Amazon Redshift Serverloos. Redshift Serverless biedt schaalbaarheid over dimensies heen, zoals veranderingen in het gegevensvolume, gelijktijdige gebruikers en de complexiteit van zoekopdrachten, waardoor u de rekenkracht automatisch omhoog of omlaag kunt schalen om veeleisende en onvoorspelbare werklasten te beheren. Omdat de facturering alleen plaatsvindt terwijl er query's worden uitgevoerd, betekent dit ook dat u niet langer de kosten hoeft te dekken voor rekenkracht die u niet gebruikt. Redshift Serverless beheert ook het werklastbeheer (WLM) volledig, waardoor u zich alleen kunt concentreren op de gewenste querybewakingsregels (QMR's) en gebruikslimieten, waardoor de noodzaak voor u om uw datawarehouses te beheren nog verder wordt beperkt. Deze acceptatie was ook een aanvulling op het delen van gegevens, waar Redshift Serverless-eindpunten kunnen lezen en schrijven (in voorbeeld) van ingerichte clusters tijdens piekuren, waardoor flexibele computerschaalbaarheid en werklastisolatie wordt geboden en de impact op andere bedrijfskritische werklasten wordt vermeden. Toen ze de voordelen zagen van wat Redshift Serverless biedt voor hun risico- en handelswerklasten, hebben ze ook een aantal van hun andere werklasten, zoals business intelligence (BI)-dashboards en risico- en handelswerklasten (RT), verplaatst naar een Redshift Serverless-omgeving.

Voordelen van de introductie van Redshift Serverless in een architectuur voor het delen van gegevens

Door een combinatie van het delen van gegevens en een serverloze architectuur kon FanDuel hun meest kritieke werklasten op verzoek elastisch schalen. Met Redshift Serverless Automatic WLM konden gebruikers aan de slag zonder dat ze WLM hoefden te configureren. Met de intelligente en geautomatiseerde schaalmogelijkheden van Redshift Serverless kon FanDuel zich concentreren op hun zakelijke doelstellingen zonder zich zorgen te hoeven maken over de capaciteit van het datawarehouse. Deze architectuur verlichtte de beperkingen van een enkel vooraf gedefinieerd door Redshift ingericht cluster en verminderde de noodzaak voor FanDuel om de datawarehouse-capaciteit en eventuele WLM-configuratie te beheren.

Wat de kosten betreft, stelde Redshift Serverless FanDuel in staat om op elegante wijze de meest veeleisende workloads af te handelen met een pay-as-you-go-model, waarbij alleen wordt betaald wanneer het datawarehouse in gebruik is, samen met een volledige scheiding van rekenkracht en opslag.

Nu we werklastisolatie en Redshift Serverless hebben geïntroduceerd, kan FanDuel een gedetailleerder inzicht krijgen in de rekenvereisten van elk team, zonder het lawaai van ELT en concurrerende werklasten in dezelfde omgeving. Hierdoor konden uitgebreide analytische workloads worden uitgevoerd op consumenten met een sterk geminimaliseerde twist, terwijl ze ook konden worden bediend met de meest kostenefficiënte configuratie die mogelijk was.

Het volgende diagram illustreert de bijgewerkte architectuur.

Resultaten

FanDuel's herontwerp van werklastisolatie met risico- en handelswerklasten (RT) met behulp van Redshift-gegevensuitwisseling en Redshift Serverless resulteerde in het driemaal sneller afronden van de meest kritische zakelijke SLA's, samen met een toename van de gemiddelde query-efficiëntie van 55% voor de totale werklast. Deze SLA-verbeteringen hebben geresulteerd in een totale besparing van tien keer de bedrijfskosten, en ze hebben veel sneller zakelijke inzichten kunnen leveren aan andere branches, zoals product-, commerciële en marketingactiviteiten.

Conclusie

Door gebruik te maken van de kracht van door Redshift ingerichte clusters en serverloze eindpunten met het delen van gegevens, is FanDuel in staat geweest analytische werklasten beter te schalen en uit te voeren zonder enige datawarehouse-infrastructuur te hoeven beheren. FanDuel kijkt uit naar toekomstige Amazon-partnerschappen en is enthousiast om een ​​reis van nieuwe innovatie te beginnen met Redshift Serverless en voortdurende verbeteringen zoals machine learning-optimalisatie en automatisch schalen.

Als je nieuw bent bij Amazon Redshift, kun je demo's, andere klantverhalen en de nieuwste functies verkennen op Amazon roodverschuiving. Als je Amazon Redshift al gebruikt, neem dan contact op met je AWS-accountteam voor ondersteuning en leer er meer over wat is er nieuw bij Amazon Redshift.

Over de auteurs

Sreenivasa Munagala is een Principal Data Architect bij FanDuel Group. Hij definieert hun Amazon Redshift-optimalisatiestrategie en werkt samen met het data-analyseteam om oplossingen te bieden voor hun belangrijkste zakelijke problemen.

Matt Grimm is een Principal Data Architect bij FanDuel Group, die het bedrijf naar een op gebeurtenissen gebaseerde, datagestuurde architectuur heeft verplaatst met behulp van de integratie van zowel streaming- als batchgegevens, terwijl hij ook hun Machine Learning Platform en ontwikkelingsteams ondersteunt.

Luke Scheerder is Cloud Support Engineer bij Amazon Web Services voor het Data Insight Analytics-profiel, waar hij elke dag met AWS-klanten bezig is en altijd bezig is om de beste oplossing voor elke klant te identificeren.

Dhaval Sjah is Senior Customer Success Engineer bij AWS en is gespecialiseerd in het naar Amazon Redshift brengen van de meest complexe en veeleisende data-analyseworkloads. Hij heeft meer dan 20 jaar ervaring in verschillende databases en datawarehousingtechnologieën. Hij heeft een passie voor efficiënte en schaalbare cloudoplossingen voor data-analyse die de bedrijfswaarde voor klanten vergroten.

Ranjan Burman is een Sr. Analytics Specialist Solutions Architect bij AWS. Hij is gespecialiseerd in Amazon Redshift en helpt klanten bij het bouwen van schaalbare analytische oplossingen. Hij heeft meer dan 17 jaar ervaring in verschillende database- en datawarehousingtechnologieën. Hij heeft een passie voor het automatiseren en oplossen van klantproblemen met cloudoplossingen.

Sidhanth Muralidhar is een Principal Technical Account Manager bij AWS. Hij werkt met grote zakelijke klanten die hun workloads op AWS draaien. Hij heeft een passie voor het werken met klanten en het helpen van hen bij het ontwerpen van workloads op het gebied van kosten, betrouwbaarheid, prestaties en operationele uitmuntendheid op schaal in hun cloudtraject. Daarnaast heeft hij een grote interesse in data-analyse.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/how-fanduel-adopted-a-modern-amazon-redshift-architecture-to-serve-critical-business-workloads/