Data är en viktig strategisk tillgång för varje organisation, och varje företag är en dataverksamhet i sin kärna. Men i många organisationer är data vanligtvis spridda över ett antal olika system, såsom SaaS-applikationer (Software as a Service), operativa databaser och datalager. Sådana datasilos gör det svårt att få enhetliga vyer av data i en organisation och agera i realtid för att få ut det mesta värdet.

För tio år sedan lanserade vi Amazon Kinesis dataströmmar, den första molnbaserade serverlösa strömningsdatatjänsten, som fungerar som ryggraden för företag, för att flytta data över systemgränserna och bryta datasilos. Med dataströmning kan du driva datasjöar som körs på Amazon enkel lagringstjänst (Amazon S3), berika kundupplevelser via personalisering, förbättra operativ effektivitet med förutsägande underhåll av maskiner i dina fabriker, och uppnå bättre insikter med mer exakta maskininlärningsmodeller (ML). Amazon Kinesis Data Streams är en grundläggande datastrategipelare för tiotusentals kunder. När strömmar av rådata samlas låser de upp möjligheter att kontinuerligt transformera, berika och fråga data i realtid via sömlös integration med strömbearbetningsmotorer som t.ex. Amazon Managed Service för Apache Flink.

Som ett exempel, National Hockey League (NHL) ombildade fansupplevelsen genom att streama NHL EDGE-speldata och statistik live för att ge hockeyfans värdefulla insikter för att hålla fansen vid kanten av sina platser. NHL EDGE-teknik i pucken och spelartröjor (tröjor) genererar tusentals datapunkter varje sekund för NHL, som kan analyseras av AWS för att förutsäga sannolika utfall för viktiga händelser som matcher. För att bearbeta och analysera tusentals signaler byggde NHL en grund för strömmande data i realtid med Kinesis Data Streams och Amazon Managed Service för Apache Flink för att strömma, förbereda och mata data till ML-modeller, vilket hjälper till att informera om förutsägelser på några sekunder och utökar nya sätt att engagera tittarna.

Med utgångspunkt i sådana strömmande data funderar många kunder för närvarande på hur de ska kunna leverera transformativa nya produkter och tjänster med generativ AI. Streaming gör det möjligt för företag att på ett säkert sätt och i realtid koppla den data som finns tillgänglig i datalager till stora språkmodeller (LLM). Även om LLM:er kan arbeta med miljarder parametrar, för att kunna leverera en engagerande upplevelse som är skräddarsydd för ett företags kunder, kräver LLM:er personaliseringsdata för företagets användare och proprietära kunskapsbutiker inom företagets datalager. En datastrategi som inkluderar streaming är nödvändig för att leverera personalisering och proprietär data som är tillgänglig för sökning i realtid.

Kunder med realtidsströmningsdatastrategi ligger i framkant när det gäller att tillhandahålla innovativa produkter med generativ AI. En kund använde Kinesis Data Streams för sin datastrategi och de streamar miljarder händelser från sina digitala produkter för att få realtidsinsikter. Med en kombination av dataströmning och analys med låg latens kan de förstå och anpassa användarupplevelsen via ett sömlöst integrerat, självständigt system för experiment och automatiserad feedback. Tidigare i år, med utgångspunkt i deras redan starka databas, lanserade de en innovativ digital mediagenerativ AI-produkt. Samma databas byggd på Kinesis Data Streams används för att kontinuerligt analysera hur användare interagerar med det genererade innehållet och hjälper produktteamet att finjustera applikationen.

"Strömmande datatekniker i realtid är avgörande för digital transformation. Dessa tjänster hjälper kunder att föra data till sina applikationer och modeller, vilket gör dem smartare. Realtidsdata ger företag en fördel i datadrivna beslut, förutsägelser och insikter genom att använda data i det ögonblick de genereras, vilket ger en oöverträffad fördel i en värld där timing är nyckeln till framgång. Ta in data en gång, använd den i hela organisationen och agera innan värdet på den datan minskar. "

– Mindy Ferguson, VP för AWS Streaming and Messaging.

När vi firar tioårsjubileet för Kinesis Data Streams har kunderna delat med sig av fyra viktiga anledningar till att de fortsätter att värdesätta denna revolutionerande tjänst. De älskar hur de enkelt kan strömma data utan underliggande servrar att tillhandahålla eller hantera, operera i stor skala med konsekvent prestanda, uppnå hög motståndskraft och hållbarhet och dra nytta av bred integrering med otaliga källor och sänkor för att mata in respektive bearbeta data.

Användarvänlighet

Att komma igång med Kinesis Data Streams är enkelt: utvecklare kan skapa en dataström med några få klick på Kinesis Data Streams-konsolen eller med ett enda API-anrop. Att ändra storlek eller konfiguration är också ett enda API-anrop, och varje dataström kommer med en standard 24-timmars lagringsperiod för data. Utvecklare behöver inte oroa sig för kluster, versionsuppgraderingar eller planering av lagringskapacitet. De sätter bara på en dataström och börjar mata in data.

Våra kunders behov har utvecklats under de senaste 10 åren. Allt eftersom fler händelser fångas och streamas vill kunderna att deras dataströmmar ska skalas elastiskt utan några driftskostnader. Som svar lanserade vi On-Demand streamar 2021 för att ge en enkel och automatisk skalningsupplevelse. Med On-Demand-strömmar låter du tjänsten hantera att skala upp en streams kapacitet proaktivt, och du debiteras bara för den faktiska data som tas in, hämtas och lagras. När våra kunder fortsatte att begära fler funktioner ökade vi gränsen för intagsgenomströmning för varje On-Demand-ström från 200 MB/s till 1GB / s i mars 2023, och sedan till 2GB / s i oktober 2023, för att klara arbetsbelastningar med högre genomströmning. För att fortsätta förnya för att vara den enklaste streamingdatatjänsten att använda lyssnar vi aktivt på våra kundanvändningsfall.

canva är en plattform för onlinedesign och visuell kommunikation. Eftersom den snabbt har vuxit från 30 miljoner till 135 miljoner månatliga användare, har den byggt en strömningsdataplattform i stor skala som är enkel att använda för att driva produktinnovationer och anpassa användarupplevelsen.

“Amazon Kinesis Data Streams och AWS Lambda används i hela Canvas loggningsplattform och tar in och bearbetar över 60 miljarder logghändelser per dag. Kombinationen av Kinesis Data Streams och Lambda har tagit fram massor av arbete som ofta krävs för att hantera en massiv datapipeline, som att distribuera och hantera en flotta av servrar, samtidigt som den tillhandahåller en mycket skalbar och pålitlig tjänst. Det har gjort det möjligt för oss att fokusera på att leverera en produkt i världsklass genom att bygga mycket efterfrågade funktioner snarare än att lägga tid på operativt arbete.”

– Phoebe Zhou, mjukvaruingenjör på Canva.

Arbeta i massiv skala med konsekvent prestanda

Ett grundläggande krav för en strömmande datastrategi är att ta in och bearbeta stora mängder data med låg latens. Kinesis Data Streams bearbetar biljoner poster per dag över tiotusentals kunder. Kunder kör mer än 3.5 miljoner unika strömmar och bearbetar över 45 PB data per dag. Våra största kunder får i sig mer än 15 GB per sekund realtidsdata med individuella strömmar. Det motsvarar att streama flera datapunkter för varje person på jorden, varje sekund! Även i denna skala hämtar alla våra kunder fortfarande data inom millisekunders tillgänglighet.

Kunder vill också bearbeta samma data med flera applikationer, där var och en har olika värden, utan att behöva oroa sig för att en applikation påverkar läskapaciteten för en annan. Förbättrad Fan-out erbjuder dedikerad läsgenomströmning och låg latens för varje datakonsument. Detta har gjort det möjligt för företagsplattformsteam att tillhandahålla realtidsdata till fler team och applikationer.

VMware kolsvart använder Kinesis Data Streams för att få in petabyte data varje dag för att säkra miljontals kundslutpunkter. Teamet fokuserar på sin expertis medan AWS hanterar dataströmning för att möta växande kundtrafik och behov i realtid.

"När en enskild kunds data ökar eller minskar kan vi använda elasticiteten hos Amazon Kinesis Data Streams för att skala upp eller ner för att bearbeta data på ett tillförlitligt sätt samtidigt som vi effektivt hanterar våra kostnader. Det är därför Kinesis Data Streams passar bra. Den största fördelen är den hanterade karaktären hos vår lösning på AWS. Detta har format vår arkitektur och hjälpt oss att flytta komplexiteten någon annanstans.”

– Stoyan Dimkov, stabsingenjör och mjukvaruarkitekt på VMware Carbon Black.

Läs mer om det fallstudie.

Ge motståndskraft och hållbarhet för dataströmning

Med växande data vill kunderna ha mer flexibilitet vid bearbetning och omarbetning av data. Till exempel, om en applikation som förbrukar data går offline under en period, vill team se till att de återupptar behandlingen vid ett senare tillfälle utan att förlora data. Kinesis Data Streams tillhandahåller en standardlagringsperiod på 24 timmar, vilket gör att du kan välja en specifik tidsstämpel för att börja bearbeta poster. Med utökad retention funktionen kan du konfigurera datalagringsperioden till upp till 7 dagar.

Vissa branscher som finansiella tjänster och hälsovård har strängare efterlevnadskrav, så kunderna bad om ännu längre datalagringsperioder för att stödja dessa krav. Därför följde vi upp med långtidslagring som stöder datalagring i upp till 1 år. Nu använder tusentals Kinesis Data Streams-kunder dessa funktioner för att göra sina streamingapplikationer mer motståndskraftiga och hållbara.

Mercado Libre, en ledande e-handels- och betalningsplattform i Latinamerika, förlitar sig på Kinesis Data Streams för att driva sin strömmande datastrategi kring betalningshantering, kundupplevelse och drift.

"Med Amazon Kinesis Data Streams i kärnan behandlar vi cirka 70 miljarder dagliga meddelanden fördelade på tusentals dataproducenter. Genom att utnyttja Kinesis Data Streams och Amazon DynamoDB Streams har vi anammat en händelsedriven arkitektur och kan snabbt reagera på dataförändringar.”

– Joaquin Fernandez, Senior Software Expert på Mercado Libre.

Få tillgång till din data oavsett var den bor

Våra kunder använder en mängd olika verktyg och applikationer, och en organisations data finns ofta på många ställen. Därför är förmågan att enkelt integrera data i en organisation avgörande för att få snabba insikter. Utvecklare använder Kinesis Producer Library, Kinesis Client Library och AWS SDK för att snabbt bygga anpassade dataproducent- och datakonsumentapplikationer. Kunder har utökat sina dataproducenter från mikrotjänster till smarta TV-apparater och till och med bilar. Vi har över 40 integrationer med AWS-tjänster och tredjepartsapplikationer som Adobe Experience Platform och Databricks. Som beskrivs i vår vitt papper på att bygga en modern dataströmningsarkitektur på AWS, fungerar Kinesis Data Streams som ryggraden till serverlösa och realtidsanvändningsfall som personalisering, realtidsinsikter, Internet of Things (IoT) och händelsedriven arkitektur. Vår senaste integration med Amazon RedShift gör att du kan mata in hundratals megabyte data från Kinesis Data Streams till datalager på några sekunder. För att lära dig mer om hur du använder denna integration för att upptäcka bedrägerier i nästan realtid, se Bedrägeriupptäckt nästan i realtid med Amazon Redshift Streaming Ingestion med Amazon Kinesis Data Streams och Amazon Redshift ML.

En annan integration som lanserades 2023 är med Amazon Monitron för att driva prediktiv underhållshantering. Du kan nu strömma mätdata och motsvarande slutledningsresultat till Kinesis Data Streams, koordinera prediktivt underhåll och bygga en IoT-datasjö. För mer information, se Generera praktiska insikter för prediktiv underhållshantering med Amazon Monitron och Amazon Kinesis.

Låt oss sedan gå tillbaka till NHL-användningsfallet där de kombinerar IoT, dataströmning och maskininlärning.

NHL Edge IQ som drivs av AWS hjälper till att föra fansen närmare händelserna med avancerad analys och ny ML-statistik som Face-off Probability och Opportunity Analysis.

"Vi använder Amazon Kinesis Data Streams för att bearbeta NHL EDGE-data om puck- och spelarpositioner, ansiktsläge och den aktuella spelsituationen för att frikoppla dataproducenter från konsumerande applikationer. Amazon Managed Service för Apache Flink används för att köra Flink-applikationer och förbrukar data från Kinesis Data Streams för att anropa prediktionsmodellen i Amazon SageMaker för att leverera sannolikhetsmåttet Face-off Probability i realtid. Sannolikhetsresultaten lagras även i Amazon S3 för att kontinuerligt omskola modellen i SageMaker. Framgången med detta projekt fick oss att bygga nästa mätvärde, Möjlighetsanalys, som ger över 25 insikter om kvaliteten på poängmöjligheten som varje skott på mål ger. Kinesis Data Streams och Amazon Managed Service för Apache Flink-applikationer var avgörande för att göra liveförutsägelser i spelet, vilket gjorde det möjligt för systemet att utföra beräkningar av möjlighetsanalyser för upp till 16 live NHL-matcher samtidigt."

– Eric Schneider, SVP, Software Engineering på National Hockey League.

Läs mer om det fallstudie.

Framtiden för data är realtid

Kombinationen av dataströmning i realtid och generativ AI lovar att bli hörnstenen i vår digitalt uppkopplade värld. Generativ AI, bemyndigad av ett konstant inflöde av realtidsinformation från IoT-enheter, sensorer, sociala medier och vidare, blir allestädes närvarande. Från autonoma fordon som navigerar dynamiskt föränderliga trafikförhållanden till smarta städer som optimerar energiförbrukningen baserat på efterfrågan i realtid, kombinationen av AI och realtidsdata kommer att underbygga effektivitet och innovation inom olika branscher. Dessa AI-drivna applikationer, som är allestädes närvarande, adaptiva och djupt integrerade i våra liv, kommer att förbättra bekvämligheten och ta itu med kritiska utmaningar som klimatförändringar, hälsovård och katastrofhantering genom att använda den mängd realtidsinsikter de har till sitt förfogande. Med Kinesis Data Streams kan organisationer bygga en solid datagrund som positionerar dig för att snabbt ta till dig ny teknik och låsa upp nya möjligheter tidigare – vilket vi förväntar oss kommer att bli enormt.

LÄR DIG MER om vad våra kunder gör med dataströmning. Om du vill ha en snabb utforskning av Kinesis Data Streams-koncept och användningsfall, kolla in vår Amazon Kinesis Data Streams 101 spellista. För att komma igång med att bygga dina dataströmmar, besök Amazon Kinesis Data Streams Developer Guide.

Om författaren

Roy (KDS) Wang är en Senior Product Manager med Amazon Kinesis Data Streams. Han brinner för att lära av och samarbeta med kunder för att hjälpa organisationer att köra snabbare och smartare. Utanför jobbet strävar Roy efter att vara en bra pappa för sin nya son och bygger modellsatser i plast.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://aws.amazon.com/blogs/big-data/amazon-kinesis-data-streams-celebrating-a-decade-of-real-time-data-innovation/