Daten sind ein wichtiger strategischer Vermögenswert für jede Organisation, und jedes Unternehmen ist im Kern ein Datengeschäft. In vielen Organisationen sind Daten jedoch typischerweise über eine Reihe unterschiedlicher Systeme verteilt, wie z. B. Software-as-a-Service-Anwendungen (SaaS), Betriebsdatenbanken und Data Warehouses. Solche Datensilos machen es schwierig, einheitliche Ansichten der Daten in einer Organisation zu erhalten und in Echtzeit zu handeln, um den größtmöglichen Nutzen zu erzielen.

Vor zehn Jahren haben wir gestartet Amazon Kinesis-Datenströme, der erste cloudnative, serverlose Streaming-Datendienst, der als Rückgrat für Unternehmen dient, um Daten über Systemgrenzen hinweg zu verschieben und Datensilos aufzubrechen. Mit Daten-Streaming können Sie laufende Data Lakes mit Strom versorgen Amazon Simple Storage-Service (Amazon S3), bereichern Sie das Kundenerlebnis durch Personalisierung, verbessern Sie die betriebliche Effizienz durch vorausschauende Wartung der Maschinen in Ihren Fabriken und gewinnen Sie bessere Erkenntnisse mit genaueren Modellen für maschinelles Lernen (ML). Amazon Kinesis Data Streams ist eine grundlegende Säule der Datenstrategie für Zehntausende Kunden. Wenn Rohdatenströme zusammenkommen, eröffnen sie Möglichkeiten zur kontinuierlichen Transformation, Anreicherung und Abfrage von Daten in Echtzeit durch nahtlose Integration mit Stream-Verarbeitungs-Engines wie z Amazon Managed Service für Apache Flink.

Als Beispiel dient die National Hockey League (NHL) hat das Fan-Erlebnis durch Live-Streaming von NHL EDGE-Spieldaten und -Statistiken neu definiert, um Eishockey-Fans wertvolle Einblicke zu bieten und die Fans in Atem zu halten. Die NHL EDGE-Technologie im Puck und in den Pullovern (Trikots) der Spieler generiert jede Sekunde Tausende von Datenpunkten für die NHL, die von AWS analysiert werden können, um wahrscheinliche Ergebnisse für wichtige Ereignisse wie Bullys vorherzusagen. Um Tausende von Signalen zu verarbeiten und zu analysieren, baute die NHL mit Kinesis Data Streams und Amazon Managed Service für Apache Flink eine Echtzeit-Streaming-Datengrundlage auf, um Daten zu streamen, aufzubereiten und in ML-Modelle einzuspeisen und so in Sekundenschnelle Vorhersagen für Begegnungen zu treffen Erweiterung neuer Möglichkeiten zur Einbindung der Zuschauer.

Aufbauend auf solchen Streaming-Datengrundlagen denken viele Kunden derzeit darüber nach, wie sie mit generativer KI transformative neue Produkte und Dienstleistungen bereitstellen können. Durch Streaming können Unternehmen die in Datenspeichern verfügbaren Daten sicher und in Echtzeit mit großen Sprachmodellen (LLMs) verbinden. Obwohl LLMs in der Lage sind, mit Milliarden von Parametern zu arbeiten, benötigen LLMs Personalisierungsdaten für die Benutzer des Unternehmens und proprietäre Wissensspeicher in den Datenspeichern des Unternehmens, um ein ansprechendes Erlebnis zu bieten, das auf die Kunden eines Unternehmens zugeschnitten ist. Eine Datenstrategie, die Streaming einbezieht, ist erforderlich, um Personalisierung und proprietäre Daten bereitzustellen, die in Echtzeit für Abfragen verfügbar sind.

Kunden mit Echtzeit-Streaming-Datenstrategie sind führend bei der Bereitstellung innovativer Produkte mit generativer KI. Ein Kunde hat Kinesis Data Streams für seine Datenstrategie übernommen und streamt Milliarden von Ereignissen aus seinen digitalen Produkten, um Erkenntnisse in Echtzeit zu gewinnen. Mit einer Kombination aus Datenstreaming und Analyse mit geringer Latenz sind sie in der Lage, die Benutzererfahrung über ein nahtlos integriertes, eigenständiges System für Experimente und automatisiertes Feedback zu verstehen und zu personalisieren. Anfang des Jahres brachten sie, aufbauend auf ihrer bereits starken Datenbasis, ein innovatives generatives KI-Produkt für digitale Medien auf den Markt. Dieselbe Datengrundlage, die auf Kinesis Data Streams basiert, wird verwendet, um kontinuierlich zu analysieren, wie Benutzer mit den generierten Inhalten interagieren, und hilft dem Produktteam bei der Feinabstimmung der Anwendung.

"Echtzeit-Streaming-Datentechnologien sind für die digitale Transformation unerlässlich. Diese Dienste helfen Kunden dabei, Daten in ihre Anwendungen und Modelle zu integrieren und sie so intelligenter zu machen. Echtzeitdaten verschaffen Unternehmen einen Vorteil bei datengesteuerten Entscheidungen, Vorhersagen und Erkenntnissen, indem sie die Daten genau in dem Moment nutzen, in dem sie generiert werden, was einen beispiellosen Vorteil in einer Welt verschafft, in der Timing der Schlüssel zum Erfolg ist. Bringen Sie die Daten einmal ein, verwenden Sie sie im gesamten Unternehmen und handeln Sie, bevor der Wert dieser Daten sinkt"

– Mindy Ferguson, Vizepräsidentin für AWS Streaming und Messaging.

Während wir das zehnjährige Jubiläum von Kinesis Data Streams feiern, haben Kunden vier Hauptgründe genannt, warum sie diesen revolutionären Service weiterhin schätzen. Sie lieben es, wie sie Daten einfach streamen können, ohne dass zugrunde liegende Server bereitgestellt oder verwaltet werden müssen, wie sie in großem Maßstab mit konsistenter Leistung arbeiten, eine hohe Ausfallsicherheit und Haltbarkeit erreichen und von einer umfassenden Integration mit unzähligen Quellen und Senken zur Datenaufnahme bzw. -verarbeitung profitieren.

Benutzerfreundlichkeit

Der Einstieg in Kinesis Data Streams ist unkompliziert: Entwickler können mit wenigen Klicks auf der Kinesis Data Streams-Konsole oder mit einem einzigen API-Aufruf einen Datenstream erstellen. Das Ändern der Größe oder Konfiguration ist ebenfalls ein einziger API-Aufruf, und für jeden Datenstrom gilt standardmäßig eine Datenaufbewahrungsfrist von 24 Stunden. Entwickler müssen sich keine Gedanken über Cluster, Versions-Upgrades oder Speicherkapazitätsplanung machen. Sie schalten einfach einen Datenstrom ein und beginnen mit der Datenaufnahme.

Die Bedürfnisse unserer Kunden haben sich in den letzten 10 Jahren weiterentwickelt. Da immer mehr Ereignisse erfasst und gestreamt werden, wünschen sich Kunden eine elastische Skalierung ihrer Datenströme ohne betrieblichen Mehraufwand. Als Reaktion darauf starteten wir On-Demand Streams im Jahr 2021, um ein einfaches und automatisches Skalierungserlebnis zu bieten. Bei On-Demand-Streams überlassen Sie dem Dienst die proaktive Skalierung der Kapazität eines Streams und es werden Ihnen nur die tatsächlich erfassten, abgerufenen und gespeicherten Daten in Rechnung gestellt. Da unsere Kunden weiterhin nach mehr Funktionen fragten, haben wir die Grenze des Aufnahmedurchsatzes jedes On-Demand-Streams von 200 MB/s auf erhöht 1GB / s im März 2023, und dann bis 2GB / s im Oktober 2023, um Arbeitslasten mit höherem Durchsatz gerecht zu werden. Um weiterhin Innovationen zu entwickeln und der benutzerfreundlichste Streaming-Datendienst zu sein, hören wir uns die Anwendungsfälle unserer Kunden aktiv an.

canva ist eine Online-Plattform für Design und visuelle Kommunikation. Während das Unternehmen schnell von 30 Millionen auf 135 Millionen monatliche Nutzer wuchs, hat es eine skalierbare Streaming-Datenplattform aufgebaut, die mühelos zu bedienen ist, um Produktinnovationen voranzutreiben und das Benutzererlebnis zu personalisieren.

„Amazon Kinesis Data Streams und AWS Lambda werden in der gesamten Protokollierungsplattform von Canva verwendet und erfassen und verarbeiten über 60 Milliarden Protokollereignisse pro Tag. Die Kombination von Kinesis Data Streams und Lambda hat eine Menge Arbeit abstrahiert, die oft bei der Verwaltung einer riesigen Datenpipeline erforderlich ist, wie z. B. die Bereitstellung und Verwaltung einer Serverflotte, und gleichzeitig einen hoch skalierbaren und zuverlässigen Service bereitgestellt. Dadurch konnten wir uns auf die Bereitstellung eines erstklassigen Produkts konzentrieren, indem wir häufig nachgefragte Funktionen entwickeln, anstatt Zeit mit betrieblicher Arbeit zu verbringen.“

– Phoebe Zhou, Software-Ingenieurin bei Canva.

Arbeiten Sie im großen Maßstab mit konstanter Leistung

Eine grundlegende Anforderung einer Streaming-Datenstrategie ist die Aufnahme und Verarbeitung großer Datenmengen mit geringer Latenz. Kinesis Data Streams verarbeitet täglich Billionen Datensätze von Zehntausenden Kunden. Kunden betreiben mehr als 3.5 Millionen einzigartige Streams und verarbeiten über 45 PB Daten pro Tag. Unsere größten Kunden nehmen mit einzelnen Streams mehr als 15 GB Echtzeitdaten pro Sekunde auf. Das entspricht dem Streamen mehrerer Datenpunkte für jeden Menschen auf der Erde, jede Sekunde! Selbst bei dieser Größenordnung rufen alle unsere Kunden Daten innerhalb von Millisekunden nach Verfügbarkeit ab.

Kunden möchten außerdem dieselben Daten mit mehreren Anwendungen verarbeiten, von denen jede einen anderen Wert ableitet, ohne befürchten zu müssen, dass eine Anwendung den Lesedurchsatz einer anderen beeinträchtigt. Verbessertes Fan-out bietet dedizierten Lesedurchsatz und geringe Latenz für jeden Datenkonsumenten. Dies hat es den Teams von Unternehmensplattformen ermöglicht, Echtzeitdaten für mehr Teams und Anwendungen bereitzustellen.

VMware Carbon Black nutzt Kinesis Data Streams, um täglich Petabytes an Daten aufzunehmen und so Millionen von Kundenendpunkten zu sichern. Das Team konzentriert sich auf sein Fachwissen, während AWS das Datenstreaming verwaltet, um dem wachsenden Kundenverkehr und den wachsenden Anforderungen in Echtzeit gerecht zu werden.

„Wenn die Datenmenge eines einzelnen Kunden zunimmt oder abnimmt, können wir die Elastizität von Amazon Kinesis Data Streams nutzen, um die Rechenleistung nach oben oder unten zu skalieren, um Daten zuverlässig zu verarbeiten und gleichzeitig unsere Kosten effektiv zu verwalten. Aus diesem Grund ist Kinesis Data Streams eine gute Lösung. Der größte Vorteil ist die verwaltete Natur unserer Lösung auf AWS. Dies hat unsere Architektur geprägt und uns geholfen, die Komplexität anderswo zu verlagern.“

– Stoyan Dimkov, Personalingenieur und Softwarearchitekt bei VMware Carbon Black.

Erfahren Sie hier mehr über Fallstudie.

Bieten Sie Ausfallsicherheit und Haltbarkeit für das Datenstreaming

Angesichts der wachsenden Datenmenge wünschen sich Kunden mehr Flexibilität bei der Verarbeitung und Wiederverarbeitung von Daten. Wenn beispielsweise eine Anwendung, die Daten verbraucht, für einen bestimmten Zeitraum offline geht, möchten Teams sicherstellen, dass sie die Verarbeitung zu einem späteren Zeitpunkt ohne Datenverlust wieder aufnehmen. Kinesis Data Streams bietet eine standardmäßige Aufbewahrungsfrist von 24 Stunden, sodass Sie einen bestimmten Zeitstempel auswählen können, ab dem mit der Verarbeitung von Datensätzen begonnen werden soll. Mit dem verlängerte Aufbewahrung Mit dieser Funktion können Sie den Datenaufbewahrungszeitraum auf bis zu 7 Tage konfigurieren.

Einige Branchen wie Finanzdienstleistungen und das Gesundheitswesen haben strengere Compliance-Anforderungen, weshalb Kunden zur Erfüllung dieser Anforderungen noch längere Datenaufbewahrungsfristen forderten. Deshalb haben wir nachgelegt Langzeit-Lagerung das die Datenaufbewahrung für bis zu 1 Jahr unterstützt. Mittlerweile nutzen Tausende von Kinesis Data Streams-Kunden diese Funktionen, um ihre Streaming-Anwendungen robuster und langlebiger zu machen.

Mercado Libre, eine führende E-Commerce- und Zahlungsplattform in Lateinamerika, verlässt sich auf Kinesis Data Streams, um seine Streaming-Datenstrategie rund um Zahlungsabwicklung, Kundenerlebnis und Betrieb voranzutreiben.

„Mit Amazon Kinesis Data Streams im Kern verarbeiten wir täglich etwa 70 Milliarden Nachrichten, die über Tausende von Datenproduzenten verteilt werden. Durch die Nutzung von Kinesis Data Streams und Amazon DynamoDB Streams haben wir eine ereignisgesteuerte Architektur eingeführt und sind in der Lage, schnell auf Datenänderungen zu reagieren.“

– Joaquin Fernandez, leitender Softwareexperte bei Mercado Libre.

Greifen Sie auf Ihre Daten zu, egal wo sie sich befinden

Unsere Kunden nutzen eine Vielzahl von Tools und Anwendungen und die Daten eines Unternehmens befinden sich oft an vielen Orten. Daher ist die Fähigkeit, Daten unternehmensweit einfach zu integrieren, von entscheidender Bedeutung, um zeitnahe Erkenntnisse zu gewinnen. Entwickler nutzen die Kinesis Producer Library, die Kinesis Client Library und das AWS SDK, um schnell benutzerdefinierte Datenproduzenten- und Datenkonsumentenanwendungen zu erstellen. Kunden haben ihre Datenproduzenten erweitert, von Microservices über Smart-TVs bis hin zu Autos. Wir haben über 40 Integrationen mit AWS-Services und Drittanbieteranwendungen wie Adobe Experience Platform und Databricks. Wie in unserem ausführlich beschrieben Whitepaper Beim Aufbau einer modernen Daten-Streaming-Architektur auf AWS dient Kinesis Data Streams als Rückgrat für serverlose und Echtzeit-Anwendungsfälle wie Personalisierung, Echtzeit-Einblicke, Internet der Dinge (IoT) und ereignisgesteuerte Architektur. Unsere jüngste Integration mit Amazon RedShift ermöglicht es Ihnen, Hunderte Megabyte an Daten aus Kinesis Data Streams in Sekundenschnelle in Data Warehouses einzuspeisen. Weitere Informationen dazu, wie Sie diese Integration nutzen können, um Betrug nahezu in Echtzeit zu erkennen, finden Sie unter Betrugserkennung nahezu in Echtzeit durch Amazon Redshift Streaming Ingestion mit Amazon Kinesis Data Streams und Amazon Redshift ML.

Eine weitere im Jahr 2023 gestartete Integration ist mit Amazon-Monitor zur Unterstützung des vorausschauenden Wartungsmanagements. Sie können jetzt Messdaten und die entsprechenden Inferenzergebnisse an Kinesis Data Streams streamen, die vorausschauende Wartung koordinieren und einen IoT-Data Lake aufbauen. Weitere Einzelheiten finden Sie unter Generieren Sie umsetzbare Erkenntnisse für das vorausschauende Wartungsmanagement mit Amazon Monitron und Amazon Kinesis.

Kehren wir als Nächstes zum NHL-Anwendungsfall zurück, bei dem IoT, Datenstreaming und maschinelles Lernen kombiniert werden.

Der von AWS unterstützte NHL Edge IQ hilft den Fans mit erweiterten Analysen und neuen ML-Statistiken wie der Anspielwahrscheinlichkeits- und Chancenanalyse, näher an das Geschehen heranzukommen.

„Wir verwenden Amazon Kinesis Data Streams, um NHL EDGE-Daten zu Puck- und Spielerpositionen, Anspielort und der aktuellen Spielsituation zu verarbeiten, um Datenproduzenten von verbrauchenden Anwendungen zu entkoppeln. Amazon Managed Service für Apache Flink wird zum Ausführen von Flink-Anwendungen verwendet und nutzt Daten aus Kinesis Data Streams, um das Vorhersagemodell in Amazon SageMaker aufzurufen und die Face-off-Wahrscheinlichkeitsmetrik in Echtzeit bereitzustellen. Die Wahrscheinlichkeitsergebnisse werden auch in Amazon S3 gespeichert, um das Modell in SageMaker kontinuierlich neu zu trainieren. Der Erfolg dieses Projekts veranlasste uns, die nächste Metrik zu entwickeln: Chancenanalyse, das über 25 Einblicke in die Qualität der Torchancen liefert, die jeder Torschuss bietet. Kinesis Data Streams und Amazon Managed Service für Apache Flink-Anwendungen waren entscheidend für die Erstellung von Live-In-Game-Vorhersagen und ermöglichten es dem System, Chancenanalyseberechnungen für bis zu 16 Live-NHL-Spiele gleichzeitig durchzuführen.“

– Eric Schneider, SVP, Software Engineering bei der National Hockey League.

Erfahren Sie hier mehr über Fallstudie.

Die Zukunft der Daten liegt in Echtzeit

Die Verschmelzung von Echtzeit-Datenstreaming und generativer KI verspricht der Grundstein unserer digital vernetzten Welt zu werden. Generative KI, unterstützt durch einen ständigen Zufluss von Echtzeitinformationen von IoT-Geräten, Sensoren, sozialen Medien und darüber hinaus, wird allgegenwärtig. Von autonomen Fahrzeugen, die durch sich dynamisch ändernde Verkehrsbedingungen navigieren, bis hin zu intelligenten Städten, die den Energieverbrauch auf der Grundlage des Echtzeitbedarfs optimieren – die Kombination von KI und Echtzeitdaten wird die Effizienz und Innovation branchenübergreifend unterstützen. Allgegenwärtig, anpassungsfähig und tief in unser Leben integriert, werden diese KI-gesteuerten Anwendungen den Komfort erhöhen und kritische Herausforderungen wie Klimawandel, Gesundheitsfürsorge und Katastrophenhilfe angehen, indem sie die Fülle an Echtzeit-Erkenntnissen nutzen, die ihnen zur Verfügung stehen. Mit Kinesis Data Streams können Unternehmen eine solide Datengrundlage aufbauen, die Sie in die Lage versetzt, neue Technologien schnell einzuführen und neue Möglichkeiten schneller zu erschließen – was unserer Meinung nach enorm sein wird.

Mehr erfahren darüber, was unsere Kunden mit Datenstreaming machen. Wenn Sie sich schnell mit den Konzepten und Anwendungsfällen von Kinesis Data Streams vertraut machen möchten, schauen Sie sich unsere an Amazon Kinesis Data Streams 101-Wiedergabeliste. Um mit dem Aufbau Ihrer Datenströme zu beginnen, besuchen Sie die Amazon Kinesis Data Streams-Entwicklerhandbuch.

Über den Autor

Roy (KDS) Wang ist Senior Product Manager bei Amazon Kinesis Data Streams. Es ist ihm eine Leidenschaft, von Kunden zu lernen und mit ihnen zusammenzuarbeiten, um Unternehmen dabei zu helfen, schneller und intelligenter zu arbeiten. Außerhalb der Arbeit ist Roy bestrebt, seinem neuen Sohn ein guter Vater zu sein und baut Plastikmodellbausätze.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/big-data/amazon-kinesis-data-streams-celebrating-a-decade-of-real-time-data-innovation/