Die aussagekräftigsten datengesteuerten Erkenntnisse ergeben sich aus der Verknüpfung aller Ihrer Datenquellen – über Abteilungen, Dienste, lokale Tools und Anwendungen von Drittanbietern hinweg. Aber normalerweise erfordert die Verbindung von Daten komplexe ETL-Pipelines (Extrahieren, Transformieren und Laden), die Stunden oder Tage dauern. Das ist zu langsam für die Entscheidungsgeschwindigkeit. ETL muss einfacher und manchmal eliminiert werden.
AWS investiert auf verschiedene Weise in die Bewältigung dieses Problems. Erstens integrieren wir für häufige Anwendungsfälle, in denen ETL mit geringem Mehrwert wiederholt wird, Dienste, um den Bedarf an ETL zu verringern oder ganz zu eliminieren. Zweitens benötigen Unternehmen immer noch Transformationen wie Bereinigung, Deduplizierung und Kombination von Datensätzen für Analysen und maschinelles Lernen (ML). Für diese, AWS-Kleber Bietet eine schnelle, skalierbare Datentransformation. Drittens fügt AWS weiterhin Unterstützung für weitere Datenquellen hinzu, einschließlich Verbindungen zu Software-as-a-Service-Anwendungen (SaaS), lokalen Anwendungen und anderen Clouds, damit Unternehmen auf ihre Daten reagieren können.
In diesem Beitrag diskutieren wir, wie wir diese Investitionen mit einer Reihe von Datenintegrationsinnovationen umsetzen, die AWS-Datenbanken, Analysen, Business Intelligence (BI) und ML-Dienste umfassen.
Die Zero-ETL-Integration von Amazon Aurora MySQL mit Amazon Redshift ist jetzt allgemein verfügbar
Im Juni 2023 haben wir das angekündigt öffentliche Vorschau of Amazon Aurora MySQL-kompatible Edition Zero-ETL-Integration mit Amazon RedShift. Wir freuen uns, Ihnen mitteilen zu können, dass diese Zero-ETL-Integration jetzt verfügbar ist allgemein erhältlich. Die Zero-ETL-Integration von Amazon Aurora MySQL mit Amazon Redshift verarbeitet über 1 Million Transaktionen pro Minute und ermöglicht so Analysen nahezu in Echtzeit. Innerhalb von Sekunden, nachdem neue Daten in Amazon Aurora MySQL eingegangen sind, werden die Daten auf Amazon Redshift repliziert. Aktualisierungen in Amazon Aurora MySQL werden automatisch und kontinuierlich an Amazon Redshift weitergegeben. Kunden und Partner können durch die Reduzierung herkömmlicher ETL-Engpässe enorme Zeiteinsparungen erzielen. Sie können jetzt Geschäftskennzahlen nahezu in Echtzeit analysieren und datengesteuerte Entscheidungen schneller als je zuvor treffen.
In der Einzelhandelsbranche beispielsweise wollte Infosys auf der Grundlage von Transaktionen in einem Filialverwaltungssystem schneller Einblicke in sein Geschäft gewinnen, beispielsweise zu meistverkauften Produkten und umsatzstarken Geschäften. Um dies zu erreichen, nutzten sie die Zero-ETL-Integration von Amazon Aurora MySQL mit Amazon Redshift. Mit dieser Integration replizierte Infosys Aurora-Daten in Amazon Redshift und erstellte Amazon QuickSight-Dashboards für Produktmanager und Channel-Leiter in nur wenigen Sekunden statt mehreren Stunden. Als Teil der Blaupausen von Infosys Cobalt und Infosys Topaz können Unternehmen jetzt über nahezu Echtzeitanalysen von Transaktionsdaten verfügen, die ihnen dabei helfen können, fundierte Entscheidungen im Zusammenhang mit der Filialverwaltung zu treffen.
– Sunil Senan, SVP und globaler Leiter für Daten, Analysen und KI, Infosys
Amazon SageMaker Canvas-Integration mit Amazon QuickSight
Wir ermöglichen es Geschäftsanalysten, durch die Verknüpfung prädiktive, interaktive Dashboards zu erstellen Amazon SageMaker-Leinwand, unser No-Code-ML-Service, mit Amazon QuickSight, unser BI-Service. Geschäftsanalysten verwenden SageMaker Canvas, um ML-Modelle zu erstellen und Vorhersagen zu generieren, ohne Code schreiben zu müssen. Anschließend können sie diese Vorhersagen nahtlos in QuickSight integrieren, um interaktive Dashboards zu erstellen, die im gesamten Unternehmen geteilt werden können. Dies ermöglicht die Demokratisierung prädiktiver Erkenntnisse für eine bessere Entscheidungsfindung.
Darüber hinaus haben wir eine tiefe, bidirektionale Integration zwischen SageMaker Canvas und QuickSight ermöglicht. Business-Analysten können das Senden Sie ML-Modelle von SageMaker Canvas zu QuickSight und führen Sie Vorhersagen aus QuickSight aus. Analysten können jetzt auch Daten direkt versenden von QuickSight bis SageMaker Canvas Mit nur wenigen Klicks können Sie mithilfe einer einfachen Point-and-Click-Schnittstelle schnell ML-Modelle erstellen, ohne dass komplexe Datenpipelines zwischen den beiden Diensten erstellt oder verwaltet werden müssen. Diese Integration ermöglicht es Benutzern, schneller als je zuvor von Daten zu Vorhersagen und Visualisierungen zu gelangen.
Verbindung zu SaaS-Anwendungen herstellen
AWS-Dienste stellen bereits eine Verbindung zu Hunderten von AWS- und Drittanbieter-Datenquellen her. Dateningenieure können Dienste wie nutzen Amazon App-Flow und AWS-Kleber um Daten aus unterschiedlichen Quellen schnell zugänglich zu machen. Dadurch können Unternehmen einheitliche Erkenntnisse über isolierte Datensätze hinweg gewinnen. Wir haben kürzlich unser bestehendes Portfolio um neue Amazon AppFlow- und AWS Glue-Integrationen erweitert.
Amazon AppFlow unterstützt jetzt die gleichzeitige Verarbeitung für Datenübertragungen aus SAP-Anwendungen
Amazon AppFlow, ein vollständig verwalteter Integrationsdienst, der Sie bei der sicheren Übertragung von Daten zwischen AWS-Diensten und SaaS-Anwendungen unterstützt, unterstützt jetzt gleichzeitige Verarbeitung und konfigurierbare Seitengrößen für schnellere Datenübertragungen von SAP. Dies reduziert die Zeit, die für die Übertragung von SAP-Daten in AWS-Daten und Dienste für künstliche Intelligenz (KI) benötigt wird.
Die Google BigQuery-Konnektivität für AWS Glue für Apache Spark ist jetzt allgemein verfügbar
AWS Glue für Apache Spark wurde hinzugefügt native Konnektivität zu Google BigQueryDies ermöglicht das direkte Lesen und Schreiben von BigQuery-Daten, ohne dass Bibliotheken installiert oder verwaltet werden müssen. Sie können BigQuery jetzt als Quelle oder Ziel in der visuellen Oberfläche von AWS Glue Studio oder direkt in einem AWS Glue ETL-Skript hinzufügen.
Zusammenfassung
Die von uns hervorgehobenen Innovationen bei der Datenintegration zeigen unser Engagement, Unternehmen in die Lage zu versetzen, ihre Daten einfach zu verbinden. Ob es darum geht, Erkenntnisse nahezu in Echtzeit zu gewinnen, prädiktive Analysen zu demokratisieren oder verschiedene Datenquellen zu verbinden, wir konzentrieren uns darauf, Ihnen dabei zu helfen, mehr Wert aus Ihren Daten zu ziehen. Mit den neuen Funktionen von Amazon Aurora MySQL, Amazon Redshift, SageMaker Canvas, QuickSight, Amazon AppFlow und AWS Glue können Dateningenieure und Geschäftsanalysten Datensilos aufbrechen, um Erkenntnisse zu gewinnen.
Besuchen Sie Datenintegration mit AWS um mehr zu erfahren.
Über die Autoren
Rahul Pathak ist VP of Relational Database Engines und leitet Amazon Aurora, Amazon Redshift und Amazon QLDB. Vor seiner jetzigen Position war er VP of Analytics bei AWS, wo er für das gesamte AWS-Datenbankportfolio tätig war. Er ist Mitbegründer zweier Unternehmen, von denen sich eines auf die Analyse digitaler Medien und das andere auf IP-Geolocation konzentriert.
G2 Krishnamoorthy ist VP of Analytics und leitet AWS Data Lake Services, Datenintegration, Amazon OpenSearch Service und Amazon QuickSight. Vor seiner aktuellen Rolle baute und betrieb G2 die Analytics- und ML-Plattform bei Facebook/Meta und baute verschiedene Teile der SQL Server-Datenbank, Azure Analytics und Azure ML bei Microsoft auf.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/big-data/connect-your-data-for-faster-decisions-with-aws/
