De meest impactvolle datagestuurde inzichten komen voort uit het verbinden van de punten tussen al uw databronnen, tussen afdelingen, services, on-premises tools en applicaties van derden. Maar doorgaans vereist het verbinden van gegevens complexe extractie-, transformatie- en laadpijplijnen (ETL), die uren of dagen in beslag nemen. Dat is te langzaam voor de snelheid van besluitvorming. ETL moet eenvoudiger worden en soms geëlimineerd.
AWS investeert op verschillende manieren in de aanpak hiervan. Ten eerste integreren we voor veel voorkomende gebruiksgevallen waarbij ETL wordt herhaald met weinig toegevoegde waarde services om de behoefte aan ETL te verminderen of te elimineren. Ten tweede hebben organisaties nog steeds behoefte aan transformaties zoals opschoning, deduplicatie en het combineren van datasets voor analyse en machine learning (ML). Voor deze, AWS lijm biedt snelle, schaalbare datatransformatie. Ten derde blijft AWS ondersteuning toevoegen voor meer gegevensbronnen, waaronder verbindingen met Software as a Service (SaaS)-applicaties, on-premise applicaties en andere clouds, zodat organisaties op hun data kunnen reageren.
In dit bericht bespreken we hoe we deze investeringen realiseren met een aantal innovaties op het gebied van data-integratie die AWS-databases, analytics, business intelligence (BI) en ML-services omvatten.
Amazon Aurora MySQL zero-ETL-integratie met Amazon Redshift is nu algemeen beschikbaar
In juni 2023 maakten we de openbare preview of Amazon Aurora MySQL-compatibele editie zero-ETL-integratie met Amazon roodverschuiving. We zijn blij om aan te kondigen dat deze zero-ETL-integratie nu beschikbaar is algemeen verkrijgbaar. Amazon Aurora MySQL zero-ETL-integratie met Amazon Redshift verwerkt meer dan 1 miljoen transacties per minuut, waardoor vrijwel realtime analyses mogelijk zijn. Binnen enkele seconden nadat er nieuwe gegevens in Amazon Aurora MySQL binnenkomen, worden de gegevens gerepliceerd naar Amazon Redshift. Updates in Amazon Aurora MySQL worden automatisch en continu doorgegeven aan Amazon Redshift. Klanten en partners kunnen enorme tijdsbesparingen realiseren door traditionele ETL-knelpunten te verminderen. Ze kunnen nu bedrijfsstatistieken bijna in realtime analyseren en sneller dan ooit tevoren datagestuurde beslissingen nemen.
In de detailhandel wilde Infosys bijvoorbeeld sneller inzicht krijgen in hun activiteiten, zoals de best verkochte producten en winkels met een hoge omzet, op basis van transacties in een winkelbeheersysteem. Om dit te bereiken gebruikten ze Amazon Aurora MySQL zero-ETL-integratie met Amazon Redshift. Met deze integratie repliceerde Infosys Aurora-gegevens naar Amazon Redshift en creëerde Amazon QuickSight-dashboards voor productmanagers en kanaalleiders in slechts een paar seconden, in plaats van enkele uren. Als onderdeel van de Infosys Cobalt- en Infosys Topaz-blauwdrukken kunnen bedrijven nu beschikken over vrijwel realtime analyses van transactiegegevens, waardoor ze weloverwogen beslissingen kunnen nemen met betrekking tot winkelbeheer.
– Sunil Senan, SVP en Global Head of Data, Analytics en AI, Infosys
Amazon SageMaker Canvas-integratie met Amazon QuickSight
We stellen bedrijfsanalisten in staat voorspellende, interactieve dashboards te creëren door verbinding te maken Amazon SageMaker-canvas, onze no-code ML-service, met Amazon QuickSight, onze BI-service. Bedrijfsanalisten gebruiken SageMaker Canvas om ML-modellen te bouwen en voorspellingen te genereren zonder code te hoeven schrijven. Ze kunnen deze voorspellingen vervolgens naadloos integreren in QuickSight om interactieve dashboards te creëren die binnen hun organisatie kunnen worden gedeeld. Dit maakt democratisering van voorspellende inzichten voor betere besluitvorming mogelijk.
Bovendien hebben we een diepgaande, bidirectionele integratie tussen SageMaker Canvas en QuickSight mogelijk gemaakt. Bedrijfsanalisten kunnen dat wel ML-modellen verzenden van SageMaker Canvas tot QuickSight en voer voorspellingen uit vanuit QuickSight. Analisten kunnen nu ook direct data versturen van QuickSight tot SageMaker Canvas met slechts een paar klikken kunt u snel ML-modellen bouwen met behulp van een eenvoudige point-and-click-interface, zonder dat u complexe datapijplijnen tussen de twee services hoeft te creëren of te onderhouden. Deze integratie stelt gebruikers in staat sneller dan ooit van data naar voorspellingen en visualisaties te gaan.
Verbinding maken met SaaS-applicaties
AWS-services maken al verbinding met honderden gegevensbronnen van AWS en derden. Data-ingenieurs kunnen gebruik maken van diensten zoals Amazon-app-stroom en AWS lijm om gegevens snel toegankelijk te maken vanuit diverse bronnen. Hierdoor kunnen organisaties uniforme inzichten verkrijgen over geïsoleerde datasets. We hebben onlangs nieuwe Amazon AppFlow- en AWS Glue-integraties toegevoegd aan ons bestaande portfolio.
Amazon AppFlow ondersteunt nu gelijktijdige verwerking voor gegevensoverdrachten vanuit SAP-applicaties
Amazon AppFlow, een volledig beheerde integratieservice waarmee u veilig gegevens kunt overdragen tussen AWS-services en SaaS-applicaties, ondersteunt nu gelijktijdige verwerking en configureerbare paginaformaten voor snellere gegevensoverdracht vanuit SAP. Dit vermindert de tijd die nodig is om SAP-gegevens naar AWS-gegevens en kunstmatige intelligentie (AI)-services te verplaatsen.
Google BigQuery-connectiviteit voor AWS Glue voor Apache Spark is nu algemeen beschikbaar
AWS Glue voor Apache Spark is toegevoegd native connectiviteit met Google BigQuery, waardoor BigQuery-gegevens rechtstreeks kunnen worden gelezen en geschreven zonder dat u bibliotheken hoeft te installeren of te beheren. U kunt BigQuery nu toevoegen als bron of doel in de visuele interface van AWS Glue Studio of rechtstreeks in een AWS Glue ETL-script.
Samengevat
De innovaties op het gebied van data-integratie die we hebben benadrukt, tonen onze toewijding om organisaties in staat te stellen hun data eenvoudig te verbinden. Of het nu gaat om het verkrijgen van bijna realtime inzichten, het democratiseren van voorspellende analyses of het verbinden van diverse gegevensbronnen, wij willen u helpen meer waarde uit uw gegevens te halen. Met de nieuwe mogelijkheden van Amazon Aurora MySQL, Amazon Redshift, SageMaker Canvas, QuickSight, Amazon AppFlow en AWS Glue kunnen data-ingenieurs en bedrijfsanalisten datasilo's afbreken om inzichten te ontdekken.
Bezoek Data-integratie met AWS om meer te leren.
Over de auteurs
Rahul Pathak is VP van Relational Database Engines en geeft leiding aan Amazon Aurora, Amazon Redshift en Amazon QLDB. Voorafgaand aan zijn huidige functie was hij VP Analytics bij AWS, waar hij werkte aan het gehele AWS-databaseportfolio. Hij is medeoprichter van twee bedrijven, het ene gericht op digitale media-analyse en het andere op IP-geolocatie.
G2 Krishnamoorthy is VP Analytics en leidt AWS data lake-services, data-integratie, Amazon OpenSearch Service en Amazon QuickSight. Voorafgaand aan zijn huidige rol heeft G2 het Analytics- en ML-platform bij Facebook/Meta gebouwd en beheerd, en verschillende onderdelen van de SQL Server-database, Azure Analytics en Azure ML bij Microsoft gebouwd.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://aws.amazon.com/blogs/big-data/connect-your-data-for-faster-decisions-with-aws/
