Naarmate klanten meer datagedreven worden en data gebruiken als een bron van concurrentievoordeel, willen ze eenvoudig analyses op hun data kunnen uitvoeren om de belangrijkste bedrijfsdrijfveren beter te begrijpen, zodat de omzet kan groeien, de kosten kunnen worden verlaagd en hun bedrijf kan worden geoptimaliseerd. Om analyses op hun operationele gegevens uit te voeren, bouwen klanten vaak oplossingen die een combinatie zijn van een database, een datawarehouse en een extractie-, transformatie- en laadpijplijn (ETL). ETL is het proces dat data-ingenieurs gebruiken om gegevens uit verschillende bronnen te combineren.
Door feedback van klanten hebben we geleerd dat er veel ongedifferentieerde tijd en middelen gaan naar het bouwen en beheren van ETL-pijplijnen tussen transactionele databases en datawarehouses. Bij Amazon Web Services (AWS), ons doel is om het voor onze klanten gemakkelijker te maken om verbinding te maken met al hun gegevens en deze te gebruiken, en om dit te doen met de snelheid en flexibiliteit die ze nodig hebben. Wij denken dat we, door de ongedifferentieerde delen te automatiseren, onze klanten kunnen helpen het tempo van hun datagestuurde innovatie te verhogen door datasilo's af te breken en de data-integratie te vereenvoudigen.
Breng operationele gegevens dichter bij analyseworkflows
Klanten willen flexibele data-architecturen waarmee ze data in hun hele organisatie kunnen integreren, zodat ze een beter beeld krijgen van hun klanten, hun activiteiten kunnen stroomlijnen en teams kunnen helpen betere, snellere beslissingen te nemen. Maar het integreren van data is niet eenvoudig. Tegenwoordig is het bouwen van deze pijplijnen en het samenstellen van de architectuur om alle gegevensbronnen met elkaar te verbinden en de analyseresultaten te optimaliseren complex, vereist zeer bekwame middelen en levert gegevens op die foutief of vaak inconsistent kunnen zijn.
Amazon roodverschuiving maakt elke dag datagestuurde beslissingen mogelijk voor tienduizenden klanten met een volledig beheerd, op kunstmatige intelligentie (AI) gebaseerd datawarehouse in de cloud dat de beste prijs-kwaliteitverhouding levert voor uw analyseworkloads.
Zero-ETL is een reeks integraties die de noodzaak elimineert om ETL-datapijplijnen te bouwen. Zero-ETL-integraties met Amazon Redshift stel klanten in staat toegang te krijgen tot hun gegevens op locatie met behulp van federatieve zoekopdrachten of deze in Amazon Redshift op te nemen met een volledig beheerde oplossing vanuit hun hele databases. Met nieuwere functies, zoals ondersteuning voor autocopy die de opname van bestanden vereenvoudigt en automatiseert Eenvoudige opslagservice van Amazon (Amazon S3), Redshift Streaming Ingestion-mogelijkheden om continu elke hoeveelheid streaming data rechtstreeks in het magazijn op te nemen, en multi-cluster architecturen voor het delen van data die databewegingen minimaliseren en zelfs toegang bieden tot data van derden, maakt Amazon Redshift data-integratie en snelle toegang tot data mogelijk zonder het handmatig aanleggen van pijpleidingen.
Nu alle data geïntegreerd en beschikbaar zijn, stelt Amazon Redshift elke datagebruiker in staat analyses uit te voeren en AI, machine learning (ML) en generatieve AI-applicaties te bouwen. Ontwikkelaars kunnen Apache Spark-applicaties rechtstreeks op de gegevens in hun magazijn uitvoeren vanuit AWS-analyseservices, zoals Amazon EMR en AWS lijm. Ze kunnen hun datasets verrijken door operationele gegevens die via zero-ETL-integraties zijn gerepliceerd, samen te voegen met andere bronnen, zoals verkoop- en marketinggegevens uit SaaS-applicaties, en kunnen zelfs Amazon QuickSight dashboards bovenop deze gegevens om belangrijke statistieken over verkoop, websiteanalyses, activiteiten en meer bij te houden, allemaal op één plek.
Klanten kunnen ook Amazon Redshift-gegevens delen gebruiken om deze gegevens veilig te delen met meerdere consumentenclusters die door verschillende teams worden gebruikt – zowel binnen als tussen AWS-accounts – waardoor een uniform beeld van het bedrijf ontstaat en self-service toegang tot applicatiegegevens binnen teamclusters wordt vergemakkelijkt, terwijl de governance behouden blijft. over gevoelige operationele gegevens.
Bovendien kunnen klanten machine learning-modellen rechtstreeks op hun operationele gegevens bouwen in Amazon Redshift ML (native integratie in Amazon Sage Maker) zonder dat u datapijplijnen hoeft te bouwen en deze te gebruiken om miljarden voorspellingen uit te voeren met SQL-opdrachten. Of ze kunnen complexe transformaties en aggregaties bouwen op de geïntegreerde gegevens met behulp van gematerialiseerde weergaven van Amazon Redshift.
We zijn verheugd om vier AWS-database zero-ETL-integraties te delen met Amazon Redshift:
Door verschillende databaseservices dichter bij analytics te brengen, stroomlijnt AWS de toegang tot data en stelt het bedrijven in staat innovatie te versnellen, concurrentievoordeel te creëren en de bedrijfswaarde die uit hun data-assets wordt gehaald te maximaliseren.
Amazon Aurora zero-ETL-integratie met Amazon Redshift
De Amazon Aurora zero-ETL-integratie met Amazon Redshift verenigt transactiegegevens van Amazon Aurora met bijna realtime analyses in Amazon Redshift. Dit elimineert de last van het bouwen en onderhouden van aangepaste ETL-pijplijnen tussen de twee systemen. In tegenstelling tot traditionele silo-databases die een afweging maken tussen prestaties en analyses, repliceert de zero-ETL-integratie gegevens van meerdere Aurora-clusters naar hetzelfde Amazon Redshift-magazijn. Dit maakt holistische inzichten in applicaties mogelijk zonder dat dit gevolgen heeft voor de productieworkloads. Het hele systeem kan serverloos zijn en kan automatisch worden geschaald om schommelingen in het datavolume op te vangen zonder infrastructuurbeheer.
Amazon Aurora MySQL zero-ETL-integratie met Amazon Redshift verwerkt meer dan 1 miljoen transacties per minuut (het equivalent van 17.5 miljoen rij-bewerkingen invoegen/bijwerken/verwijderen per minuut) vanuit meerdere Aurora-databases en maakt ze in minder dan 15 seconden beschikbaar in Amazon Redshift ( p50 latentievertraging). Figuur 1 laat zien hoe de Aurora MySQL zero-ETL-integratie met Amazon Redshift op een hoog niveau werkt.
Figuur 1: Werking op hoog niveau van Aurora MySQL zero-ETL-integratie met Amazon Redshift
Bekijk in hun eigen woorden hoe een van onze klanten Aurora MySQL zero-ETL-integratie met Amazon Redshift gebruikt.
In de detailhandel wilde Infosys bijvoorbeeld sneller inzicht krijgen in hun activiteiten, zoals de best verkochte producten en winkels met een hoge omzet, op basis van transacties in een winkelbeheersysteem. Om dit te bereiken gebruikten ze Amazon Aurora MySQL zero-ETL-integratie met Amazon Redshift. Met deze integratie repliceerde Infosys Aurora-gegevens naar Amazon Redshift en creëerde Amazon QuickSight-dashboards voor productmanagers en kanaalleiders in slechts een paar seconden, in plaats van enkele uren. Als onderdeel van de Infosys Cobalt- en Infosys Topaz-blauwdrukken kunnen bedrijven nu beschikken over vrijwel realtime analyses van transactiegegevens, waardoor ze weloverwogen beslissingen kunnen nemen met betrekking tot winkelbeheer.
– Sunil Senan, SVP en Global Head of Data, Analytics en AI, Infosys
Zie voor meer informatie Aurora-documenten, Amazon Redshift-documentenEn AWS Nieuws Blog.
Amazon RDS voor MySQL zero-ETL-integratie met Amazon Redshift
De nieuwe Amazon RDS voor MySQL-integratie met Amazon Redshift stelt klanten in staat eenvoudig analyses uit te voeren op hun RDS voor MySQL gegevens. Met een paar klikken repliceert het naadloos RDS voor MySQL-gegevens naar Amazon Redshift, waarbij automatisch de initiële gegevensladingen, voortdurende wijzigingssynchronisatie en schemareplicatie worden afgehandeld. Dit elimineert de complexiteit van traditionele ETL-taken. De nul-ETL-integratie maakt isolatie van de werklast mogelijk voor optimale prestaties; RDS voor MySQL richt zich op snelle transacties, terwijl Amazon Redshift de analytische werklast afhandelt. Klanten kunnen ook gegevens uit meerdere bronnen consolideren in Amazon Redshift, zoals Aurora MySQL-compatibele editie en Aurora PostgreSQL-compatibele editie. Deze uniforme weergave biedt holistische inzichten in alle applicaties op één plek, wat aanzienlijke kosten- en operationele efficiëntie oplevert.
Figuur 2 laat zien hoe een klant de AWS Management Console voor Amazon RDS kan gebruiken om aan de slag te gaan met het creëren van een zero-ETL-integratie van RDS voor MySQL, Aurora MySQL-compatibele editie en Aurora PostgreSQL-compatibele editie met Amazon Redshift.
Figuur 2: Een nul-ETL-integratie creëren met Amazon RDS.
Deze integratie is momenteel in openbare preview. Ga naar de aan de slag-gids om meer te leren.
Amazon DynamoDB zero-ETL-integratie met Amazon Redshift
De Amazon DynamoDB zero-ETL-integratie met Amazon Redshift (beperkte preview) biedt een volledig beheerde oplossing voor het beschikbaar maken van gegevens uit DynamoDB voor analyse in Amazon Redshift. Met minimale configuratie kunnen klanten DynamoDB-gegevens repliceren naar Amazon Redshift voor analyse zonder de DynamoDB leescapaciteitseenheden (RCU). Deze nul-ETL-integratie ontgrendelt krachtige Amazon Redshift-mogelijkheden op DynamoDB-gegevens, zoals snelle SQL-query's, machine learning-integraties, gematerialiseerde weergaven voor snelle aggregaties en veilig delen van gegevens.
Deze integratie wordt momenteel in beperkte preview gebruikt deze link om toegang te vragen.
Geïntegreerde diensten brengen ons dichter bij zero-ETL
Het is onze missie om klanten te helpen de meeste waarde uit hun data te halen. Geïntegreerde services zijn daarbij essentieel. Daarom bouwen we vandaag aan een nul-ETL-toekomst. Door complexe ETL-processen te automatiseren, kunnen data-ingenieurs hun focus verleggen naar het creëren van waarde uit de data. Met deze moderne benadering van databeheer kunnen organisaties hun gebruik van data versnellen om hun activiteiten te stroomlijnen en de bedrijfsgroei te stimuleren.
Over de auteur
Jyoti Aggarwal is Product Management Lead voor Amazon Redshift zero-ETL. Ze brengt een expertise mee op het gebied van cloudcompute en -opslag, datawarehouse en B2B/B2C-klantervaring.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://aws.amazon.com/blogs/big-data/announcing-zero-etl-integrations-with-aws-databases-and-amazon-redshift/
