Dieser Artikel wurde als Teil des veröffentlicht Data-Science-Blogathon.
Einleitung
DMS ist ein Service, der die Migration von On-Premise-Datenbanken in die Cloud mit minimaler oder keiner Ausfallzeit vereinfacht. Es kann sogar Änderungen in der ursprünglichen Datenbank überwachen und auf die neue Datenbank anwenden. DMS unterstützt alle Datenbanken wie MySQL, PostgreSQL Oracle, SQL Server, Microsoft SQL Server und Amazon Aurora. Der Vorteil ist, dass die ursprüngliche und die neue Datenbank nicht übereinstimmen müssen. Daher ist es einfach, einen Datenbanktyp in einen anderen umzuwandeln. DMS übernimmt alle Aufgaben des Exports der Daten aus der alten Datenbank und des Imports in die neue Datenbank in kürzerer Zeit. Es unterstützt Datenmigrationsaufgaben wie Datenbankentwicklung, Konsolidierung und Tests. Während der Migration ist die Quelldatenbank voll funktionsfähig, wodurch Ausfallzeiten für Anwendungen, die auf die Datenbank angewiesen sind, minimiert werden. Dieser Artikel enthält einen Überblick über DMS, wie es Daten migriert, seinen Prozess und warum man DMS für die Migration in Betracht ziehen sollte.
Was ist AWS DMS?
AWS Database Migration Service (AWS DMS) hilft bei der schnellen Migration von Datenbanken zu AWS. Es ermöglicht Migrationen mehrerer Datenbanken wie relationale, nicht relationale Datenbanken und andere Arten von kommerziellen und Open-Source-Datenbanken. Es überwacht neben der Netzwerkkonnektivität kontinuierlich die Quell- und Zieldatenbanken. Wenn eine Unterbrechung auftritt, die die Replikationsaufgabe anhält, wird sie automatisch von DMS behoben. Es kann unterschiedliche Datenbanken in einem Multi-Petabyte-Data-Warehouse konsolidieren, indem es Daten zu AWS Redshift und Amazon S3 streamt.
Warum sollten Sie AWS DMS für die Datenmigration in Betracht ziehen?
-
Hoch belastbar:
DMS kann die Backup-Snapshots automatisieren und sehr schnell wiederherstellen. Wenn der primäre Replikationsserver ausfällt, übernimmt der Backup-Replikationsserver; daher gibt es keine Dienstunterbrechung.
- minimalWährend der Migration von Datenbanken über DMS ist die Quelldatenbank voll funktionsfähig, wodurch Ausfallzeiten für Anwendungen, die auf die Datenbank angewiesen sind, minimiert werden. So können Benutzer Datenbanken jederzeit ändern, ohne sie herunterfahren zu müssen.
- Kostengünstig :
DMS bietet einen kostenlosen Migrationsservice zum Verschieben von Datenbanken nach Redshift, Aurora, DynamoDB oder DocumentDB. Benutzer müssen je nach Protokollspeichervolumen für die Migration zu anderen Datenbanken bezahlen.
- Umfassende Datenbankunterstützung:
DMS unterstützt homogene Migrationen wie Oracle zu Oracle und heterogene Migrationen von Oracle zu Aurora-Plattformen mit dem SCT-Tool. Es unterstützt Open-Source- und kommerzielle Datenbanken und hilft bei der bequemen Datenbankmigration.
- Failover-Unterstützung:
DMS werden in einer Multi-AZ-Umgebung bereitgestellt, was zur Failover-Unterstützung und einfachen Verfügbarkeit beiträgt. In einer Multi-AZ-Bereitstellung verwaltet und stellt DMS automatisch ein synchrones Standby-Replikat der Replikationsinstanz in einer anderen Availability Zone bereit.
AWS DMS-Prozess – wie es funktioniert
- Endpunkte verbinden:
Verbinden Sie zunächst DMS mit den Quell- und Zielendpunkten. Die Hauptanforderung für DMS ist, dass die Endpunkte eines Benutzers auf dem AWS-Service gehostet werden müssen. Für die Durchführung der Migration sollten die Endpunkt-Anmeldeinformationen erfolgreich eine Verbindung zu den Datenbanken mit den wesentlichen Berechtigungen herstellen.
- Aufgabenplanung:
Planen Sie jetzt eine Aufgabe, die auf dem Server ausgeführt wird, um die Daten zu migrieren. DMS liest die Daten aus der Quelldatenbank und bereitet sie für die Zieldatenbank auf. Eine Full-Load-Migration findet statt, wenn Quelldaten in die Zieldatenbank übertragen werden.
- Datenbanken synchronisieren:
Wenn Änderungen an der Quelldatenbank vorgenommen werden, werden sie auf dem Replikationsserver zwischengespeichert. Kurz nach Abschluss der Volllastmigration werden diese zwischengespeicherten Änderungen auf die Zieldatenbank angewendet, um beide Datenbanken synchron zu halten.
Arten von unterstützten Datenbanken
Quelle: https://www.logata.com/blog/aws-database-migration-service
Verwendung von AWS DMS mit anderen AWS-Services. Es ist möglich, DMS mit anderen AWS-Services zu verwenden, darunter:
- Amazon EC2 und RDS:
Benutzer können Amazon EC2- oder RDS-DB-Instances als Ziel für die Datenmigration verwenden. EC2 ist die virtuelle Maschine, die einen physischen Server darstellt, der sichere und skalierbare Rechenkapazität bereitstellt. RDS bezieht sich auf einen SQL-Datenbankdienst, der den Zugriff auf Dateien und Datenbanken überall ermöglicht.
- AWS-Schemakonvertierungstool:
Das AWS Schema Conversion Tool oder SCT konvertiert das Quellschema automatisch in ein kompatibles Format für Ihre Zieldatenbank. Mit SCT können Benutzer Datenbankschemata, einschließlich gespeicherter Prozeduren, Ansichten, Funktionen usw., in kompatible Zieldatenbanken migrieren.
- Amazon S3:
Für Speicherzwecke oder bei der Migration großer Datenmengen kann Amazon S3 im Zwischenschritt eingesetzt werden. Benutzer können eine Datenbankmigrationsaufgabe einrichten, die bestimmte Daten in den S3-Bucket überträgt. - AWS CloudFormation:
AWS CloudFormation kann die Bereitstellung oder Verwaltung von AWS-Reinfrastrukturen einrichten. Mithilfe von CloudFormation-Vorlagen können Benutzer den gesamten Stack (Sammlung von AWS-Ressourcen) als einzelne Einheit oder Stacks über mehrere AWS-Konten und -Regionen hinweg erstellen, löschen und ändern, ohne Ressourcen einzeln verwalten zu müssen.
Komponenten des AWS Database Migration Service
Es gibt hauptsächlich drei DMS-Komponenten, die Folgendes umfassen:
- Replikationsinstanz
- Quell- und Zielendpunkte
- Replikationsaufgaben
Replikationsinstanz:
Die von Amazon EC2 (Elastic Compute Cloud) verwaltete Instance hostet einen oder mehrere Replikationsjobs. Es befasst sich mit rechenintensiven Workloads, heterogenen Migrationen und Replikationen wie der Migration von Oracle zu PostgreSQL. Speicheroptimierte Replikationsinstanzen wie R4/R5 helfen bei mittelgroßen In-Memory-Datenbanken, Big-Data-Analysen in Echtzeit und Unternehmensanwendungen.
Quell- und Zielendpunkte:
Endpunkte verbinden sowohl Quell- als auch Zieldatenbanken und helfen so beim Transport von Daten. Alle Endpunkte benötigen Informationen wie Servername, Portnummer, Endpunkttyp, Enginetyp, Anmeldeinformationen usw. Bevor Sie Endpunkte für eine Datenbankmigrationsaufgabe verwenden, sollten Benutzer die Endpunktverbindung testen.
Replikationsaufgaben:
Dies ist der letzte Schritt vor Beginn einer Migration, bei der Daten vom Quellendpunkt zum Zielendpunkt transportiert werden. Es gibt an, welche Daten zwischen den Ziel- und Quellendpunkten übertragen werden und wann die Migration durchgeführt werden muss.
Anwendungsszenarien
Homogene Datenbankmigration:
Quelle: https://www.heptabit.com/blog/database-migration-to-aws-with-no-downtime
Bei dieser Migration sollten sowohl die Quell- als auch die Zieldatenbank-Engine übereinstimmen und interoperabel sein. Beispiele sind Microsoft SQL Server zu Amazon RDS für SQL Server, Oracle zu Amazon RDS für Oracle, MySQL zu Amazon RDS für MySQL, MySQL zu Amazon Aurora usw.
Heterogene Datenbankmigration:
Bei dieser Migration ergänzen sich die Datenbank-Engines der Quelle und des Ziels nicht. Hier ist ein Schema- und Codetransformationsschritt erforderlich, um die Unterschiede in Datenbankcode, Datentypen und Schemastruktur zwischen Quell- und Zieldatenbank zu beheben. Beispiele sind Migrationen von Oracle zu PostgreSQL, Oracle zu Amazon Aurora, Microsoft SQer zu MySQL usw.
Erstellen eines Migrationsplans:
DMS ermöglicht es Benutzern, den Fortschritt ihrer Datenbankmigrationen zu bewerten und zu verfolgen. Das DMS-Dashboard zeigt den Migrationsstatus an, unabhängig davon, in welche Region Benutzer ihre Datenbanken verschieben. Es kann Probleme erkennen und lösen, die sich aus der Migration ergeben.
Kontinuierliche Datenreplikation:
DMS hilft bei der kontinuierlichen Replikation von Daten mit hoher Verfügbarkeit. Durch kontinuierliche Datenreplikation hilft DMS bei der Synchronisierung von Entwicklungs- und Testumgebungsstandorten und Disaster-Recovery-Instanzstandorten.
Zusammenfassung
Letztendlich können wir feststellen, dass AWS DMS ein großartiges Tool ist, das die Migration von Datenbank-Workloads zu AWS zusammen mit der kontinuierlichen Datenreplikation erleichtert. Es ist einfach einzurichten, zuverlässig, unterstützt eine Vielzahl von Datenbanken und führt eine konstante Überwachung der Netzwerkkonnektivität der Zieldatenbanken durch.
Die zentralen Thesen:
- AWS DMS hilft bei der schnellen Migration von Datenbanken zu AWS und überwacht Quell- und Zieldatenbanken.
- Bereitgestellt in einer Multi-AZ-Umgebung für einfache Verfügbarkeit.
- AWS Schema Conversion Tool oder AWS SCT können mit DMS verwendet werden, um das Quellschema automatisch in ein kompatibles Format für Ihre Zieldatenbank zu konvertieren.
- Hauptsächlich drei Komponenten – Replikationsinstanz, Quell- und Zielendpunkte und Replikationsaufgaben.
- Unterstützen Sie sowohl homogene als auch heterogene Datenbankmigrationen.
- Endpunkte beziehen sich auf die beiden Datenspeicher, dh die Quelle und das Ziel.
- DMS hilft bei der kontinuierlichen Replikation von Daten und synchronisiert Entwicklungs- und Testumgebungsstandorte.
Die in diesem Artikel gezeigten Medien sind nicht Eigentum von Analytics Vidhya und werden nach Ermessen des Autors verwendet.
Verbunden
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://www.analyticsvidhya.com/blog/2022/12/simplify-data-migration-with-aws-dms/
