Dit artikel is gepubliceerd als onderdeel van het Data Science-blogathon.
Introductie
DMS is een service die het gemakkelijk maakt om lokale databases met minimale of geen downtime naar de cloud te migreren. Het kan zelfs in de originele database blijven hangen en deze toepassen op de nieuwe database. DMS ondersteunt alle databases zoals MySQL, PostgreSQL Oracle, SQL Server, Microsoft SQL Server en Amazon Aurora. Het voordeel is dat de originele en nieuwe databases niet hoeven overeen te komen. Daarom is het gemakkelijk om het ene type database in het andere te veranderen. DMS zorgt voor alle taken van het exporteren van de gegevens uit de oude database en het importeren in de nieuwe database in minder tijd. Het ondersteunt datamigratietaken zoals database-ontwikkeling, consolidatie en testen. Tijdens de migratie is de brondatabase volledig operationeel, waardoor downtime voor applicaties die afhankelijk zijn van de database wordt geminimaliseerd. Dit artikel geeft een overzicht van DMS, hoe het gegevens migreert, het proces en waarom men DMS zou moeten overwegen voor migratie.
Wat is AWS DMS?
AWS Database Migration Service (AWS DMS) helpt bij het snel migreren van databases naar AWS. Het maakt migraties van verschillende databases mogelijk, zoals relationele, niet-relationele databases en andere soorten commerciële en open-source databases. Naast de netwerkconnectiviteit bewaakt het continu de bron- en doeldatabases. Als er een onderbreking optreedt die de replicatietaak stopt, wordt deze automatisch verholpen door DMS. Het kan ongelijksoortige databases consolideren in een datawarehouse van meerdere petabytes door gegevens naar AWS Redshift en Amazon S3 te streamen.
Waarom AWS DMS overwegen voor gegevensmigratie?
-
Zeer veerkrachtig:
DMS kan de back-up snapshots automatiseren en zeer snel herstellen. Als de primaire replicatieserver uitvalt, neemt de back-upreplicatieserver het over; daarom is er geen onderbreking van de dienstverlening.
- minimaalTijdens het migreren van databases via DMS is de brondatabase volledig operationeel, waardoor downtime voor applicaties die afhankelijk zijn van de database wordt geminimaliseerd. Dus gebruikers kunnen databases wijzigen wanneer dat nodig is, zonder dat ze hoeven af te sluiten.
- Goedkoop :
DMS biedt een gratis migratieservice voor het verplaatsen van databases naar Redshift, Aurora, DynamoDB of DocumentDB. Gebruikers moeten betalen voor het migreren naar andere databases, afhankelijk van het logopslagvolume.
- Uitgebreide database-ondersteuning:
DMS ondersteunt homogene migraties zoals Oracle naar Oracle en heterogene migraties van Oracle naar Aurora-platforms met behulp van de SCT-tool. Het ondersteunt open-source en commerciële databases die helpen bij gemakkelijke databasemigratie.
- Failover-ondersteuning:
DMS worden geïmplementeerd in een multi-AZ-omgeving die helpt bij failover-ondersteuning en gemakkelijke beschikbaarheid. In een Multi-AZ-implementatie onderhoudt en levert DMS automatisch een synchrone standby-replica van het replicatie-exemplaar in een andere beschikbaarheidszone.
AWS DMS-proces - Hoe het werkt
- Verbind eindpunten:
Verbind eerst DMS met zowel bron- als doeleindpunten. De primaire vereiste voor DMS is dat de eindpunten van één gebruiker moeten worden gehost op de AWS-service. Voor het uitvoeren van de migratie moeten de eindpuntreferenties met succes verbinding maken met de databases met de essentiële rechten.
- Taakplanning:
Plan nu een taak die op de server wordt uitgevoerd om de gegevens te migreren. DMS leest de gegevens uit de brondatabase en bereidt deze voor op de doeldatabase. Volledige migratie vindt plaats wanneer brongegevens worden overgebracht naar de doeldatabase.
- Synchroniseer databases:
Als er wijzigingen worden aangebracht in de brondatabase, wordt deze in de cache opgeslagen op de replicatieserver. Kort nadat de volledige migratie is voltooid, worden deze wijzigingen in de cache toegepast op de doeldatabase om beide databases gesynchroniseerd te houden.
Soorten ondersteunde databases
Bron: https://www.logicata.com/blog/aws-database-migration-service
AWS DMS gebruiken met andere AWS-services. Het is mogelijk om DMS te gebruiken met andere AWS-services, waaronder het volgende:
- Amazon EC2 en RDS:
Gebruikers kunnen Amazon EC2- of RDS DB-instanties gebruiken als doelwit voor gegevensmigratie. EC2 is de virtuele machine die een fysieke server vertegenwoordigt die veilige en schaalbare computercapaciteit biedt. RDS verwijst naar een SQL-databaseservice die overal toegang geeft tot bestanden en databases.
- AWS-schemaconversietool:
AWS Schema Conversion Tool of SCT converteert automatisch het bronschema naar een compatibel formaat voor uw doeldatabase. Met SCT kunnen gebruikers databaseschema's migreren, inclusief opgeslagen procedures, views, functies, etc., naar compatibele doeldatabases.
- Amazon S3:
Voor opslagdoeleinden of bij het migreren van grote hoeveelheden gegevens kan Amazon S3 als tussenstap worden gebruikt. Gebruikers kunnen een databasemigratietaak instellen, die specifieke gegevens naar de S3-bucket overbrengt. - AWS CloudFormation:
AWS CloudFormation kan de implementatie of het beheer van de AWS-herstructurering opzetten. Met behulp van CloudFormation-sjablonen kunnen gebruikers de volledige stapel (verzameling van AWS-bronnen) maken, verwijderen en wijzigen als een enkele eenheid of stapels over meerdere AWS-accounts en regio's zonder bronnen afzonderlijk te beheren.
Onderdelen van de AWS-databasemigratieservice
Er zijn hoofdzakelijk drie DMS-componenten, waaronder:
- Replicatie-exemplaar
- Bron- en doeleindpunten
- Replicatie taken
Replicatie-exemplaar:
De door Amazon EC2 (Elastic Compute Cloud) beheerde instantie host een of meer replicatietaken. Het behandelt rekenintensieve workloads, heterogene migraties en replicaties zoals het migreren van Oracle naar PostgreSQL. Voor geheugen geoptimaliseerde replicatie-instanties zoals R4/R5 helpen bij middelgrote in-memory databases, real-time big data-analyse en bedrijfsapplicaties.
Bron- en doeleindpunten:
Eindpunten koppelen zowel bron- als doeldatabases en helpen bij het transport van gegevens. Alle eindpunten hebben informatie nodig zoals servernaam, poortnummer, eindpunttype, motortype, referenties, enz. Voordat eindpunten worden gebruikt voor een databasemigratietaak, moeten gebruikers de eindpuntverbinding testen.
Replicatie taken:
Het is de laatste stap voordat een migratie wordt gestart waarbij gegevens worden getransporteerd van het broneindpunt naar het bestemmingseindpunt. Het geeft aan welke gegevens worden overgedragen tussen de doel- en broneindpunten en wanneer de migratie moet worden uitgevoerd.
Use cases
Homogene databasemigratie:
Bron: https://www.heptabit.com/blog/database-migration-to-aws-with-no-downtime
Bij deze migratie moeten zowel de bron- als de doeldatabase-engine overeenkomen en interoperabel zijn. Voorbeelden zijn Microsoft SQL Server naar Amazon RDS voor SQL Server, Oracle naar Amazon RDS voor Oracle, MySQL naar Amazon RDS voor MySQL, MySQL naar Amazon Aurora, enz.
Heterogene databasemigratie:
Bij deze migratie vullen de database-engines van de bron en het doel elkaar niet aan. Hier is een schema- en codetransformatiestap nodig om de verschillen in databasecode, gegevenstypen en schemastructuur tussen de bron- en doeldatabases aan te pakken. Voorbeelden zijn Oracle naar PostgreSQL, Oracle naar Amazon Aurora, Microsoft SQer naar MySQL-migraties, enz.
Een migratieplan opstellen:
Met DMS kunnen gebruikers de voortgang van hun databasemigraties beoordelen en volgen. Het DMS-dashboard geeft de migratiestatus weer, ongeacht in welke regio gebruikers hun databases verplaatsen. Het kan problemen die voortvloeien uit migratie detecteren en oplossen.
Continue gegevensreplicatie:
DMS helpt bij het continu repliceren van gegevens met hoge beschikbaarheid. Door continue gegevensreplicatie helpt DMS bij het synchroniseren van ontwikkel- en testomgevinglocaties en Disaster Recovery-exemplaarlocaties.
Conclusie
Uiteindelijk kunnen we concluderen dat AWS DMS een geweldige tool is die het gemakkelijker maakt om databaseworkloads naar AWS te migreren, samen met continue gegevensreplicatie. Het is eenvoudig in te stellen, betrouwbaar, ondersteunt een verscheidenheid aan databases en voert een constante bewaking van de netwerkconnectiviteit van doeldatabases uit.
Key Takeaways:
- AWS DMS helpt bij het snel migreren van databases naar AWS en bewaakt bron- en doeldatabases.
- Geïmplementeerd in een multi-AZ-omgeving voor eenvoudige beschikbaarheid.
- AWS Schema Conversion Tool of AWS SCT kan worden gebruikt met DMS om het bronschema automatisch te converteren naar een compatibel formaat voor uw doeldatabase.
- Hoofdzakelijk drie componenten: replicatie-instantie, bron- en doeleindpunten en replicatietaken.
- Ondersteuning van zowel homogene als heterogene databasemigraties.
- Eindpunten verwijzen naar de twee gegevensarchieven, dwz de bron en het doel.
- DMS helpt bij het continu repliceren van gegevens en synchroniseert ontwikkel- en testomgevinglocaties.
De in dit artikel getoonde media zijn geen eigendom van Analytics Vidhya en worden naar goeddunken van de auteur gebruikt.
Verwant
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://www.analyticsvidhya.com/blog/2022/12/simplify-data-migration-with-aws-dms/
