Les clients migrent leurs entrepôts de données vers Redshift d'Amazon car il est rapide, évolutif et rentable. Cependant, les projets de migration d'entrepôt de données peuvent être complexes et difficiles. Dans cet article, je vous aide à comprendre les moteurs communs de la migration de l'entrepôt de données, les stratégies de migration et les outils et services disponibles pour vous aider dans votre projet de migration.

Examinons d'abord le paysage du Big Data, la signification d'une architecture de données moderne et ce que vous devez prendre en compte pour votre projet de migration d'entrepôt de données lors de la création d'une architecture de données moderne.

Opportunités professionnelles

Les données changent notre façon de travailler, de vivre et de jouer. Tous ces changements de comportement et le passage au cloud ont entraîné une explosion des données au cours des 20 dernières années. La prolifération de l'Internet des objets et des téléphones intelligents a accéléré la quantité de données générées chaque jour. Les modèles commerciaux ont changé, tout comme les besoins des personnes qui dirigent ces entreprises. Nous sommes passés de téraoctets de données il y a quelques années à peine à des pétaoctets et des exaoctets de données. En exploitant efficacement les données et en créant des informations commerciales approfondies à partir des données collectées, les entreprises de différents secteurs et de différentes tailles peuvent obtenir un large éventail de résultats commerciaux. Ceux-ci peuvent être globalement classés dans les principaux résultats commerciaux suivants :

• Amélioration de l'efficacité opérationnelle – En donnant un sens aux données collectées à partir de divers processus opérationnels, les entreprises peuvent améliorer l'expérience client, augmenter l'efficacité de la production et augmenter l'agilité des ventes et du marketing
• Prendre des décisions plus éclairées – En développant des informations plus significatives en rassemblant une image complète des données dans une organisation, les entreprises peuvent prendre des décisions plus éclairées
• Accélérer l'innovation - La combinaison de sources de données internes et externes permet une variété de cas d'utilisation de l'IA et de l'apprentissage automatique (ML) qui aident les entreprises à automatiser les processus et à débloquer des opportunités commerciales qui étaient soit impossibles à réaliser, soit trop difficiles à réaliser auparavant

Défis métier

La croissance exponentielle des données a également présenté des défis commerciaux.

Tout d'abord, les entreprises doivent accéder à toutes les données de l'organisation, et les données peuvent être distribuées en silos. Il provient d'une variété de sources, dans un large éventail de types de données et dans un volume et une vitesse importants. Certaines données peuvent être stockées sous forme de données structurées dans des bases de données relationnelles. D'autres données peuvent être stockées sous forme de données semi-structurées dans des magasins d'objets, tels que des fichiers multimédias et les données de parcours de navigation qui sont constamment diffusées à partir d'appareils mobiles.

Deuxièmement, pour obtenir des informations à partir des données, les entreprises doivent approfondir les données en effectuant des analyses. Ces activités d'analyse impliquent généralement des dizaines et des centaines d'analystes de données qui doivent accéder simultanément au système. Avoir un système performant et évolutif pour répondre à la demande de requête est souvent un défi. Cela devient plus complexe lorsque les entreprises doivent partager les données analysées avec leurs clients.

Enfin, les entreprises ont besoin d'une solution rentable pour relever les défis des silos de données, des performances, de l'évolutivité, de la sécurité et de la conformité. Être capable de visualiser et de prévoir les coûts est nécessaire pour qu'une entreprise puisse mesurer la rentabilité de sa solution.

Pour résoudre ces défis, les entreprises ont besoin d'une architecture de données moderne à l'épreuve du temps et d'un système d'analyse robuste et efficace.

Architecture de données moderne

Une architecture de données moderne permet aux organisations de stocker n'importe quelle quantité de données dans des formats ouverts, de briser les silos de données déconnectés, de permettre aux utilisateurs d'exécuter des analyses ou du ML à l'aide de leur outil ou technique préféré, et de gérer qui a accès à des éléments de données spécifiques avec la sécurité appropriée. et les contrôles de gouvernance des données.

L'architecture de lac de données AWS est une architecture de données moderne qui vous permet de stocker des données dans un lac de données et d'utiliser un anneau de services de données spécialement conçus autour du lac, comme illustré dans la figure suivante. Cela vous permet de prendre des décisions avec rapidité et agilité, à grande échelle et de manière rentable. Pour plus de détails, reportez-vous à Architecture de données moderne sur AWS.

Entrepôt de données moderne

Redshift d'Amazon est un entrepôt de données moderne, évolutif et entièrement géré qui accélère l'obtention d'informations grâce à des analyses rapides, simples et sécurisées à grande échelle. Avec Amazon Redshift, vous pouvez analyser toutes vos données et obtenir des performances à n'importe quelle échelle avec des coûts faibles et prévisibles.

Amazon Redshift offre les avantages suivants :

• Analysez toutes vos données – Avec Amazon Redshift, vous pouvez facilement analyser toutes vos données dans votre entrepôt de données et votre lac de données avec des politiques de sécurité et de gouvernance cohérentes. C'est ce que nous appelons l'architecture de données moderne. Avec Spectre Amazon Redshift, vous pouvez interroger les données de votre lac de données sans avoir besoin de charger ou d'autre préparation des données. Et avec exportation du lac de données, vous pouvez enregistrer les résultats d'une requête Amazon Redshift dans le lac. Cela signifie que vous pouvez tirer parti des analyses en temps réel et des cas d'utilisation ML/AI sans réarchitecture, car Amazon Redshift est entièrement intégré à votre lac de données. Avec de nouvelles fonctionnalités comme partage de données, vous pouvez facilement partager des données entre les clusters Amazon Redshift à la fois en interne et en externe, afin que chacun ait une vue en direct et cohérente des données. Amazon Redshift ML permet d'en faire plus facilement avec vos données : vous pouvez créer, former et déployer des modèles ML à l'aide de commandes SQL familières directement dans les entrepôts de données Amazon Redshift.
• Performances rapides à n'importe quelle échelle - Amazon Redshift est un système d'auto-réglage et d'auto-apprentissage qui vous permet d'obtenir les meilleures performances pour vos charges de travail sans la lourde charge indifférenciée de régler votre entrepôt de données avec des tâches telles que la définition des clés de tri et des clés de distribution, et de nouvelles fonctionnalités telles que vues matérialisées, actualisation automatique et réécriture automatique des requêtes. Amazon Redshift s'adapte pour fournir des résultats rapides et constants, des gigaoctets aux pétaoctets de données, et de quelques utilisateurs à des milliers. Au fur et à mesure que votre base d'utilisateurs s'étend à des milliers d'utilisateurs simultanés, le mise à l'échelle de la simultanéité déploie automatiquement les ressources de calcul nécessaires pour gérer la charge supplémentaire. Instances Amazon Redshift RA3 avec le stockage géré, le calcul et le stockage sont séparés, de sorte que vous pouvez faire évoluer chacun indépendamment et ne payer que pour le stockage dont vous avez besoin. AQUA (Advanced Query Accelerator) pour Amazon Redshift est un nouveau cache distribué et accéléré par le matériel qui booste automatiquement certains types de requêtes.
• Des analyses faciles pour tout le monde – Amazon Redshift est un entrepôt de données entièrement géré qui élimine le fardeau de la gestion détaillée de l'infrastructure ou de l'optimisation des performances. Vous pouvez vous concentrer sur l'obtention d'informations plutôt que sur l'exécution de tâches de maintenance telles que le provisionnement de l'infrastructure, la création de sauvegardes, la configuration de la disposition des données et d'autres tâches. Vous pouvez exploiter des données dans des formats ouverts, utiliser des commandes SQL familières et tirer parti des visualisations de requêtes disponibles via le nouveau Éditeur de requête v2. Vous pouvez également accéder aux données de n'importe quelle application via une API de données sécurisée sans configurer de pilotes logiciels ni gérer les connexions à la base de données. Amazon Redshift est compatible avec les outils de Business Intelligence (BI), ouvrant la puissance et l'intégration d'Amazon Redshift aux utilisateurs professionnels qui opèrent à partir de l'outil de BI.

Une architecture de données moderne avec une architecture de lac de données et un entrepôt de données moderne avec Amazon Redshift aide les entreprises de toutes tailles à relever les défis du Big Data, à donner un sens à une grande quantité de données et à générer des résultats commerciaux. Vous pouvez commencer le parcours de création d'une architecture de données moderne en migrant votre entrepôt de données vers Amazon Redshift.

Considérations migratoires

La migration de l'entrepôt de données présente un défi en termes de complexité du projet et présente un risque en termes de ressources, de temps et de coût. Pour réduire la complexité de la migration de l'entrepôt de données, il est essentiel de choisir une bonne stratégie de migration en fonction de votre paysage d'entrepôt de données existant et de la quantité de transformation requise pour migrer vers Amazon Redshift. Voici les facteurs clés qui peuvent influencer votre décision de stratégie de migration :

• Taille – La taille totale de l'entrepôt de données source à migrer est déterminée par les objets, tables et bases de données inclus dans la migration. Une bonne compréhension des sources de données et des domaines de données requis pour passer à Amazon Redshift conduit à un dimensionnement optimal du projet de migration.
• Le transfert de données – La migration de l'entrepôt de données implique le transfert de données entre les serveurs de l'entrepôt de données source et AWS. Vous pouvez soit transférer des données via une interconnexion réseau entre l'emplacement source et AWS, comme AWS Direct Connect ou transférer des données hors ligne via les outils ou services tels que le Famille de neige AWS.
• Taux de modification des données – À quelle fréquence les mises à jour ou modifications des données se produisent-elles dans votre entrepôt de données ? Le taux de modification des données de votre entrepôt de données existant détermine les intervalles de mise à jour requis pour maintenir la synchronisation de l'entrepôt de données source et de l'Amazon Redshift cible. Un entrepôt de données source avec un taux de modification des données élevé nécessite que le service bascule de la source vers Amazon Redshift pour se terminer dans un intervalle de mise à jour, ce qui entraîne une fenêtre de transition de migration plus courte.
• Transformation de données – Le déplacement de votre entrepôt de données existant vers Amazon Redshift est une migration hétérogène impliquant une transformation des données, telle que le mappage des données et la modification du schéma. La complexité de la transformation des données détermine le temps de traitement requis pour une itération de migration.
• Outils de migration et ETL – La sélection des outils de migration et d'extraction, de transformation et de chargement (ETL) peut avoir un impact sur le projet de migration. Par exemple, les efforts requis pour le déploiement et la configuration de ces outils peuvent varier. Nous examinons de plus près les outils et services AWS sous peu.

Après avoir pris en compte toutes ces considérations, vous pouvez choisir une option de stratégie de migration pour votre projet de migration Amazon Redshift.

Stratégies migratoires

Vous pouvez choisir parmi trois stratégies de migration : migration en une étape, migration en deux étapes ou migration par vague.

La migration en une étape est une bonne option pour les bases de données qui ne nécessitent pas de fonctionnement continu, comme la réplication continue, pour synchroniser les modifications de données en cours entre la source et la destination. Vous pouvez extraire des bases de données existantes sous forme de fichiers de valeurs séparées par des virgules (CSV) ou au format en colonnes comme Parquet, puis utiliser les services AWS Snow Family tels que Boule de neige AWS fournir des ensembles de données à Service de stockage simple Amazon (Amazon S3) pour le chargement dans Amazon Redshift. Vous testez ensuite la base de données Amazon Redshift de destination pour la cohérence des données avec la source. Une fois toutes les validations passées, la base de données est basculée vers AWS.

La migration en deux étapes est couramment utilisée pour les bases de données de toute taille qui nécessitent un fonctionnement continu, comme la réplication continue. Pendant la migration, les bases de données source subissent des modifications de données continues et la réplication continue synchronise les modifications de données entre la source et Amazon Redshift. La répartition de la stratégie de migration en deux étapes est la suivante :

• Migration initiale des données – Les données sont extraites de la base de données source, de préférence pendant les heures creuses pour minimiser l'impact. Les données sont ensuite migrées vers Amazon Redshift en suivant l'approche de migration en une étape décrite précédemment.
• Migration des données modifiées – Les données modifiées dans la base de données source après la migration initiale des données sont propagées vers la destination avant le basculement. Cette étape synchronise les bases de données source et de destination. Une fois toutes les données modifiées migrées, vous pouvez valider les données dans la base de données de destination et effectuer les tests nécessaires. Si tous les tests sont réussis, vous basculez alors vers l'entrepôt de données Amazon Redshift.

La migration basée sur les vagues convient aux projets de migration d'entrepôt de données à grande échelle. Le principe de la migration par vagues consiste à prendre des précautions pour diviser un projet de migration complexe en plusieurs vagues logiques et systématiques. Cette stratégie peut réduire considérablement la complexité et les risques. Vous partez d'une charge de travail qui couvre un bon nombre de sources de données et de domaines de complexité moyenne, puis ajoutez d'autres sources de données et domaines à chaque vague suivante. Avec cette stratégie, vous exécutez à la fois l'entrepôt de données source et les environnements de production Amazon Redshift en parallèle pendant un certain temps avant de pouvoir retirer complètement l'entrepôt de données source. Voir Développer une méthodologie de migration d'applications pour moderniser votre entrepôt de données avec Amazon Redshift pour plus d'informations sur l'identification et le regroupement des sources de données et des applications d'analyse à migrer de l'entrepôt de données source vers Amazon Redshift à l'aide de l'approche de migration basée sur les vagues.

Pour guider votre décision de stratégie de migration, reportez-vous au tableau suivant pour mapper les facteurs de considération avec une stratégie de migration préférée.

Processus de migration

Dans cette section, nous passons en revue les trois étapes de haut niveau du processus de migration. La stratégie de migration en deux étapes et la stratégie de migration basée sur les vagues impliquent les trois étapes de migration. Cependant, la stratégie de migration basée sur les vagues comprend un certain nombre d'itérations. Étant donné que seules les bases de données qui ne nécessitent pas d'opérations continues sont adaptées à la migration en une étape, seules les étapes 1 et 2 du processus de migration sont requises.

Étape 1 : Convertir le schéma et le domaine

Dans cette étape, vous rendez le schéma de l'entrepôt de données source compatible avec le schéma Amazon Redshift en convertissant le schéma de l'entrepôt de données source à l'aide d'outils de conversion de schéma tels que Outil de conversion de schéma AWS (AWS SCT) et les autres outils des partenaires AWS. Dans certaines situations, vous pouvez également être amené à utiliser un code personnalisé pour effectuer des conversions de schéma complexes. Nous approfondissons les meilleures pratiques AWS SCT et de migration dans une section ultérieure.

Étape 2 : Extraction et chargement des données initiales

Au cours de cette étape, vous terminez l'extraction initiale des données et chargez les données sources dans Amazon Redshift pour la première fois. Vous pouvez utiliser Extracteurs de données AWS SCT pour extraire des données de l'entrepôt de données source et charger des données dans Amazon S3 si la taille de vos données et les exigences de transfert de données vous permettent de transférer des données sur le réseau interconnecté. Alternativement, s'il existe des limitations telles que la limite de capacité du réseau, vous pouvez charger des données dans Snowball et à partir de là, les données sont chargées dans Amazon S3. Lorsque les données de l'entrepôt de données source sont disponibles sur Amazon S3, elles sont chargées dans Amazon Redshift. Dans les situations où les outils natifs de l'entrepôt de données source effectuent un meilleur travail de déchargement et de chargement des données que les extracteurs de données AWS SCT, vous pouvez choisir d'utiliser les outils natifs pour effectuer cette étape.

Étape 3 : charge delta et incrémentielle

Au cours de cette étape, vous utilisez AWS SCT et parfois des outils natifs d'entrepôt de données source pour capturer et charger les modifications delta ou incrémentielles des sources vers Amazon Redshift. On parle souvent de capture de données modifiées (CDC). CDC est un processus qui capture les modifications apportées à une base de données et garantit que ces modifications sont répliquées vers une destination telle qu'un entrepôt de données.

Vous devriez maintenant disposer de suffisamment d'informations pour commencer à développer un plan de migration pour votre entrepôt de données. Dans la section suivante, j'approfondis les services AWS qui peuvent vous aider à migrer votre entrepôt de données vers Amazon Redshift, et les meilleures pratiques d'utilisation de ces services pour accélérer la livraison réussie de votre projet de migration d'entrepôt de données.

Services de migration d'entrepôt de données

La migration d'un entrepôt de données implique un ensemble de services et d'outils pour prendre en charge le processus de migration. Vous commencez par créer un rapport d'évaluation de migration de base de données, puis vous convertissez le schéma de données source pour qu'il soit compatible avec Amazon Redshift à l'aide d'AWS SCT. Pour déplacer des données, vous pouvez utiliser l'outil d'extraction de données AWS SCT, qui est intégré à Service de migration de données AWS (AWS DMS) pour créer et gérer des tâches AWS DMS et orchestrer la migration des données.

Pour transférer des données source sur le réseau interconnecté entre la source et AWS, vous pouvez utiliser Passerelle de stockage AWS, Firehose de données Amazon Kinesis, Connection directe, Services AWS Transfer Family, Accélération de transfert Amazon S3et Synchronisation de données AWS. Pour la migration d'un entrepôt de données impliquant un grand volume de données, ou s'il existe des contraintes avec la capacité du réseau interconnecté, vous pouvez transférer des données à l'aide de la famille de services AWS Snow. Avec cette approche, vous pouvez copier les données sur l'appareil, les renvoyer à AWS et faire copier les données sur Amazon Redshift via Amazon S3.

AWS SCT est un service essentiel pour accélérer la migration de votre entrepôt de données vers Amazon Redshift. Plongeons-y plus profondément.

Migration à l'aide d'AWS SCT

AWS SCT automatise une grande partie du processus de conversion de votre schéma d'entrepôt de données en schéma de base de données Amazon Redshift. Étant donné que les moteurs de base de données source et cible peuvent avoir de nombreuses fonctionnalités et capacités différentes, AWS SCT tente de créer un schéma équivalent dans votre base de données cible dans la mesure du possible. Si aucune conversion directe n'est possible, AWS SCT crée un rapport d'évaluation de migration de base de données pour vous aider à convertir votre schéma. Le rapport d'évaluation de la migration de la base de données fournit des informations importantes sur la conversion du schéma de votre base de données source vers votre base de données cible. Le rapport résume toutes les tâches de conversion de schéma et détaille les éléments d'action pour les objets de schéma qui ne peuvent pas être convertis vers le moteur de base de données de votre base de données cible. Le rapport inclut également des estimations de la quantité d'efforts nécessaires pour écrire le code équivalent dans votre base de données cible qui ne peut pas être converti automatiquement.

L'optimisation du stockage est au cœur de la conversion d'un entrepôt de données. Lorsque vous utilisez votre base de données Amazon Redshift comme source et une base de données Amazon Redshift de test comme cible, AWS SCT recommande des clés de tri et des clés de distribution pour optimiser votre base de données.

Avec AWS SCT, vous pouvez convertir les schémas d'entrepôt de données suivants vers Amazon Redshift :

• Redshift d'Amazon
• Azure Synapse Analytics (version 10)
• Base de données Greenplum (version 4.3 et ultérieure)
• Microsoft SQL Server (version 2008 et ultérieure)
• Netezza (version 7.0.3 et ultérieure)
• Oracle (version 10.2 et ultérieure)
• Flocon de neige (version 3)
• Teradata (version 13 et ultérieure)
• Vertica (version 7.2 et ultérieure)

At
AWS, nous continuons à publier de nouvelles fonctionnalités et améliorations pour améliorer notre produit. Pour les dernières conversions prises en charge, visitez le Guide de l'utilisateur AWS SCT.

Migration de données à l'aide de l'outil d'extraction de données AWS SCT

Vous pouvez utiliser un outil d'extraction de données AWS SCT pour extraire des données de votre entrepôt de données sur site et les migrer vers Amazon Redshift. L'agent extrait vos données et les charge sur Amazon S3 ou, pour les migrations à grande échelle, sur un service AWS Snowball Family. Vous pouvez ensuite utiliser AWS SCT pour copier les données vers Amazon Redshift. Amazon S3 est un service de stockage et de récupération. Pour stocker un objet dans Amazon S3, vous chargez le fichier que vous souhaitez stocker dans un compartiment S3. Lorsque vous chargez un fichier, vous pouvez définir des autorisations sur l'objet ainsi que sur toutes les métadonnées.

Dans les migrations à grande échelle impliquant le téléchargement de données vers un service AWS Snowball Family, vous pouvez utiliser des flux de travail basés sur des assistants dans AWS SCT pour automatiser le processus dans lequel l'outil d'extraction de données orchestre AWS DMS pour effectuer la migration proprement dite.

Considérations relatives aux outils de migration Amazon Redshift

Pour améliorer et accélérer la migration de l'entrepôt de données vers Amazon Redshift, tenez compte des conseils et bonnes pratiques suivants. Cette liste n'est pas exhaustive. Assurez-vous de bien comprendre le profil de votre entrepôt de données et déterminez les meilleures pratiques que vous pouvez utiliser pour votre projet de migration.

• Utilisez AWS SCT pour créer un rapport d'évaluation de la migration et définir l'effort de migration.
• Automatisez la migration avec AWS SCT dans la mesure du possible. L'expérience de nos clients montre qu'AWS SCT peut créer automatiquement la majorité des scripts DDL et SQL.
• Lorsque la conversion de schéma automatisée n'est pas possible, utilisez des scripts personnalisés pour la conversion de code.
• Installez les agents d'extraction de données AWS SCT aussi près que possible de la source de données pour améliorer les performances et la fiabilité de la migration des données.
• Pour améliorer les performances de migration des données, dimensionnez correctement votre Cloud de calcul élastique Amazon (Amazon EC2) et ses machines virtuelles équivalentes sur lesquelles les agents d'extraction de données sont installés.
• Configurez plusieurs agents d'extraction de données pour exécuter plusieurs tâches en parallèle afin d'améliorer les performances de migration des données en maximisant l'utilisation de la bande passante réseau allouée.
• Ajustez la configuration de la mémoire AWS SCT pour améliorer les performances de conversion du schéma.
• Utilisez Amazon S3 pour stocker les objets volumineux tels que les images, les fichiers PDF et d'autres données binaires de votre entrepôt de données existant.
• Pour migrer des tables volumineuses, utilisez le partitionnement virtuel et créez des sous-tâches pour améliorer les performances de migration des données.
• Comprendre les cas d'utilisation des services AWS tels que Direct Connect, la famille AWS Transfer et la famille AWS Snow. Sélectionnez le bon service ou outil pour répondre à vos besoins de migration de données.
• Comprenez les quotas de service AWS et prenez des décisions éclairées en matière de conception de migration.

Résumé

Les données augmentent en volume et en complexité plus rapidement que jamais. Cependant, seule une fraction de cet atout inestimable est disponible pour analyse. Les entrepôts de données traditionnels sur site ont des architectures rigides qui ne s'adaptent pas aux cas d'utilisation modernes de l'analyse de données volumineuses. Ces entrepôts de données traditionnels sont coûteux à mettre en place et à exploiter, et nécessitent d'importants investissements initiaux en logiciels et en matériel.

Dans cet article, nous avons présenté Amazon Redshift en tant qu'entrepôt de données moderne, évolutif et entièrement géré qui peut vous aider à analyser toutes vos données et à atteindre des performances à n'importe quelle échelle avec un coût faible et prévisible. Pour migrer votre entrepôt de données vers Amazon Redshift, vous devez tenir compte d'une série de facteurs, tels que la taille totale de l'entrepôt de données, le taux de modification des données et la complexité de la transformation des données, avant de choisir une stratégie et un processus de migration appropriés pour réduire la complexité et coût de votre projet de migration d'entrepôt de données. Avec les services AWS tels qu'AWS SCT et AWS DMS, et en adoptant les conseils et les meilleures pratiques de ces services, vous pouvez automatiser les tâches de migration, mettre à l'échelle la migration, accélérer la livraison de votre projet de migration d'entrepôt de données et ravir vos clients.

À propos de l’auteur

Lewis Tang est architecte de solutions senior chez Amazon Web Services basé à Sydney, en Australie. Lewis fournit des conseils aux partenaires sur une large gamme de services AWS et aide les partenaires à accélérer la croissance des pratiques AWS.

• Coinsmart. Le meilleur échange Bitcoin et Crypto d'Europe.
• Platoblockchain. Intelligence métaverse Web3. Connaissance amplifiée. ACCÈS LIBRE.
• CryptoHawk. Radar Altcoins. Essai gratuit.
• Source : https://aws.amazon.com/blogs/big-data/what-to-consider-when-migrating-data-warehouse-to-amazon-redshift/