Les principes d'architecture de données sont un ensemble de politiques qui régissent le cadre de données d'entreprise avec ses règles de fonctionnement pour la collecte, l'intégration, l'utilisation et la gestion des actifs de données. L'objectif fondamental des principes d'architecture de données est de maintenir le cadre de données de support propre, cohérent et vérifiable. La stratégie globale des données de l'entreprise est construite autour de ces principes.

Ces dernières années, les principes DA ont subi une refonte majeure pour s'adapter aux systèmes, processus et procédures modernes de gestion des données. Les principes DA modernes aident à jeter les bases d'une architecture de données qui prend en charge des processus métier hautement optimisés et fait progresser les Gestion des données tendances.

Voici une liste des tendances de la gestion des données qui ont forcé les organisations mondiales à jeter un regard critique sur leur Architecture des données:

• Passez des plates-formes de données sur site aux plates-formes de données basées sur le cloud
• Réduction des coûts de traitement de flux, favorisant le traitement en temps réel par rapport au traitement par lots
• Plate-forme de données commerciale préfabriquée remplacée par des solutions modulaires évolutives et personnalisables
• Réutilisation des données et API pour l'accès aux données
• Passer des lacs de données au stockage de données basé sur le domaine
• Passer de modèles de données prédéfinis à des schémas de données flexibles

Au sein d'une entreprise, chaque utilisateur souhaite disposer de données propres, facilement accessibles et régulièrement mises à jour. Efficace Architecture de données standardisez tous les processus de gestion des données pour une livraison rapide des données aux personnes qui en ont besoin. Les conceptions d'architecture de données existantes doivent changer pour suivre l'évolution des exigences de gestion des données.

Comme étant une entreprise Auteur McKinsey observe, "de nombreuses plates-formes technologiques nouvelles et avancées ont été déployées parallèlement à l'infrastructure existante" dans les entreprises mondiales au cours des dernières années. Ces nouvelles solutions technologiques telles que le lac de données, la plate-forme d'analyse client ou le traitement de flux ont exercé une pression énorme sur les capacités de performance de architecture de données sous-jacente. L'architecture de données existante n'a pas réussi à fournir une prise en charge améliorée, ou n'a même pas réussi à maintenir les infrastructures de données existantes.

De plus, avec l'adoption croissante des plates-formes d'IA et de ML pour les activités d'analyse commerciale et de BI, le moment est venu de revoir l'architecture des données d'entreprise. Comme c'est le cas pour toute transformation technologique, les principes d'architecture de données "développés, essayés et testés" pour le présent Architecture de données sont assez différents de ceux de l'ancienne architecture de données.

Cet article passe en revue certains principes fondamentaux qui définissent une solution prête pour l'IA, architecture de données moderne.

Les cinq principes essentiels de l'architecture de données

Alors que les données d'entreprise continuent de croître de façon exponentielle, les entreprises mondiales réagissent à cette croissance phénoménale des données en mettant en œuvre une multitude de connaissances sur les données et Programmes de gouvernance des données. Cependant, afin de tirer le maximum de valeur commerciale des données, les organisations ont besoin d'un état d'esprit stratégique ainsi que de technologies avancées.

Pour tirer parti des données en tant qu'atout concurrentiel, les organisations se sont maintenant tournées vers les principes fondamentaux de l'AD pour trouver des réponses. Le reste de l'article se concentrera sur cinq principes essentiels d'architecture de données pour réussir les activités de données d'entreprise :

• La qualité des données (DQ) est l'ingrédient de base d'une architecture de données solide. La qualité des données est essentielle pour construire une architecture de données efficace. Des données bien gérées et de haute qualité permettent de créer des modèles précis et des schémas solides. Des données de haute qualité aident également à extraire des informations précieuses. Souvent négligé, le DQ est le principe de base d'une bonne architecture de données. Cette Message KDNugget rappelle que la qualité des données est l'un des aspects les plus oubliés des architectures de données.
• Gouvernance des données (DG) est un facteur critique pour la construction de l'architecture de données. Étroitement liées au principe ci-dessus, les politiques DG régissent les données d'entreprise, quels que soient leur source, leur type ou leur volume. À tout moment du cycle de vie des données, les utilisateurs doivent connaître l'emplacement, les formats, les relations de propriété et d'utilisation, ainsi que toutes les autres informations pertinentes liées aux données. Ainsi, Politiques de gouvernance des données sont essentiels au succès de l'architecture de données car ils effectuent le travail de « chien de garde » sur les questions d'évolutivité, de QD et de conformité.
• La provenance des données est nécessaire pour les audits périodiques. La provenance des données est un ensemble d'informations sur les données, qui suit les données depuis leur source d'origine jusqu'à leur traitement. Si les utilisateurs ne savent pas comment les données ont été collectées, nettoyées et préparées, ils n'auront aucune idée de la fiabilité de l'architecture de données sous-jacente.
• Les données en contexte sont un élément nécessaire. Un attribut discriminant distingue une entité de données d'une autre. Les utilisateurs doivent d'abord comprendre les entités qui existent dans les données et quels attributs les distinguent les unes des autres. Si cette étape n'est pas terminée, les utilisateurs ne parviendront pas à comprendre le contexte des données ou leur rôle dans l'extraction d'informations. Les attributs discriminants aident les architectes de données à comprendre les données dans leur contexte, ce qui est une étape nécessaire pour la modélisation des données.
• La granularité des détails pour chaque attribut doit être comprise. Architectes de données doivent déterminer le niveau de détails requis pour chaque attribut. L'architecture de données doit stocker et récupérer chaque attribut au niveau de détail correct ; il s'agit donc d'une étape critique pour la construction d'une architecture de données performante.

Bien que certains autres principes DA contribuent à la construction d'une architecture de données d'entreprise, une discussion à leur sujet dépasse le cadre de cet article.

Principes des architectures modernes de Big Data

Toute discussion sur les architectures de données sans mentionner le Big Data laisse sûrement un aspect critique en dehors de la discussion. Les données volumineuses désignent des pétaoctets de données multi-structurées et multi-types qui doivent être gérées pour une analyse significative. Voici quelques principes pour construire une architecture Big Data moderne :

• Gestion centralisée des données : Dans ce système, tous les silos de données sont remplacés par une vue centralisée des données d'entreprise à travers les fonctions. Ce type de système centralisé prend également en charge une vue à 360 degrés des données client avec la possibilité de corréler les données de différentes fonctions commerciales.
• Interfaces utilisateur personnalisées : Comme les données sont partagées de manière centralisée, le système fournit plusieurs interfaces conviviales. Le type d'interface est aligné sur l'objectif, comme une interface OLAP pour la BI, une interface SQL pour l'analyse ou le langage de programmation R pour le travail de science des données.
• Vocabulaire commun pour l'utilisation des données : Un hub de données d'entreprise garantit une compréhension et une analyse faciles des données partagées grâce à un vocabulaire commun. Ce vocabulaire commun peut inclure des catalogues de produits, des dimensions de calendrier ou des définitions de KPI, quel que soit le type de consommation ou le type d'utilisation des données. Le vocabulaire commun supprime les disputes inutiles et les efforts de réconciliation.
• Mouvement de données restreint : Les déplacements fréquents de données ont un impact important sur les coûts, la précision et le temps. Les plateformes cloud ou Hadoop apportent une solution à cela ; ils prennent tous deux en charge des environnements multi-charges de travail pour le traitement parallèle d'ensembles de données. Ce type d'architecture supprime le besoin de déplacements de données, optimisant ainsi les investissements en coût et en temps.
• Conservation des données : Conservation des données est un must absolu pour réduire les frustrations des utilisateurs avec l'accès aux données stockées dans des clusters. Les étapes de conservation des données, telles que le nettoyage des données brutes, la modélisation des relations, la définition des dimensions et des mesures, peuvent améliorer l'expérience utilisateur globale et aider à tirer le meilleur parti des données partagées.
• Fonctionnalités de sécurité du système : Les plates-formes de gestion centralisée des données telles que Google BigQuery ou Amazon Redshift nécessitent des politiques de sécurité et de contrôle d'accès strictes pour les données brutes. Aujourd'hui, de nombreuses solutions technologiques facilitent les architectures de données avec une sécurité intégrée et des fonctionnalités en libre-service sans compromettre le contrôle d'accès.

Les principes d'architecture de données ci-dessus peuvent considérablement améliorer l'efficacité d'une architecture Big Data. Pour plus d'informations, vous pouvez consulter quelques Meilleures pratiques de l'AD.

Image utilisée sous licence de Shutterstock.com