増大するデータ量と切断されたデータサイロ全体にわたって実用的な洞察を生成することは、組織にとってますます困難になっています。 データ アイランド全体で作業すると、思考がサイロ化され、顧客、製品、資産 360 などの重要なビジネス イニシアチブを実装できなくなります。データはデータ センター、エッジ、クラウド プロバイダー全体で生成、保存、使用されるため、分散ストレージ環境を管理します。は複雑で、テクノロジー専門家をガイドするための地図はありません。
による マッキンゼー、ユーザーは多くの場合、適切なデータを見つけるのに時間の 30% を費やします。 その結果、組織はデータ ファブリックを適用して仮想的に統合された環境を構築し、データ利用者がアプリケーションやプロセスにまたがって分散されたデータにアクセスできるようにしています。
データ ファブリック: 誰が、何を?
による ガートナー, データ ファブリックとは、データと接続プロセスの統合層 (ファブリック) として機能する設計概念です。 データ ファブリックは、既存の検出可能で推論されたメタデータ資産上の統合データ層を利用して、ハイブリッド プラットフォームやマルチクラウド プラットフォームを含む企業全体でのデータの設計、展開、利用をサポートします。
この論理データ アーキテクチャは、組織がさまざまな範囲にわたる増大するデータ量に対処できるように設計されています。 データサイロ シームレスな接続と知識層を備えています。 データ ファブリックは、メタデータ、機械学習 (ML)、自動化を使用して、データ形式や場所にまたがる企業データの統一されたビューを提供します。 これにより、データのフェデレーションと仮想化が可能になるだけでなく、分散データ環境でのシームレスなアクセスと共有も可能になります。 また、ビジネスまたはドメインに基づいてデータを取得して接続するのにも役立ちます。
データ ファブリックを使用すると、組織は資産の使いやすさと品質を向上させ、再利用可能なサービスで資産を拡張および充実させることができます。 データ ファブリックが依存するメタデータのおかげで、企業はさまざまな種類のデータ、何が関連し、何がプライバシー制御を必要とするのかを認識することもできます。 それにより、情報エコシステム全体のインテリジェンスが向上します。
設計コンセプトとして、データ ファブリックにはメタデータだけでなく、既存および新規のデータ管理テクノロジの組み合わせが必要です。 データ ファブリックは、データ ウェアハウス、データ レイク、またはデータ レイクに代わるものではありません。 データレイクハウス。 代わりに、AI とグラフベースの分析、および深く統合されたデータ管理ワークフローとアプリケーションを活用します。 ファブリックは、ゼロコピーでデータを同化する仮想化レイヤーを使用して、異種ソースからのデータを集約します。 データ ファブリック層は、プライバシーと規制への準拠も保証します。
データ ファブリック: いつ、どこで、そしてなぜ
データ ファブリックは、無数のソースにまたがって存在し、複数のデータ センターにまたがって保存されているさまざまな形式を含むデータ フットプリントが急速に増大している大規模組織に最適です。 競争力のあるインテリジェンスを構築するためにデータへのアクセスを民主化することも、データ ファブリックによって、高度に相互関係のあるデータを必要とする組織がさまざまなビジネス ユニットや部門間で情報を統合するのに役立つため、もう XNUMX つの一般的なユースケースです。 結局のところ、ビジネスにドメイン コンテキストが不足し、統一されたセマンティクスが組織内でのデータ使用を妨げる場合、データ ファブリックのアプローチは状況を一変させる可能性があります。
データ ファブリックの主な目標は次のとおりです。
- スマートなセマンティック データの統合とエンジニアリングを作成します。 管理されたアクセスにより、データの見つけやすさとわかりやすさが向上します。
- タグ付けと注釈を有効にします。 ガバナンス ポリシーの適用を伴う、データのアクセス、プライバシー、保護、品質に関する一元的なポリシーによってサポートされています。
- 洞察を得るまでの時間を短縮し、データ アクセスを合理化します。 システム全体にわたるデータの統合と分散を簡素化することで、ビジネス インテリジェンス、ML、その他のユースケース全体に適用されます。
- サイロ化された異種データを同化、集約、統合します。 形式に関係なく、人間や機械が明確に発見して利用できるようになります。
企業のデータ管理の課題に対してデータ ファブリックのアプローチを採用すると、統合が簡素化されます。 サイロを排除し、統合の複雑さを軽減することで、データ管理コストを削減します。 これにより、既存のインフラストラクチャを中断することなく、必要に応じて新しいデータ ソース、アプリケーション、データ サービスを追加できる柔軟性も提供されます。
データ ファブリック アーキテクチャのコンポーネント
データ ファブリックの実装と展開は組織によって異なり、従来のアプローチとは異なり、すべてに適合する万能のソリューションはありません。 このアプローチは各ビジネスに固有であり、組織はさまざまなテクノロジーや製品から選択して、自社にとって最適なデータ ファブリックを構築および組み立てる必要があります。 多くの場合、ベンダーはデータ カタログを装飾し、データ ファブリックという名前で販売します。 組織は、ベンダーから事前に統合されたツールを購入するか、さまざまなベンダーから最高のコンポーネントを組み込んで内部で統合して、データ ファブリックを構築できます。
内部では、データ ファブリックはユニバーサル データ表現に依存しており、これによりサイロ、アプリケーション、ユースケース全体でのデータの効率的かつ効果的な検索、自動化、統合、再利用が可能になります。 データ ファブリックの中核には、検出、カタログ化、準備を自動化する ML 主導のアルゴリズムとプロセスが組み込まれているため、データ チームは継続的に進化するデータとスキーマに対応できます。
データ ファブリックは、既存のシステム上のソフトウェア層を活用し、いくつかのサービスで構成されており、ルールを活用して、分類、ビジネス語彙、分類法を使用して管理されるデータ資産にポリシーを自動的にマッピングしてリンクします。
ナレッジ グラフ: データ ファブリックの重要な構成要素
ナレッジ グラフ (KG) 駆動レイヤーは、強力なデータ ファブリックの中核です。 KG は、データ部分にセマンティクスとコンテキストを追加し、多様な構造化および非構造化データセットにわたってデータ要素をリンク/相互接続することで、シームレスな統合とデータの相互運用性を可能にします。 セマンティック KG を使用すると、データは、グラフ モデルが作成され、それに基づいて作成されるセマンティック標準にマッピングされます。 これは、あらゆる種類のメタデータにわたるパターンを識別するため、データの発見と探索に役立ちます。
ナレッジ グラフ モデルの概念、エンティティ、関係、セマンティクスを使用して、データ ファブリックは多様なデータセットを融合し、データ製品全体で有意義に利用できるようにします。 セマンティクス、標準化、データと事実の検証機能をサポートするナレッジ グラフ モデルを使用すると、セマンティクス データの品質だけでなく、データの一貫性、相互運用性、検出可能性も確保できます。 データ ファブリックは、ハイブリッド プラットフォーム、マルチクラウド プラットフォーム、およびエッジ全体でメタデータを継続的に検索、統合、カタログ化、共有する必要があります。 このメタデータは、相互接続と関係を含めて、オントロジーを使用して、接続されたエンティティと属性のグラフとして表されます。
セマンティック カタログ コアは、プライバシー、データ系統、セキュリティ、コンプライアンス検証のためのデータ ポリシーを定義するメタデータによって厳選され、強化されています。 これにより、消費者プロファイルに基づいてポリシーが適用され、ポリシーの適用が自動化されます。 自動データ強化は、機密データの自動検出、分類、検出、データ品質の分析、ビジネス用語と技術メタデータのリンクに適用されます。 ナレッジベースのメタデータ コアは AI および ML アルゴリズムに依存し、メタデータを拡張してナレッジ カタログを作成および強化します。 これにより、発見が容易になり、データ資産が強化され、分析が実行されて、AI を使用したさらなる自動化のための洞察が抽出されます。
データ ファブリックは、大規模組織におけるデータの XNUMX つの最も困難な側面であるデータ サイロとデータ統合を自動化および削減することを目的としたエンタープライズ データ アーキテクチャの進化を表しています。 セマンティック ナレッジ グラフを活用するデータ ファブリックは、インテリジェントなデータ カタログと仮想化アプローチを強化するための鍵となります。これにより、データを所定の場所に維持しながら、データ センターや組織の境界を超えて企業利用のための均一で管理されたアクセスが提供されます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 自動車/EV、 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- ブロックオフセット。 環境オフセット所有権の近代化。 こちらからアクセスしてください。
- 情報源： https://www.dataversity.net/usability-and-connecting-threads-how-data-fabric-makes-sense-out-of-disparate-data/
