効果的なデータ品質プログラムを作成することは、効率の向上とより良い意思決定のためにデータを使用しようとしている組織にとって不可欠です。 データの品質が低いと、ビジネスに損害を与える意思決定が生じる可能性があります。 成功するデータ品質プログラムを構築すると、データが最高品質であることが保証され、有用かつ収益性の高いデータになります。 データが信頼できない場合、そのデータの使用中に行われた決定も信頼できません。

低または低の影響 劣悪なデータ品質 ビジネスに重大な損害を与える可能性があります。 効果的なデータ品質プログラムは、組織のデータが正確で有用であることを保証するのに役立ちます。 成功するプログラムを開発するには、データ スチュワードにビジネスの現在のデータ品質レベルを評価させ、機能戦略を導入し、ベスト プラクティスのシステムを開発させる必要があります。 データ スチュワードは、企業のデータ品質プログラムの管理と組織化に必要です。

In 彼の記事 データ品質は全員のビジネスです — 情報品質の管理、 Health Advances の高度分析担当副社長である Tom Breur 氏は次のように述べています。 

「データスチュワードを配置し、データ品質スコアカードによって品質管理をサポートしたところ、興味深い現象が観察されました。 追加の対策は行わず、データ品質の重要性に対する注意を喚起し、エラー率に関する継続的なフィードバックを行うだけで、精度は以前は不可能と考えられていたレベルまで上昇し続けました。」

のサンプル データ品質スコアカード 組織の目的に合わせてカスタマイズできるサービスをABX MEDIAが提供します。

人的エラーは、データを歪めたり、低品質のデータを生成したりする大きな原因となります。 ただし、自動化されたソフトウェア サービスを実装して使用すると、これらのエラーを大幅に減らすことができます。 可能な場合はいつでも、どこでも、自動化されたサービスを実装する必要があります。 あらゆるビジネスにおけるデータ品質に関する最大の懸念事項の XNUMX つは人的エラーです。

による Nucleus Research の上級アナリスト、Alexander Wurm 氏は次のように述べています。 

「人間との接触点がある場所では、最大のリスクが発生する傾向があります。 だからこそ、オンボーディングやオフボーディングなどのプロセスを自動化することは、データ セキュリティの向上と、新たなプロセス効率や時間の節約の両方において価値があるのです。」

データスチュワードの重要性 データ品質プログラムで

データ スチュワードは、データの精度、一貫性、形式といったデータの品質に責任を負います。 データ スチュワードは、データ ガバナンス ポリシーの管理、コンプライアンスの監視、データ関連の課題への対処も担当します。

ますます多くのビジネスオーナーやマネージャーが、 データスチュワードシップ特にビジネスが拡大するにつれて。 データ スチュワードの追加の責任には以下が含まれますが、これらに限定されません。

• データストレージ
• 新しいデータが既存の矛盾するデータと重複しないようにする
• データにエラーがないことを確認する
• データ構造内で考えられるエラーを探します
• データの一貫性の承認

データを監視する (またはデータを監視するソフトウェアを追跡する) ことで、データ スチュワードはデータ関連の問題を特定して対処し、適切なプライバシーとセキュリティ基準を維持し、データ主導の意思決定を促進できます。

データ スチュワードの仕事量は、組織の規模とデータ管理のニーズによって異なります。 データ管理の必要性が最小限の小規模な組織では、現在のスタッフをパートタイムのデータ スチュワードとして割り当て、トレーニングする場合があります。 大規模な組織では、技術データやセキュリティ データなどを扱うために数人のデータ スチュワードが必要になる場合があります。さらに、大規模で複雑な組織では、複数のデータ スチュワード (および場合によってはデータ) を監督するデータ スチュワードの「マネージャー」を追加することを決定する場合もあります。パイプラインマネージャー）。

データスチュワードがビジネスの全体的な目標と目的を深く理解していることが重要です。

「壊れていないなら、直す必要はない！」という哲学。 現代のデータ駆動型ビジネスには適用すべきではありません。 現代のビジネスは、競争に勝つことを目標に、絶えず進化しています。 結果として、データスチュワードは、データ品質基準が進化し続けることを保証するために、実践とツールの定期的なレビューをスケジュールする必要があります。

データが正確で一貫性がある限り、データには価値があります。 

データ品質の主な特徴

データ スチュワードは、データの精度、完全性、一貫性 (請求と販売の両方で顧客の住所が同じ) を測定してデータの品質を評価することにより、かなり信頼性の高いデータを確保するのに役立ちます。 

高いデータ品質のデータは、信頼性が高く実用的な情報を提供します。 良好なデータ品質を提供するには、エラーを特定して修正し、重複を削除する必要があります（できれば、 マスターデータ)、データを適切にフォーマットします。

データ品質の評価には、多くの場合、次の基準の確立が含まれます。 許容可能なデータ品質、データプロファイリングと分析技術を使用し、統計的手法を使用してデータ品質の問題を特定して修正します。 検査および測定する必要がある主な機能 (「ディメンション」と呼ばれることが多い) は次のとおりです。

• 完全： データが欠落していたり​​、値が不完全であってはなりません。 (完全性評価を使用して、重要な情報が欠落していないことを確認できます。)
• 一意性： コピーを見つけて削除し、組織のデータ ファイル内の情報に重複がないことを確認します。
• 有効： これは、データがどの程度有用であるか、およびデータが組織の基準にどの程度準拠しているかを示します。 (役に立たないデータを保存することはリソースの無駄であり、研究を混乱させたり損害を与えたりする可能性があります。)
• 適時性： 多くの場合、もはや真実でも正確でもない古い情報は削除する必要があります。 データは、その関連性と鮮度を利用して測定できます。 混乱を招かないように、古いデータは削除する必要があります。
• 位置精度： これはデータの精度であり、現実世界の情報をどの程度正確に表しているかということです。
• 一貫性： データをコピーするときは、情報に一貫性があり、正確である必要があります。 正確な社内データの単一ソースの必要性は、マスター データと そのベストプラクティス。 (一貫性評価により、矛盾や情報の矛盾がないことが保証されます。)

データリネージとデータカタログを使用してデータ品質を向上させる

データ品質を向上させるためのデータリネージとデータカタログ作成の使用は、ごく最近のイノベーションです。 組織は、データ品質を向上および維持するためにデータのカタログ化とリネージを使用することの重要性をますます認識しています。 

データカタログ を使用してソースに遡る履歴を提供でき、データ スチュワードは データ系統 データ品質を監視および維持するため。

評価プロセス

組織のデータ品質を評価することは、ギャップを特定し、データ ガバナンスを改善し、信頼できる高品質のデータに基づいて意思決定を行うのに役立ちます。 一般に、「手動」データ品質評価の実行には多大な労力が必要であり、大多数の管理者は決して承認しません。 

評価プロセスにはいくつかのステップが含まれます。

• 組織の全体的なビジネス目標を検討することは、組織の改善を計画して実行する前の適切な第一歩です。

• XNUMX 番目のステップでは、データ品質の改善がビジネスの成功を促進する特定の領域を特定します。 ビジネスのプロセスと意思決定に最大の影響を与えるためには、正確さ、完全性、妥当性、一貫性、独自性、適時性のどの主要な機能を改善する必要があるかを検討します。

• 測定システムを開発します。 たとえば、独自性の特徴を評価する際に、同じタイトルを持つファイルの数を見つけて数えることができます。 (私はいくつかの「古い」履歴書と、現在更新された履歴書を持っており、すべて同じタイトルで、ラップトップ上のさまざまな場所に保存されています。それらはある程度のストレージ容量を占有しますが、より重要なことに、更新された履歴書を送信する前に多少の混乱を引き起こすことがよくあります。 20 ～ 50 の異なるファイル タイトルのコピーを調べることで、一意性の統計的推定を行うことができます。 タイトルの 50% に複数のコピーがある場合は、一意性が懸念されるはずです。 統計的に見て、タイトルのうち XNUMX つだけが XNUMX つのコピーを持っている場合、一意性はそれほど優先されるべきではありません。

• 主要な機能を使用してデータを評価し、データ品質の問題を特定します。 

• データを検査した後、データ スチュワードは不要なデータまたは不正確なデータを削除するプロセスを開始できます (データクレンジング）、ベストプラクティスに基づいて、高品質のデータの保存と使用を促進する手順を確立します。 

データ品質プログラムを成功させるためのベスト プラクティス

これまで、データ品質の開発は、データが組織のデータベースに保存された後に問題を検出するプロセスである、メンテナンスと修復の問題として扱われてきました。 ただし、データ品質プログラムは、データが組織内を移動する際にデータの問題に積極的に対処するように設計できます。 

データ品質を維持するためのベスト プラクティスを以下に示します。 

• 組織で一般的に使用されている外部データ ソースの制限や形式の問題を調べて評価します。
• ビジネス戦略に重点を置き続けます。 
• Data Quality の適用は、完了日のない作業であることを認識してください。
• 可能な限り自動化を使用して、人的エラーを最小限に抑え、作業タスクを完了します。
• 良好なコミュニケーションのために標準化されたデータ処理語彙を開発します。
• データスチュワードは、データ品質の維持における他のスタッフの責任を特定し、確立する必要があります。
• データスチュワードはスタッフと管理者を教育し、最新情報を提供する必要があります。
• 最新情報を提供します（週次レポート、その後月次レポートに移行）。
• 定期的にスケジュールされたデータ クレンジング プログラムを実装します (ソフトウェア に使える）。
• 定期的にデータ品質評価を実施します (おそらく XNUMX か月ごと)。

画像は Shutterstock のライセンスに基づいて使用されています

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://www.dataversity.net/building-a-successful-data-quality-program/