IDP Well-Architected Lens は、AWS を使用してインテリジェント文書処理 (IDP) ソリューションを実行し、AWS 上で安全で効率的かつ信頼性の高い IDP ソリューションを構築する方法に関するガイダンスを探しているすべての AWS 顧客を対象としています。

クラウド上で本番環境に対応したソリューションを構築するには、リソース、時間、顧客の期待、ビジネスの成果の間で一連のトレードオフが必要になります。 の AWS の適切に設計されたフレームワーク AWS でワークロードを構築する際の意思決定のメリットとリスクを理解するのに役立ちます。 フレームワークを使用すると、クラウド内で信頼性、安全性、効率性、費用対効果が高く、持続可能なワークロードを設計および運用するための運用およびアーキテクチャのベスト プラクティスを学ぶことができます。

IDP パイプラインは通常、光学式文字認識 (OCR) と自然言語処理 (NLP) を組み合わせて、文書を読んで理解し、特定の用語や単語を抽出します。 IDP Well-Architected Custom Lens では、AWS Well-Architected レビューの手順の概要を説明します。これにより、IDP ワークロード内の技術的リスクを評価および特定できます。 このカスタム レンズは、IDP ワークロードの管理における一般的な課題を効果的にナビゲートして克服するためのベスト プラクティスとガイダンスを統合します。

この投稿では、IDP ソリューションのオペレーショナル エクセレンスの柱に焦点を当てます。 IDP における優れた運用とは、文書処理の分野に堅牢なソフトウェア開発の原則を適用し、高品質の顧客エクスペリエンスを維持しながら、サービス レベル アグリーメント (SLA) を一貫して満たすか上回ることを意味します。 これには、チームを効果的に組織し、ワークロードを効率的に処理するための IDP システムを設計し、これらのシステムを大規模に運用し、顧客のニーズに合わせて継続的に進化させることが含まれます。

この投稿では、オペレーショナル エクセレンスの柱と設計原則の紹介から始めて、組織文化、ワークロード設計、ビルドとリリースの最適化、オブザーバビリティの XNUMX つの重点領域を詳しく掘り下げます。 この投稿を読むことで、IDP ケーススタディを使用した Well-Architected フレームワークのオペレーショナル エクセレンスの柱について学ぶことができます。

設計原則

IDP ワークロードの場合、オペレーショナル エクセレンスは次のようになります。

• 文書データ抽出における高精度と低エラー率 – 文書からデータを抽出する際の精度が最も重要です。これにより、エラーが最小限に抑えられ、意思決定に使用される情報が信頼できるものになります。
• 大量のドキュメントを低遅延で高速処理 – 大量のドキュメントを効率的に迅速に処理できるため、組織はビジネスの要求に対応し、ボトルネックを軽減できます。
• 問題の迅速な診断と解決のための継続的なモニタリング – プロアクティブな監視とメンテナンスにより、文書処理パイプラインの中断を迅速に特定して解決し、スムーズな運用フローを維持できます。
• モデルとワークフローを改善するための迅速な反復 – アルゴリズムとプロセスの継続的な改良を促進するフィードバック ループを実装することで、新たな課題と効率基準を満たすようにシステムが確実に進化します。
• リソースをワークロードの需要に合わせて確保するためのコストの最適化 – 戦略的なリソース管理により、IDP システムへの財務投資が最大の価値を生み出すことを保証し、変動する文書処理需要に合わせてリソースを動的に調整します
• SLAの遵守 – 信頼と満足を維持するには、顧客に約束した基準と所要時間を満たしているか超えていることが重要です

効果的な設計戦略はこれらの目標に沿って調整され、IDP システムが技術的に優れているだけでなく、現実世界の課題に対して最適化されていることを保証する必要があります。 これにより、オペレーショナル エクセレンスがバックエンドの目標から、企業全体の成功に不可欠な戦略的資産へと引き上げられます。 に基づく オペレーショナル エクセレンスの柱の設計原則では、このカスタム レンズに対して次の設計原則を提案します。

重点分野

オペレーショナル エクセレンスの柱の設計原則とベスト プラクティスは、当社がお客様と IDP 専門家から学んだことに基づいています。 設計を選択する際のガイドとしてこれらを使用し、ビジネスが IDP ソリューションに必要とするものに適切に適合することを確認してください。 IDP Well-Architected Lens を適用すると、これらの選択肢が優れた運用を達成することを目的としていることを検証し、特定の運用目標を確実に満たすことを確認するのにも役立ちます。

クラウドにおける IDP ソリューションの優れた運用を実現するための主な重点領域は次のとおりです。

• 組織文化 – 組織文化は、IDP プロジェクトの実施および管理方法を形成する上で極めて重要です。 この文化は、処理時間と精度に対する明確な期待値を設定する明確な SLA によって維持されており、すべてのチーム メンバーが共通の目標に向かっていることを保証します。 これは、オペレーショナル エクセレンスのハブとして機能する集中管理機能によって補完され、ベスト プラクティスを統合し、IDP プロジェクトを成功に導きます。
• ワークロード設計 – これには、さまざまな要求に柔軟に対応できるシステムの構築、文書処理の品質と精度の最適化、外部システムとの効率的な統合が含まれます。
• ビルドとリリースの最適化 – この分野では、標準化された DevSecOps プロセスの実装に重点を置いています。 目標は、開発ライフサイクルを合理化し、自動化を使用して更新プログラムや新機能をスムーズかつ迅速に展開できるようにすることです。 このアプローチは、IDP システムの開発と展開の効率、セキュリティ、信頼性を強化することを目的としています。
• 可観測性 – IDP では、可観測性は、サービス クォータの管理とともに、包括的な監視、アラート、ロギング機能に焦点を当てています。 これには、システムのパフォーマンスを常に監視し、潜在的な問題に対して効果的なアラート メカニズムを設定し、分析用に詳細なログを維持し、リソース割り当て内でシステムが動作していることを確認することが含まれます。

組織文化

IDP でオペレーショナル エクセレンスを達成するには、組織は特定のベスト プラクティスを文化と日常業務に組み込む必要があります。 以下は、組織が IDP ワークフローを最適化する際に役立ついくつかの重要な領域です。

• 文化と運用モデル – IDP ワークロードの戦略的な設計、展開、管理を支持する文化を育成します。 これは文化的な規範であり、文書処理の機敏性と応答性をサポートするためにオペレーティング モデルに統合される必要があります。
• ビジネスと SLA の調整 – IDP の取り組みをビジネス目標および SLA に合わせます。 この実践により、文書処理がビジネス戦略全体をサポートし、関係者が評価するパフォーマンス指標を確実に満たすことができます。
• 継続的なAWSトレーニング – IDP 機能を強化するために、AWS サービスの定期的なトレーニングとスキルアップに努めます。 よく訓練されたチームは、AWS の進化する機能を使用して、ドキュメント処理の効率とイノベーションを向上させることができます。
• 変更管理 – IDP 環境の動的な性質に対処するための堅牢な変更管理プロセスを確立します。 効果的な変更管理はスムーズな移行をサポートし、アップグレード中や戦略の変更中に IDP 運用を中断なく維持するのに役立ちます。
• IDP の成功のための定義された指標 – IDP 運用の成功と影響を測定するための明確な指標を確立および監視します。 例: Amazon CloudWatch を使用すると、Amazon Textract を通じて処理されるドキュメントの数を監視できます。 同様に、Amazon Simple Storage Service (Amazon S3) にアップロードされるドキュメントの量とサイズを監視すると、処理需要の増加率を把握できます。 さらに、AWS Step Functions を使用すると、組み込みメトリクスを使用して処理ジョブの成功率を追跡し、ワークフロー オーケストレーションの有効性についての洞察を得ることができます。
• 反復的な改善 – IDP プロセスを改善するために、フィードバックと反復開発の文化を奨励します。 パフォーマンス データとユーザー フィードバックを定期的に分析することで、組織は情報に基づいて IDP システムを段階的に改善できます。
• 人間によるレビューによるフィードバック ループ – 人間によるレビューからのフィードバック ループを IDP システムに統合します。 これにより、自動化プロセスの精度と有効性を継続的に改善するために使用できる貴重な洞察が得られます。

ワークロード設計

インテリジェントな文書処理システムの管理を成功させるには、効果的なワークロード設計が不可欠です。 この設計は、さまざまな要求に対応し、高い品質と精度を維持し、他のシステムとのシームレスな統合を実現するために、さまざまな要求に適応できる必要があります。 これらの目標を達成するのに役立つベスト プラクティスは次のとおりです。

• IDP ワークフロー ステージの利用– IDP のアーキテクチャを設計するときは、IDP ワークフローの一般的な段階を考慮することが重要です。これは、特定の使用例やビジネス ニーズに応じて異なる場合があります。 一般的な段階には、データのキャプチャ、ドキュメントの分類、ドキュメント テキストの抽出、コンテンツの強化、ドキュメントのレビューと検証、データの消費が含まれます。 アーキテクチャ内でこれらの段階を明確に定義して分離することで、より回復力のあるシステムを作成できます。 このアプローチは、障害が発生した場合にさまざまなコンポーネントを分離するのに役立ち、よりスムーズな運用と容易なメンテナンスにつながります。
• 柔軟な需要対応 – 需要の変化に簡単に適応できる文書処理システムを作成します。 これにより、ビジネス ニーズの変化に応じてシステムをスケールアップまたはスケールダウンし、スムーズに動作し続けることが保証されます。
  • たとえば、Amazon Textract と接続する場合は、Amazon Textract クライアントの作成時に設定パラメータを設定して、スロットリングと切断された接続を確実に管理します。 AWS SDK はオペレーションを失敗とみなす前に、指定された回数だけオペレーションを再試行するため、再試行回数を 5 に設定することをお勧めします。 このメカニズムを組み込むと、SDK の組み込みの指数バックオフ戦略を使用して、スロットリングをより効果的に処理できます。
  • AWS は、さまざまな要因に基づいてサービス制限を定期的に更新する場合があります。 最新のドキュメントを常に最新の状態に保ち、それに応じてスロットル管理戦略を調整してください。 たとえば、Amazon Textract を使用できます。 サービス割り当て計算ツール ユースケースを満たすクォータ値を見積もるために。 アプリケーションが常にスロットリング制限に達する場合は、AWS にサービス割り当てを増やすようリクエストすることを検討してください。 アマゾンテキストラック & Amazon Comprehend.
• 品質と精度の最適化 – AWS Textract のベストプラクティスで説明されているように、高精度を実現する形式でドキュメントを準備することで、Amazon Textract によるデータ抽出の精度を最大化します。 金融サービスや保険など、さまざまな業界の多様なドキュメントで事前トレーニングされた Textract のレイアウト機能を活用してください。 この機能により、複雑な後処理コードの必要性が減ってデータ抽出が簡素化され、文書処理操作の効率が向上し、最終的には文書処理操作の品質と効率の両方が向上します。
• シームレスな外部統合 – IDP システムが外部サービスおよびシステムと効率的に統合できることを確認します。 これにより、一貫したワークフローが提供され、ドキュメント処理パイプライン内でより広範な機能が可能になります。 たとえば、既存のアーキテクチャのモジュール性を確認し、外部システム統合を処理するコンポーネントを特定し、統合ロジックをより小さな粒度の機能に分割します。 AWSラムダ 柔軟性と拡張性を実現します。 開発者や統合パートナーからのフィードバックを継続的に求めて、アーキテクチャを改良し、最適化します。 イベント駆動型処理などの分離された操作のための戦略を採用します。 アマゾンイベントブリッジ 外部システムからのイベントのキャプチャとルーティングに利用できます。
• 透明性と適応性のある処理 – データの発信元から抽出までの各データの明確で追跡可能なパスを設定し、システム内での信頼を構築します。 処理ルールの文書を徹底的かつ最新の状態に保ち、すべての利害関係者にとって透明な環境を促進します。
• Amazon Comprehend Flywheel と Amazon Textract カスタムクエリで IDP を強化
  • Amazon Comprehend フライホイールを活用して、データの取り込みからデプロイまでの ML プロセスを合理化します。 フライホイールの専用 Amazon S3 データレイク内でデータセットを一元化することで、効率的なデータ管理が保証されます。 定期的なフライホイールの反復により、モデルが最新のデータでトレーニングされ、最適なパフォーマンスが評価されることが保証されます。 常に最高パフォーマンスのモデルをアクティブ ステータスに昇格し、アクティブ モデルと同期されたエンドポイントを展開して、手動介入を減らします。 MLOps 原則に基づいたこの体系的なアプローチは、優れた運用を推進し、優れたモデル品質を保証します。
  • さらに、最近導入された Amazon Textract により、 カスタムクエリ この機能を使用すると、自然言語の質問を使用して、固有のビジネス要件を満たすように抽出プロセスを調整できるため、特定の種類のドキュメントの精度が向上します。 カスタムクエリにより、Amazon Textract クエリ機能の適応が簡素化され、ML に関する深い専門知識が不要になり、ドキュメントから貴重な情報を抽出するためのより直感的な方法が容易になります。

ビルドとリリースの最適化

ビルドおよびリリースのプロセスを合理化することは、IDP ソリューションの俊敏性とセキュリティにとって不可欠です。 以下は、自動化、継続的インテグレーションと継続的デリバリー (CI/CD)、およびセキュリティに重点を置いた、ビルドとリリースの最適化における主要な実践方法です。

• 自動展開 – 一貫性と再現性のある導入のために、コードとしてのインフラストラクチャ (IaC) 原則を使用して IDP ソリューションを設計します。 サーバーレス インフラストラクチャは次のように展開できます。 AWSクラウド開発キット（AWS CDK） また、AWS Step Functions のようなローコードのビジュアルワークフローサービスと連携します。
• CI / CDパイプライン – 次のようなツールを活用します AWS コードパイプライン、 AWS コードビルド, AWS コードデプロイ IDP コンポーネントとモデルのビルド、テスト、リリースの各フェーズを自動化します。 自動ロールバックを設定して導入リスクを軽減し、変更追跡とガバナンスを統合して運用導入前に徹底的な検証を行います。
• AWS KMS によるセキュリティ – 優れた運用とは、効率性だけを意味するものではありません。 セキュリティも重要な役割を果たします。 具体的には、顧客管理のキーが基盤となるモデルを暗号化する Amazon Comprehend エンドポイントの場合、次を使用して整合性を維持します。 AWSキー管理サービス (AWS KMS) キーのアクセス許可が重要になります。 利用する AWS の信頼できるアドバイザ エンドポイントのアクセス リスクを確認し、KMS キーのアクセス許可を管理します。
• 多様な外部システムとのシームレスな統合 – ビルドおよびリリースのパイプラインを調整して、多様な外部システムとのシームレスな統合を強調します。 AWS のサービスとベストプラクティスを使用して文書処理ワークフローを設計し、さまざまな外部要件に簡単に接続して適応できます。 これにより、展開の一貫性と俊敏性が確保され、複雑な統合シナリオでも優れた運用が優先されます。

可観測性

IDP で優れた運用を実現するには、監視と可観測性が重要な役割を果たす統合されたアプローチが必要です。 以下は、AWS 環境内での明確性、洞察力、継続的な改善を確保するための重要なプラクティスです。

• 包括的な可観測性 – 次のようなツールを使用して、徹底的な監視と可観測性のソリューションを実装します。 Amazon CloudWatchログ Amazon Textract や Amazon Comprehend などのサービス用。 このアプローチは、すべての関係者に明確な運用上の洞察を提供し、効率的な運用、応答性の高いイベント処理、および継続的な改善のサイクルを促進します。
• Amazon Comprehend エンドポイントのモニタリングと自動スケーリング – Trusted Advisor を採用して Amazon Comprehend エンドポイントを入念にモニタリングし、リソースの使用率を最適化します。 スループット構成を調整するか、 AWS アプリケーションの自動スケーリング リソースを需要に合わせて調整し、効率と費用対効果を高めます。
• Amazon Textrac モニタリング戦略 – Amazon Textract を活用して優れた運用を実現するには、次のような総合的なアプローチを採用します。
  • CloudWatch を利用して Amazon Textract のオペレーションを注意深く監視し、次のような主要なメトリクスから洞察を引き出します。 SuccessfulRequestCount、ThrottledCount、ResponseTime、ServerErrorCount、UserErrorCount
  • これらのメトリクスに基づいて正確なアラームを設定し、それらを統合します。 Amazon シンプル通知サービス (Amazon SNS) によるリアルタイムの異常検出。
  • これらの通知に迅速に対応し、迅速な問題修正と一貫した文書処理効率を確保します。 この戦略は、細心の注意を払った監視と積極的な介入を組み合わせたもので、優れた運用のゴールドスタンダードを設定します。
• AWS CloudTrail を使用した API 呼び出しのログ記録 – AWS クラウドトレイル を使用すると、運用監視と迅速なインシデント対応に重要な API 呼び出し履歴とユーザー アクティビティを可視化できます。 Amazon Textract および Amazon Comprehend サービスは AWS CloudTrail と統合されています。

まとめ

この投稿では、IDP ソリューションで優れた運用を実現するための設計原則、重点分野、基礎、ベスト プラクティスについて説明しました。 この投稿で説明する Well-Architected フレームワークの原則を採用することで、優れた運用を実現するために IDP ワークロードを最適化できます。 IaC、インスツルメンテーション、可観測性、継続的改善などの主要領域に焦点を当てます。これにより、オペレーショナル エクセレンスを達成し、IDP システムが安全かつコンプライアンスに準拠した方法で大規模なビジネス価値を確実に提供できるようになります。

AWS は、生きたツールとして IDP Well-Architected Lens に取り組んでいます。 IDP ソリューションと関連する AWS AI サービスが進化し、新しい AWS サービスが利用可能になると、それに応じて IDP Lens Well-Architected を更新します。

AWS Well-Architected フレームワークについて詳しく知りたい場合は、を参照してください。 AWSの優れた設計.

追加の専門家のガイダンスが必要な場合は、AWS アカウントチームに連絡して、IDP スペシャリスト ソリューション アーキテクトに依頼してください。

著者について

ブリジェシュ・パティ AWS のエンタープライズ ソリューション アーキテクトです。 彼の主な焦点は、企業顧客がワークロードにクラウド テクノロジーを導入できるよう支援することです。 彼はアプリケーション開発とエンタープライズ アーキテクチャの経験があり、スポーツ、金融、エネルギー、プロフェッショナル サービスなど、さまざまな業界の顧客と協力してきました。 彼の興味はサーバーレス アーキテクチャと AI/ML です。

ミア・チャン は、アマゾン ウェブ サービスの ML スペシャリスト ソリューション アーキテクトです。 彼女は EMEA の顧客と協力し、応用数学、コンピューター サイエンス、AI/ML のバックグラウンドを活かして、クラウド上で AI/ML ワークロードを実行するためのベスト プラクティスを共有しています。 彼女は NLP 固有のワークロードに焦点を当てており、カンファレンスの講演者および本の著者としての経験を共有しています。 自由時間には、ハイキング、ボードゲーム、コーヒー淹れを楽しんでいます。

ルイ・カルドーソ は、アマゾン ウェブ サービス (AWS) のパートナー ソリューション アーキテクトです。 AI/ML と IoT に焦点を当てています。 彼は AWS パートナーと協力し、AWS でのソリューションの開発をサポートしています。 仕事以外のときは、サイクリングやハイキングを楽しんだり、新しいことを学んだりしています。

ティム・コンデロ は、アマゾン ウェブ サービス (AWS) のシニア人工知能 (AI) および機械学習 (ML) スペシャリスト ソリューション アーキテクトです。 彼の焦点は自然言語処理とコンピューター ビジョンです。 ティムは、顧客のアイデアを取り入れて、拡張可能なソリューションに変えることを楽しんでいます。

シェリー・ディン は、アマゾン ウェブ サービス (AWS) のシニア人工知能 (AI) および機械学習 (ML) スペシャリスト ソリューション アーキテクトです。 彼女は機械学習に関して豊富な経験を持ち、コンピューター サイエンスの博士号を取得しています。 彼女は主に公共部門の顧客と協力して AI/ML 関連のさまざまなビジネス課題に取り組み、AWS クラウドでの機械学習の取り組みを加速できるよう支援しています。 顧客をサポートしていないときは、屋外アクティビティを楽しんでいます。

ワン・スイン AWS の AI/ML スペシャリスト ソリューション アーキテクトです。 彼女は、機械学習、金融情報サービス、経済学の学際的な教育背景を持ち、現実世界のビジネス上の問題を解決するデータ サイエンスおよび機械学習アプリケーションの構築に長年の経験を持っています。 彼女は、顧客が適切なビジネス上の質問を特定できるよう支援し、適切な AI/ML ソリューションを構築することに喜びを感じています。 余暇には、歌うことと料理が大好きです。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-1-operational-excellence/