異常はデータの予期しない変更であり、重大な問題を示している可能性があります。 異常は、Webサイトの技術的な不具合、または未開拓のビジネスチャンスである可能性があります。 これは、顧客のコンバージョンが非常に多い新しいマーケティングチャネルである可能性があります。 企業はこれまで以上に多くのデータを生成するため、これらの予期しない変更を検出し、タイムリーに対応することが不可欠ですが、困難です。 応答の遅延は、企業に数百万ドルのコストをかけ、機会を逃し、顧客の信頼を失うリスクを伴います。
の一般提供を発表できることを嬉しく思います メトリックスのAmazonルックアウト、機械学習（ML）を使用して、ビジネスにとって最も重要な指標をより高速かつ正確に自動的に監視する新しいサービス。 このサービスにより、予期しない収益の落ち込み、放棄されたショッピングカートの高率、支払いトランザクションの失敗の急増、新規ユーザーの登録数の増加など、異常の根本原因を簡単に診断できます。 メトリックの監視は、単純な異常検出を超えています。 開発者は、重要な指標の自律監視を設定して、数回クリックするだけで異常を検出し、根本原因を特定できます。Amazonが社内で使用しているのと同じテクノロジーを使用して、指標の異常を検出します。すべてMLの経験は必要ありません。
Lookout for Metricsは、次のような19の一般的なデータソースに接続できます。 Amazon シンプル ストレージ ソリューション （Amazon S3）、 アマゾンクラウドウォッチ, Amazon リレーショナル データベース サービス （Amazon RDS）、および Amazonレッドシフト、Salesforce、Marketo、Zendeskなどのサービスとしてのソフトウェア（SaaS）アプリケーションと同様に、ビジネスにとって重要なメトリックを継続的に監視します。 Lookout for Metricsは、データを自動的に検査して準備し、MLを使用して異常を検出し、関連する異常をグループ化し、潜在的な根本原因を要約します。 また、このサービスは異常を重大度でランク付けするため、最初に取り組む問題に優先順位を付けることができます。
Lookout for Metricsは、次のような通知およびイベントサービスに簡単に接続できます。 Amazon シンプル通知サービス （Amazon SNS）、Slack、Pager Duty、および AWSラムダ、トラブルチケットの提出や、小売Webサイトからの誤った価格の製品の削除など、カスタマイズされたアラートまたはアクションを作成できます。 サービスが結果を返し始めると、Lookout for MetricsコンソールまたはAPIを介して、検出された異常の関連性に関するフィードバックを提供することもできます。サービスはこの入力を使用して、時間の経過とともに精度を継続的に向上させます。
電気通信分析プロバイダーであるDigitataは、モバイルネットワークオペレーター（MNO）の価格設定と加入者エンゲージメントをインテリジェントに変換し、より適切で情報に基づいたビジネス上の意思決定を行えるようにします。 DigitataのMNO顧客の16人が、価格設定プラットフォームを誤って更新したため、エンド顧客にインターネットデータバンドルの可能な最大価格を請求しました。 Lookout for Metricsは、この更新によりアクティブな購入が2％以上減少したことをすぐに特定し、AmazonSNSを使用して当該インシデントから数分以内に顧客に通知しました。 顧客はまた、Lookout for Metricsを使用して、価格設定プラットフォームの最新の更新にドロップを帰することができました。 明確で即時の修復パスにより、お客様は通知を受け取ってから7.5時間以内に修正を展開することができました。 Lookout for Metricsがなければ、Digitataが問題を特定してトリアージするのに約XNUMX日かかり、エンドカスタマーの信頼を失うリスクに加えて、顧客の収益がXNUMX％減少することになります。
ソリューションの概要
この投稿では、Lookout for Metricsを使用して、サンプルのeコマースデータセットで異常検出を設定する方法を示します。 このソリューションでは、関連するデータセットをダウンロードし、継続的な異常検出を設定し、オプションで、異常が発生した場合に通知を受信するようにアラートを設定できます。
本サイトの サンプルデータセット のような主要なサポートされているプラットフォーム全体でeコマースウェブサイトの収益とビューの異常な変化を検出するように設計されています pc_web, mobile_web, mobile_app とのようなマーケットプレイス US, UK, DE, FR, ES, IT, JP.
次の図は、当社の連続検出システムのアーキテクチャを示しています。
このシステムを構築するには、次のXNUMXつの簡単な手順が必要です。
- S3バケットを作成し、サンプルデータセットをアップロードします。
- Lookout forMetricsの検出器を作成します。
- データセットを追加し、検出器をアクティブにして、学習と継続的な検出を開始します。
次に、結果を確認して分析できます。
PythonとJupyterに精通している場合は、次の手順に従ってすぐに開始できます。 GitHubレポ; この投稿では、サービスの開始方法について説明します。 検出システムを設定した後、オプションで、指定された重大度のしきい値を満たすか超える異常が見つかったときに通知するアラートを定義できます。
S3バケットを作成し、サンプルデータセットをアップロードします
ダウンロード サンプルデータセット ローカルに保存します。 次に、次の手順を実行します。
このバケットは一意であり、Lookout forMetricsを使用しているのと同じリージョンにある必要があります。 この投稿では、バケットを使用します 059124553121-lookoutmetrics-lab.
- バケットを作成したら、ローカルマシンでデモデータセットを抽出します。
名前の付いたフォルダが必要です ecommerce.
- Amazon S3コンソールで、作成したバケットを開きます。
- 選択する アップロード.
- アップロード
ecommerceフォルダにコピーします。
ファイルの処理には少し時間がかかります。
- ファイルが処理されたら、を選択します アップロード.
アップロードの処理中は、このページから移動しないでください。 データセットの準備ができたら、次のステップに進むことができます。
また、 AWSコマンドラインインターフェイス （AWS CLI）次のコマンドを使用して、わずか数分でファイルをアップロードします。
Lookout forMetricsの検出器を作成します
検出器を作成するには、次の手順を実行します。
- Lookout for Metricsコンソールで、を選択します 検出器を作成する.
- 名前 、検出器名を入力します。
- 説明、説明を入力します。
- インターバル、選択する 1時間間隔.
- オプションで、暗号化設定を変更できます。
- 選択する 創造する.
データセットを追加し、検出器をアクティブにします
ここで、データセットとメトリックを構成します。
- 選択する データセットを追加する.
- 名前 、データセットの名前を入力します。
- 説明、説明を入力します。
- タイムゾーン、UTCタイムゾーンを選択します。
- 情報元、選択する アマゾンS3.
この投稿ではAmazonS3をデータソースとして使用していますが、Lookout for Metricsは、CloudWatch、Amazon RDS、Amazon Redshift、Salesforce、Marketo、ZendeskなどのSaaSアプリケーションを含む19の一般的なデータソースに接続できます。
到着するまでに時間がかかる可能性のあるデータがあり、データが到着するまでLookout for Metricsを待機させて読み取りを開始する場合に備えて、オフセットパラメーターもあります。 これは、AmazonS3にフィードする可能性のある長時間実行ジョブに役立ちます。
- 検出器モード、いずれかを選択する バックテスト or 連続的な.
バックテストを使用すると、履歴データの異常を検出できます。 この機能は、過去のデータでサービスを試したり、過去に発生した既知の異常に対して検証したりする場合に役立ちます。 この投稿では、継続モードを使用します。このモードでは、ライブデータの異常が発生したときに継続的に検出できます。
- 連続データセット内のオブジェクトへのパス、の値を入力します
S3_Live_Data_URI. - 連続データS3パスパターン、お好みの時間形式でS3パスを選択します（この投稿では、次のパスを選択します
{{yyyyMMdd}}/{{/HHmm}}）、これはドロップダウンのXNUMX番目のオプションです。
ドロップダウンメニューのオプションは、データに適合します。
- データソース間隔、ご希望の時間間隔を選択してください（この投稿では、 1時間間隔).
連続モードの場合、システムがプロアクティブに学習できるように、履歴データがある場合はそれを提供するオプションがあります。 履歴データがない場合は、リアルタイムデータまたはライブデータから始めることができ、Lookout forMetricsは外出先で学習します。 この投稿では、学習用の履歴データがあるため、このチェックボックスをオンにします（ステップ10）
- 歴史的なデータ選択 履歴データを使用する.
- 履歴データのS3ロケーション、以前に収集した履歴データのAmazon S3URIを入力します。
あなたはのARNを提供する必要があります AWS IDおよびアクセス管理 （IAM）Lookout forMetricsがS3バケットから読み取れるようにする役割。 既存の役割を使用することも、新しい役割を作成することもできます。 この投稿では、既存の役割を使用します。
- サービスの役割、 選ぶ 役割のARNを入力します.
- ロールARNを入力します。
- 選択する Next.
これで、サービスがデータを検証します。
- 選択する OK.
ソフトウェア設定ページで、下図のように マップファイル ページでは、異常検出を実行するフィールドを指定します。 措置 異常を検出するための主要業績評価指標であり、 大きさ 対策に関するカテゴリ情報です。 すべてのプラットフォーム、マーケットプレイス、および両方の組み合わせについて、ビュー数または収益の異常についてデータを監視することをお勧めします。 データセットごとに最大XNUMXつのメジャーとXNUMXつのディメンションを指定できます。
- 措置、選択する ビュー & 収入.
- 寸法、選択する プラットフォーム & 市場.
Lookout for Metricsは、これらのメジャーとディメンションの各組み合わせを分析します。 この例では、XNUMXつの固有のマーケットプレイス値があります（US, UK, DE, FR, ES, IT, JP）およびXNUMXつの固有のプラットフォーム値（pc_web, mobile_web, mobile_app）、合計21の一意の組み合わせ。 メジャーとディメンション値のそれぞれの一意の組み合わせは、 メトリック。 この場合、21のディメンションと42つのメジャーがあり、合計XNUMXの時系列メトリックがあります。 Lookout for Metricsは、最も詳細なレベルで異常を検出するため、データ内の予期しない動作を特定できます。
- スタンプ、タイムスタンプ形式を選択します（この投稿では、PythonのPandasパッケージのデフォルトの24時間形式、yyyy-MM-dd HH：mm：ssを使用します）。
- 選択する Next.
- 設定を確認して、 保存してアクティブ化する.
検出器ページにリダイレクトされ、ジョブが開始されたことがわかります。 このプロセスは、完了するまでに20〜25分かかります。
ここから、アラートを定義できます。 Lookout for Metricsは、Amazon SNS、Datadog、PagerDuty、Webhooks、Slackなどのチャネルを介してアラートを自動的に送信したり、Lambdaを使用してカスタムアクションをトリガーしたりして、解決までの時間を短縮できます。
おめでとうございます。最初の検出器が稼働しています。
結果を確認して分析する
異常を検出する場合、Lookout for Metricsは、優先順位付けを支援するために重大度スコアを割り当てることにより、最も重要なことに集中するのに役立ちます。 根本原因を見つけるのに役立つように、同じインシデントに関連している可能性のある異常をインテリジェントにグループ化し、さまざまな影響の原因を要約します。 次のスクリーンショットでは、グリニッジ標準時8:22の00月97日の収益の異常の重大度スコアはXNUMXでした。これは、重大度の高い異常であり、早急な対応が必要であることを示しています。 影響分析では、 Mobile_web ドイツ（DE）のプラットフォームが最も大きな影響を受けました。
Lookout for Metricsを使用すると、検出された異常の関連性に関するリアルタイムのフィードバックを提供して、強力なヒューマンインザループメカニズムを実現することもできます。 この情報は異常検出モデルにフィードバックされ、ほぼリアルタイムで継続的に精度が向上します。
クリーンアップ
継続的な請求が発生しないようにするには、この投稿で作成した次のリソースを削除してください。
- 検出器
- S3バケット
- IAMの役割
まとめ
メトリックのルックアウトは、 AWSマネジメントコンソール、AWS SDK、AWS CLI、およびサポートを通じて パートナー カスタマイズされたソリューションを簡単に実装できるようにします。 このサービスはAWSCloudFormationとも互換性があり、欧州連合の一般データ保護規則（GDPR）に準拠して使用できます。
この記事の執筆時点で、Lookout forMetricsは次の地域で利用できます。
- 米国東部（オハイオ）
- 米国東部（バージニア北部）
- 米国西部（オレゴン）
- アジアパシフィック（シンガポール）
- アジアパシフィック（シドニー）
- アジアパシフィック（東京）
- ヨーロッパ（アイルランド）
- ヨーロッパ（フランクフルト）
- ヨーロッパ（ストックホルム）
最初の検出器の構築、さまざまな一般的なデータソースを介したメトリックの追加、および選択した出力チャネルを介したカスタムアラートとアクションの作成を開始するには、を参照してください。 Amazon Lookout forMetricsのドキュメント.
著者について
アンキタヴェルマ Amazon Lookout forMetricsのプロダクトリードです。 彼女の現在の焦点は、企業がAI / MLを使用してデータ駆動型の意思決定を行うのを支援することです。 AWS以外では、彼女はフィットネス愛好家であり、自由な時間に新進のプロダクトマネージャーや起業家を指導するのが大好きです。 彼女はまた、「」と呼ばれる毎週の製品管理ニュースレターを発行しています。製品メンター'サブスタック上。
クリス・キング は、AWSを使用したAppliedAIのシニアソリューションアーキテクトです。 彼はAIサービスの立ち上げに特別な関心を持っており、Amazon Lookout for Metricsに焦点を当てる前に、AmazonPersonalizeとAmazonForecastの成長と構築を支援しました。 余暇には、格闘技の結果を予測するために、料理、読書、ボクシング、モデルの作成を楽しんでいます。
コインスマート。 BesteBitcoin-ヨーロッパのBörse
ソース：https：//aws.amazon.com/blogs/machine-learning/introducing-amazon-lookout-for-metrics-an-anomaly-detection-service-to-proactively-monitor-the-health-of-your-ビジネス/
