Amazon SageMaker フィーチャーストア は、機械学習 (ML) モデルの機能を保存、共有、管理するための、フルマネージドの専用リポジトリです。 特徴 トレーニングと推論中に使用される ML モデルへの入力です。たとえば、音楽プレイリストを推奨するアプリケーションでは、機能には曲の評価、視聴時間、リスナーの人口統計が含まれる可能性があります。フィーチャは複数のチームによって繰り返し使用され、高精度のモデルを保証するにはフィーチャの品質が重要です。また、モデルをオフラインでバッチでトレーニングするために使用される特徴がリアルタイム推論に利用できるようになった場合、2 つの特徴ストアの同期を維持するのは困難です。 SageMaker Feature Store は、ML ライフサイクル全体にわたって大規模に機能を処理、標準化、使用するための安全で統合されたストアを提供します。

SageMaker Feature Store により、AWS アカウント間で機能グループを簡単に共有、検出、アクセスできるようになりました。この新機能により、特に異なるビジネス ユニットや機能にまたがる複数のアカウントを持つエンタープライズ環境において、ML モデルおよびアプリケーション開発に携わるチームのコラボレーションが促進され、重複作業が最小限に抑えられます。

このリリースにより、アカウント所有者は、次の機能を使用して他のアカウントによる選択した機能グループへのアクセスを許可できるようになります。 AWS リソース アクセス マネージャー (AWS RAM)。アクセスが許可されると、これらのアカウントのユーザーは、共有機能を含むすべての機能グループを簡単に表示できるようになります。 Amazon SageMakerスタジオ またはSDK。これにより、チームは他のチームが開発した機能を発見して利用できるようになり、知識の共有と効率が促進されます。さらに、共有リソースの使用状況の詳細は、次の方法で監視できます。 アマゾンクラウドウォッチ & AWS クラウドトレイル。詳細については、を参照してください。 クロスアカウント機能グループの検出とアクセス.

この投稿では、クロスアカウント アクセスを備えた一元化された機能ストアの理由とその方法について説明します。この新機能をセットアップしてサンプル デモを実行する方法と、この新しい機能を組織で使用することで得られる利点を示します。

クロスアカウント機能ストアが必要なのは誰ですか

組織は、機密データへの不正アクセスを防止しながら、正確な ML モデルを構築するためにチーム間で機能を安全に共有する必要があります。 SageMaker Feature Store では、AWS RAM を介してアカウント間で機能をきめ細かく共有できるようになり、ガバナンスを備えた共同モデル開発が可能になります。

SageMaker Feature Store は、トレーニングと推論中に使用される ML 機能専用のストレージと管理を提供します。クロスアカウントのサポートにより、1 つの AWS アカウントに保存されている機能を組織内の他のアカウントと選択的に共有できるようになりました。

たとえば、分析チームは、顧客プロファイル、取引履歴、製品カタログなどの機能を中央管理アカウントで管理する場合があります。これらには、マーケティングや不正検出などの他の部門の ML 開発者がモデルを構築するために安全にアクセスする必要があります。

アカウント間で ML 機能を共有する主な利点は次のとおりです。

• 一貫性のある再利用可能な機能 – 厳選された特徴を一元的に共有することで、トレーニングに使用する一貫した入力データが提供されるため、モデルの精度が向上します。チームは、各アカウントで機能を複製するのではなく、他の人が作成した機能を発見して直接利用できます。
• 機能グループのアクセス制御 – アカウントの使用例に必要な特定の機能グループのみへのアクセスを許可できます。たとえば、マーケティング チームは、推奨モデルに必要な顧客プロファイル機能グループのみにアクセスできる場合があります。
• チーム間のコラボレーション – 共有機能により、不正行為、マーケティング、営業などの異種チームが、サイロ化された機能を作成するのではなく、同じ信頼できるデータを使用して ML モデルを構築する際に協力できます。
• コンプライアンスの監査証跡 – 管理者は、CloudTrail イベント ログを使用して、すべてのアカウントによる機能の使用状況を一元的に監視できます。これにより、ガバナンスとコンプライアンスに必要な監査証跡が提供されます。

クロスアカウント機能ストアでプロデューサーとコンシューマーを区別する

機械学習の領域では、フィーチャ ストアはデータを提供する人とそれを利用する人を結び付ける重要な架け橋として機能します。この二分法は、機能ストアのクロスアカウント設定を使用して効果的に管理できます。次のペルソナと現実世界の例えを使用して、これをわかりやすく説明してみましょう。

• データおよび ML エンジニア (オーナーおよびプロデューサー) – データを特徴ストアにフィードすることで基礎を築きます
• データサイエンティスト（消費者） – このデータを抽出して利用してモデルを作成します

データ エンジニアは、初期の青写真をスケッチするアーキテクトの役割を果たします。彼らの任務は、効率的なデータ パイプラインを構築し、監督することです。ソース システムからデータを引き出し、生データの属性を識別可能な特徴に成形します。たとえば「年齢」を考えてみましょう。これは現在から誕生日までの期間を表すだけですが、その解釈は組織によって異なる場合があります。ここでは、品質、均一性、一貫性を確保することが最も重要です。彼らの目的は、集中化された機能ストアにデータをフィードし、議論の余地のない参照ポイントとして確立することです。

ML エンジニアは、これらの基本的な機能を改良し、成熟した ML ワークフローに合わせて調整します。銀行業務のコンテキストでは、口座残高から統計的な洞察を導き出し、傾向やフロー パターンを特定する可能性があります。彼らがしばしば直面するハードルは冗長性です。さまざまな ML イニシアチブにわたって、繰り返しの機能作成パイプラインが見られるのが一般的です。

データ サイエンティストが、次の傑作料理に最適な食材を求めて、食料品が豊富に揃っている食料庫を探し回るグルメ シェフであると想像してください。彼らの時間は、パントリーの再構築ではなく、革新的なデータ レシピの作成に投資されるべきです。この時点でのハードルは、適切なデータを見つけることです。効率的な検索ツールと包括的な機能説明を備えたユーザーフレンドリーなインターフェイスが不可欠です。

基本的に、クロスアカウント機能ストアのセットアップは、データの作成者と利用者の役割を細心の注意を払ってセグメント化し、効率、明瞭さ、革新性を確保します。基礎を築く場合でも、その上に構築する場合でも、自分の役割とツールを知ることが極めて重要です。

次の図は、2 つの異なる AWS アカウントに所属する 2 つの異なるデータ サイエンティスト チームが、同じ中央機能ストアを共有および使用して、ML モデルの構築に必要な最適な機能を選択する様子を示しています。中央機能ストアは、データ ガバナンス レイヤーとデータ レイクが通常配置される、データ エンジニアと ML エンジニアによって管理される別のアカウントに配置されます。

クロスアカウント機能グループ制御

SageMaker Feature Store を使用すると、アカウント間で機能グループのリソースを共有できます。リソース所有者アカウントは、リソース コンシューマ アカウントとリソースを共有します。リソースの共有に関連する権限には、次の 2 つの異なるカテゴリがあります。

• 発見可能性の許可 – 発見可能性 機能グループ名とメタデータを確認できることを意味します。検出許可を付与すると、共有元のアカウント (リソース所有者アカウント) 内のすべての機能グループ エンティティが、共有先のアカウント (リソース コンシューマー アカウント) によって検出可能になります。たとえば、リソース所有者アカウントをリソース コンシューマ アカウントで検出できるようにすると、リソース コンシューマ アカウントのプリンシパルは、リソース所有者アカウントに含まれるすべての機能グループを参照できるようになります。この権限は、SageMaker カタログ リソース タイプを使用してリソース コンシューマ アカウントに付与されます。
• アクセス許可 – アクセス許可を付与するときは、(アカウント レベルではなく) 機能グループ リソース レベルで行います。これにより、データへのアクセスの許可をより詳細に制御できるようになります。付与できるアクセス許可の種類は、読み取り専用、読み取り/書き込み、および管理者です。たとえば、ビジネス ニーズに応じて、リソース所有者アカウントから特定の機能グループのみを選択して、リソース コンシューマ アカウントのプリンシパルがアクセスできるようにすることができます。この権限は、機能グループ リソース タイプを使用し、機能グループ エンティティを指定することによって、リソース コンシューマー アカウントに付与されます。

次の図例は、検出権限を付与する SageMaker カタログ リソース タイプの共有と、アクセス権限を持つ機能グループ リソース タイプ エンティティの共有を視覚化しています。 SageMaker カタログには、すべての機能グループ エンティティが含まれています。検出権限が付与されている場合、リソース コンシューマー アカウントは、リソース所有者アカウント内のすべての機能グループ エンティティを検索して検出できます。機能グループ エンティティには ML データが含まれます。アクセス許可が付与されると、リソース コンシューマ アカウントは、関連するアクセス許可によって決定されるアクセス権を使用して、機能グループ データにアクセスできます。

ソリューションの概要

SageMaker Feature Store を使用してアカウント間で機能を安全に共有するには、次の手順を実行します。

1. ソース (所有者) アカウントで、データセットを取り込み、正規化された特徴を準備します。関連する機能を機能グループと呼ばれる論理グループに編成します。
2. リソース共有を作成して、特定の機能グループへのクロスアカウント アクセスを許可します。 get や put などの許可されるアクションを定義し、許可されたアカウントのみにアクセスを制限します。
3. ターゲット (消費者) アカウントで、共有機能にアクセスするための AWS RAM の招待を受け入れます。アクセス ポリシーを確認して、付与されている権限を理解します。

ターゲット アカウントの開発者は、SageMaker SDK を使用して共有機能を取得し、追加データと結合し、それらを使用して ML モデルをトレーニングできるようになりました。ソースアカウントは、CloudTrail イベントログを使用して、すべてのアカウントによる共有機能へのアクセスを監視できます。監査ログにより、機能の使用状況を一元的に把握できます。

これらの手順を実行すると、組織全体のチームが共有 ML 機能を安全に使用して共同モデル開発を行うことができます。

前提条件

すでに機能グループを作成し、対応する機能を所有者アカウント内に取り込んでいることを前提としています。開始方法の詳細については、以下を参照してください。 Amazon SageMaker FeatureStoreを始めましょう.

発見可能性のアクセス許可を付与する

まず、SageMaker Feature Store カタログを所有者アカウントで共有する方法を示します。次の手順を実行します。

1. SageMaker Feature Store カタログの所有者アカウントで、AWS RAM コンソールを開きます。
2. 私が共有 ナビゲーション ペインで、 リソース共有.
3. 選択する リソース共有の作成.
4. リソース共有名を入力し、選択します SageMaker リソース カタログ リソースタイプとして。
   
5. 選択する Next.
6. 発見可能性のみのアクセスの場合は、次のように入力します。 AWSRAMPermissionSageMakerCatalogResourceSearch for 管理された権限.
   
7. 選択する Next.
8. 個人向けアカウント ID を入力して選択します Add。複数の消費者アカウントを追加できます。
   
9. 選択する Next そしてリソースの共有を完了します。

これで、共有 SageMaker Feature Store カタログが リソース共有 ページで見やすくするために変数を解析したりすることができます。

を使用しても同じ結果を達成できます。 AWSコマンドラインインターフェイス (AWS CLI) 次のコマンドを実行します (AWS リージョン、所有者アカウント ID、およびコンシューマー アカウント ID を指定します)。

aws ram create-resource-share 
  --name MyCatalogFG 
  --resource-arns arn:aws:sagemaker:REGION:OWNERACCOUNTID:sagemaker-catalog/DefaultFeatureGroupCatalog 
  --principals CONSACCOUNTID 
  --permission-arns arn:aws:ram::aws:permission/AWSRAMPermissionSageMakerCatalogResourceSearch

リソース共有の招待を受け入れる

リソース共有の招待を受け入れるには、次の手順を実行します。

1. ターゲット (消費者) アカウントで、AWS RAM コンソールを開きます。
2. 私と共有 ナビゲーション ペインで、 リソース共有.
3. 新しい保留中のリソース共有を選択します。
   
4. 選択する リソース共有を受け入れる.
   

AWS CLI を使用して次のコマンドを実行しても、同じ結果を得ることができます。

aws ram get-resource-share-invitations

前述のコマンドの出力から、次の値を取得します。 resourceShareInvitationArn 次に、次のコマンドを使用して招待を受け入れます。

aws ram accept-resource-share-invitation 
--resource-share-invitation-arn RESOURCESHAREINVITATIONARN

ワークフローは、AWS RAM 経由で機能グループを別のアカウントと共有する場合と同じです。

いくつかの機能グループをターゲット アカウントと共有した後、SageMaker 機能ストアを調べることができ、新しいカタログが利用可能であることを確認できます。

アクセス許可を付与する

アクセス権限を使用すると、機能グループのリソース レベルで権限を付与できます。次の手順を実行します。

1. SageMaker Feature Store カタログの所有者アカウントで、AWS RAM コンソールを開きます。
2. 私が共有 ナビゲーション ペインで、 リソース共有.
3. 選択する リソース共有の作成.
4. リソース共有名を入力し、選択します SageMaker 機能グループ リソースタイプとして。
5. 共有する 1 つ以上の機能グループを選択します。
   
6. 選択する Next.
7. 読み取り/書き込みアクセスの場合は、次のように入力します。 AWSRAMPermissionSageMakerFeatureGroupReadWrite for 管理された権限.
   
8. 選択する Next.
9. 個人向けアカウント ID を入力して選択します Add。複数の消費者アカウントを追加できます。
   
10. 選択する Next そしてリソースの共有を完了します。

これで、共有カタログが リソース共有 ページで見やすくするために変数を解析したりすることができます。

AWS CLI で次のコマンドを使用しても、同じ結果を得ることができます (リージョン、所有者アカウント ID、コンシューマー アカウント ID、機能グループ名を指定します)。

aws ram create-resource-share 
  --name MyCatalogFG 
  --resource-arns arn:aws:sagemaker:REGION:OWNERACCOUNTID:feature-group/FEATUREGROUPNAME 
  --principals CONSACCOUNTID 
  --permission-arns arn:aws:ram::aws:permission/AWSRAMPermissionSageMakerFeatureGroupReadWrite

機能グループに付与できるアクセスには、次の 3 種類があります。

• AWSRAM権限SageMakerFeatureGroupReadOnly – 読み取り専用権限により、リソース コンシューマ アカウントは共有機能グループ内のレコードを読み取り、詳細とメタデータを表示できます。
• AWSRAM権限SageMakerFeatureGroupReadWrite – 読み取り/書き込み権限により、リソース コンシューマ アカウントは読み取り権限に加えて、共有機能グループにレコードを書き込んだり、共有機能グループからレコードを削除したりすることができます。
• AWSRAM権限SagemakerFeatureGroupAdmin – 管理者権限により、リソース コンシューマ アカウントは、読み取り/書き込み権限に加えて、共有機能グループ内の機能の説明とパラメータを更新し、共有機能グループの設定を更新できます。

リソース共有の招待を受け入れる

リソース共有の招待を受け入れるには、次の手順を実行します。

1. ターゲット (消費者) アカウントで、AWS RAM コンソールを開きます。
2. 私と共有 ナビゲーション ペインで、 リソース共有.
3. 新しい保留中のリソース共有を選択します。
   
4. 選択する リソース共有を受け入れる.

AWS CLI を使用してリソース共有を受け入れるプロセスは、get-resource-share-invitation および accept-resource-share-invitation コマンドを使用する前の検出可能性セクションと同じです。

この新しい機能を紹介するサンプル ノートブック

2 つのノートブックが SageMaker Feature Store ワークショップに追加されました GitHubリポジトリ フォルダー 09-module-security/09-03-cross-account-access:

• m9_03_nb1_クロスアカウント管理者.ipynb – これは管理者または所有者の AWS アカウントで起動する必要があります
• m9_03_nb2_cross-account-consumer.ipynb – これはコンシューマー AWS アカウントで起動する必要があります

最初のスクリプトは、管理者または所有者アカウントで既存の機能グループの検出可能性リソース共有を作成し、AWS RAM API を使用してプログラムで別のコンシューマ アカウントと共有する方法を示しています。 create_resource_share()。また、所有者アカウントで既存の機能グループにアクセス許可を付与し、AWS RAM を使用してこれらを別の消費者アカウントと共有する方法も示します。ノートブックを実行する前に、コンシューマー AWS アカウント ID を指定する必要があります。

2 番目のスクリプトは、所有者レベルからクロスアカウント機能グループを検出してアクセスするための AWS RAM 招待を受け入れます。次に、所有者アカウントにあるクロスアカウント機能グループを検出し、コンシューマー アカウントにこれらを一覧表示する方法を示します。また、所有者アカウント上の読み取り/書き込みクロスアカウント機能グループにアクセスし、コンシューマー アカウントから次の操作を実行する方法も確認できます。 describe(), get_record(), ingest(), delete_record().

まとめ

SageMaker Feature Store のクロスアカウント機能には、いくつかの魅力的な利点があります。まず、複数の AWS アカウント間での機能グループの共有を可能にすることで、シームレスなコラボレーションを促進します。これにより、データへのアクセスと利用が強化され、異なるアカウントのチームが ML ワークフローに共有機能を使用できるようになります。

さらに、クロスアカウント機能により、データ ガバナンスとセキュリティが強化されます。 AWS RAM を通じてアクセスと権限を制御することで、組織は一元化された機能ストアを維持しながら、各アカウントに調整されたアクセス レベルを確保できます。これにより、データ管理が効率化されるだけでなく、許可されたユーザーのみにアクセスを制限することでセキュリティ対策も強化されます。

さらに、アカウント間で機能グループを共有できるため、共同環境で ML モデルを構築およびデプロイするプロセスが簡素化されます。これにより、より統合された効率的なワークフローが促進され、データ ストレージの冗長性が削減され、共有された高品質の機能を備えた堅牢なモデルの作成が容易になります。全体として、Feature Store のクロスアカウント機能により、さまざまな AWS アカウントにわたる ML 開発におけるコラボレーション、ガバナンス、効率が最適化されます。ぜひ試してみて、コメントでご意見をお聞かせください。

著者について

イオアンカタナ AWS のシニア人工知能および機械学習スペシャリスト ソリューション アーキテクトです。彼は、顧客が AWS クラウドで ML ソリューションを開発および拡張できるよう支援しています。 Ioan は、主にソフトウェア アーキテクチャ設計とクラウド エンジニアリングにおいて 20 年以上の経験があります。

フィリップ・カインドル AWS のシニア人工知能および機械学習ソリューション アーキテクトです。データ サイエンスと機械工学のバックグラウンドを持つ彼は、AI の助けを借りて顧客が持続的なビジネス インパクトを生み出すことができるようにすることに重点を置いています。仕事以外では、フィリップは 3D プリンターいじり、セーリング、ハイキングを楽しんでいます。

ダヴァル・シャー AWS のシニア ソリューション アーキテクトであり、機械学習を専門としています。デジタル ネイティブ ビジネスに重点を置き、顧客が AWS を使用してビジネスの成長を促進できるように支援します。 ML 愛好家である Dhaval は、前向きな変化をもたらす影響力のあるソリューションを作成するという情熱に突き動かされています。余暇には旅行を満喫し、家族との充実した時間を大切にしています。

ミサヌール・ラーマン Amazon SageMaker Feature Store のシニア ソフトウェア エンジニアであり、AI と ML に特化した 10 年以上の実践経験があります。理論と実践の両方における強力な基礎を持ち、博士号を取得しています。機械学習を使用した不正行為検出の分野での功績は、この分野の進歩に対する彼の献身的な姿勢を反映しています。彼の専門知識は広範囲にわたり、スケーラブルなアーキテクチャ、分散コンピューティング、ビッグデータ分析、マイクロ サービス、組織向けのクラウド インフラストラクチャを網羅しています。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-feature-store-now-supports-cross-account-sharing-discovery-and-access/