この投稿は、RallyPoint の CEO である Dave Gowel と共同執筆しました。 彼自身の言葉で、 「ラリーポイント は、退役軍人、軍人、家族、介護者、およびその他の米軍の文民サポーターのためのオンライン ソーシャルおよびプロフェッショナル ネットワークです。 プラットフォーム上に XNUMX 万人のメンバーがいる同社は、この資格のある人々が互いにつながるための快適な場所と、彼らをサポートするように設計されたプログラムを提供しています。に設立された地域オフィスに加えて、さらにローカルカスタマーサポートを提供できるようになります。」
軍人、および彼らを支援するすべての人は、軍人が民間人の生活に戻るときに、さまざまな雇用上の問題に直面することがよくあります。 RallyPoint は、民間のキャリアへの移行期間を、自動化された説得力のある仕事の推奨事項を作成することにより、この人々の生活の質を向上させる主要な機会として特定しました。 ただし、チームは歴史的にルールベースのキュレーション方法を採用して、ユーザーエクスペリエンス全体で仕事を推奨していたため、メンバーは個々の経験、専門知識、および興味に合わせてパーソナライズされた仕事の推奨事項を取得できませんでした.
「メンバーのこのエクスペリエンスを改善するために、RallyPoint では、機械学習 (ML) がどのように役立つかを探りたいと考えていました。 私たちは、軍人、退役軍人、およびその愛する人たちが、軍を去ることを決めたときに、充実した民間のキャリアパスを探すために時間を無駄にしてほしくない. 簡単なプロセスである必要があります。 メンバーには、軍事経験、通った学校、個人的な好みについて話してもらいたい. 次に、何百万人もの軍人や退役軍人のメンバーから得た知識を活用することで、関連する募集中の仕事を面倒に探すのではなく、簡単に見つけられるようにする必要があります。 メンバー向けのこの無料サービスは、適切な軍人や退役軍人の人材を求める雇用主から少なくとも XNUMX 桁の収益を生み出すことが期待されており、メンバー向けにより多くの無料機能を構築することができます。」
このブログ投稿では、 Amazon Machine Learning ソリューション ラボ (MLSL) は RallyPoint と提携して、現在のルールベースの実装からの RallyPoint メンバー向けのその他の改善の中で、パーソナライズされたキャリアの推奨事項を 35% 改善し、カバレッジを 66 倍に増やしました。
「MLSL は、RallyPoint が米軍コミュニティの命を救い、改善するのに役立ちました。 幸運なことに、MLSL を使用して複数の複雑で影響力のあるプロジェクトに取り組み、最も価値のある人口をサポートすることで、RallyPoint はその過程で複数の主要な組織指標の成長を加速させました。 MLSL の優れた才能、文化、および機械学習への投資からの測定可能で魅力的な結果の実現を支援することに重点を置いていることにより、自殺のリスクを減らし、キャリアの移行を改善し、軍人、退役軍人、およびその家族の重要なつながりをスピードアップすることができました。」
*RallyPoint チーム提供の写真。
次のセクションでは、ビジネスと技術の課題、AWS と RallyPoint チームが採用したアプローチ、および実装されたソリューションのパフォーマンスについて説明します。 Amazonパーソナライズ.
Amazon Personalize を使用すると、開発者は、特定の製品の推奨、パーソナライズされた製品の再ランキング、カスタマイズされたダイレクト マーケティングなど、幅広いパーソナライズ エクスペリエンスを提供できるアプリケーションを簡単に構築できます。 Amazon Personalize は、カスタム ML モデルをトレーニング、チューニング、デプロイすることで、厳格で静的なルールベースのレコメンデーション システムを超えた完全マネージド型の ML サービスであり、小売、メディア、エンターテイメントなどの業界全体で高度にカスタマイズされたレコメンデーションを顧客に提供します。
ビジネスと技術の課題
複数のビジネス課題がこのパートナーシップに影響を与えました。 最も適切なのは、RallyPoint Web サイトで推奨される上位 10 の仕事のクリック率でした。 RallyPoint は、プラットフォーム内でのユーザー エンゲージメントを分析し、ユーザーがクリックしている関連する仕事の数を増やす必要があることを発見しました。 推奨される仕事の関連性が高いほど、メンバーがその仕事に応募する可能性が高くなり、雇用結果の改善につながるという考えです。
次の課題は、サイトで提供される求人サービスに対するメンバーのエンゲージメントを高めることでした。 RallyPoint は、人々が「ブランドを構築して軍事コミュニティと関わり、製品やサービスを宣伝し、採用マーケティング キャンペーンを実施し、求人を掲載し、ベテランの人材を探す」機会を提供します。 彼らは再び AWS Personalize を適用して、より多くの人々が市民生活に移行できるようにする機会を特定し、RallyPoint の直接の顧客により良い結果をもたらすために、クリックから顧客へのコンバージョン数を改善しようとしました。
技術的な観点からは、多くの従来のレコメンダー システムの問題と同様に、データの希薄性とロング テールは克服すべき課題でした。 匿名化され、すでに公開されているデータのサンプル セットには、数千の匿名化されたユーザー プロファイルが含まれており、XNUMX を超えるユーザー メタデータ ポイントが含まれていましたが、多くのメタデータ/プロファイル情報には一貫性がなかったり、欠落していました。 これに取り組むために、チームは関連するユーザー向けに Amazon Personalize のコールド スタート推奨機能を活用しました。
ソリューションの概要
この問題を解決するために、MLSL は RallyPoint と協力して、RallyPoint 用のカスタム Amazon Personalize パイプラインを構築しました。 使用されるサービスの一部は次のとおりです。 Amazon シンプル ストレージ サービス （Amazon S3）、 Amazon SageMaker ノートブック インスタンス、および Amazon Personalize です。 次の図は、ソリューション アーキテクチャを示しています。
ソリューションに使用された匿名化された生データは、求人情報とのやり取りの履歴と、ユーザー プロファイルおよび役職に関するメタデータで構成されていました。 これはS3に保存されました。 MLSL チームは、Amazon SageMaker ノートブック インスタンスを使用して、Amazon Personalize への入力としてデータを準備しました。 このステップには、データの前処理、機能エンジニアリング、および Amazon Personalize に必要なデータセット グループとスキーマの作成が含まれていました。 詳細については、次を参照してください。 カスタム データセット グループの作成.
次のステップは、Amazon Personalize でソリューションを作成することでした。 ソリューションとは、Amazon Personalize レシピ、カスタマイズされたパラメータ、および XNUMX つ以上のソリューション バージョンの組み合わせを指します。 詳細については、次を参照してください。 ソリューションの作成. チームは、 ユーザーパーソナライゼーションレシピ 検証セット内のユーザーに対して、ユーザー固有のジョブの推奨事項を生成します。 ジョブの推奨事項やパフォーマンスメトリクスを含む Amazon Personalize の出力は、さらに分析するために Amazon S3 バケットに保存されます。
最後のステップで、チームはノートブック インスタンスを使用して、ヒューマン アノテーターによる外部評価用の出力推奨事項を準備しました。 ドメイン エキスパートの使用 のセクションから無料でダウンロードできます。
Amazon Personalize の結果の評価
Amazon Personalize ソリューション バージョンのパフォーマンスは、以下を使用して評価できます。 オフライン指標, オンラインメトリクス, A / Bテスト. オフライン メトリクスを使用すると、モデルのトレーニングに使用されるハイパーパラメーターとアルゴリズムの変更の影響を、履歴データに対して計算して表示できます。 オンライン メトリックは、ライブ環境で提供されるリアルタイムのレコメンデーション (クリック率など) とのユーザーの対話で観察された経験的な結果です。 A/B テストは、複数のソリューション バージョンのパフォーマンスを既定のソリューションと比較するオンラインの方法です。 ユーザーは、コントロール (デフォルト) グループまたは処理 (テスト) グループのいずれかにランダムに割り当てられます。 コントロール グループのユーザーは既定のソリューション (ベースライン) から推奨事項を受け取りますが、各治療グループは異なるソリューション バージョンと対話します。 統計的有意性テストを使用して、パフォーマンス メトリック (クリック率や待機時間など) およびビジネス メトリック (収益など) を既定のソリューションと比較します。
Amazon Personalize は、ソリューション バージョンのトレーニング中にオフライン メトリクスを測定します。 チームは、平均逆数順位 (MRR)、正規化された割引累積ゲイン (NCDG@k)、Precision@k、カバレッジなどのオフライン メトリクスを使用しました。 利用可能なすべてのオフライン メトリックの定義については、次を参照してください。 指標の定義.
Amazon Personalize は、チームがトレーニング中にソリューションのパフォーマンスを客観的に測定するために使用できるオフライン メトリクスの広範なリストを提供しますが、オンライン メトリクスと A/B テストは、モデルのパフォーマンスを追跡および検証するために推奨されます。 これらのテストの XNUMX つの注意点は、ユーザーが Amazon Personalize の推奨事項をリアルタイムで操作する必要があることです。 RallyPoint Amazon Personalize モデルはこの公開前にデプロイされていなかったため、チームはこれらのテストについて報告する結果を持っていませんでした。
ドメイン エキスパートの使用
A/B テストはレコメンデーション システムの品質を分析するための推奨される方法ですが、ドメイン エキスパートを使用してレコメンデーションに注釈を付けることは実行可能な前兆です。 オンライン テストはオプションではなかったため、推奨事項の堅牢性をテストするために、チームは RallyPoint のドメイン エキスパートに、モデルによって生成された推奨事項に注釈を付けるよう依頼し、専門家が推奨することに同意した職種の数を数えました (ユーザーの情報と示された設定) として 「正しい」レコメンデーションの数. このメトリックは、ソリューションのバージョンを比較するために使用されました。 あ 人気ソリューション (現在のルールベースの基準) は、すべてのユーザーに最も人気のある上位 XNUMX つの職種を推奨するベースラインとして使用されました。 さらに、デフォルト設定のソリューションを別のベースライン モデルとして使用しました。 Amazon Personalize ベースライン ソリューション.
結果
最高のパフォーマンスを発揮するモデルを使用すると、Amazon Personalize ベースライン ソリューションよりも「正しい」レコメンデーションの数が 35% 改善され、人気のあるソリューションよりも 54% 改善されました。 チームはまた、人気のあるソリューションと比較して、カバレッジで 66 倍、MRR で 30 倍、精度 @2 で 10 倍の改善を達成できました。 人気のあるソリューションに加えて、チームは、Amazon Personalize ベースライン ソリューションと比較して、MRR と精度 @2 が最大 10 倍増加したことを観察しました。
まとめ
RallyPoint は、よりパーソナライズされたキャリア レコメンデーションにより、顧客により良いサービスを提供する機会を認識しました。 彼らは、Machine Learning Solutions Lab と提携して、顧客への執着を念頭に置いてユーザーのパーソナライゼーションの旅を始めました。 RallyPoint は、このソリューションを通じて、より価値のあるキャリアの推奨事項をユーザーに提供できるようになりました。 この改善されたレコメンデーション システムを Web サイトに組み込むことで、RallyPoint ユーザーは自分のキャリア フィードでより関連性の高い仕事を見ることができるようになり、より充実したキャリアへの道が容易になり、メンバーの生活の質が向上します。
Amazonパーソナライズ 今日のユーザーに個別のエクスペリエンスを提供するために! 専門家と協力して ML ソリューションを組織に導入したい場合は、 Amazon MLソリューションラボ.
その他のリソース
Amazon Personalizeの詳細については、以下を参照してください。
著者について
デイブ・ガウエル 陸軍の退役軍人であり、RallyPoint の CEO です。 Dave は West Point と US Army Ranger School を卒業し、戦車小隊のリーダーとしてイラクに勤務し、マサチューセッツ工科大学の ROTC プログラムで助教授として教鞭をとっていました。 RallyPoint は、Dave が CEO を務めた XNUMX 番目のテクノロジ企業です。
マシューローズ で働くデータサイエンティストです Amazon ML ソリューション ラボ。 彼は、自然言語処理やコンピューター ビジョンなどの概念を含む機械学習パイプラインの構築を専門としています。
アミン・タジガルドゥーン の応用科学者です Amazon ML ソリューション ラボ。 彼は、コンピューター サイエンスと機械学習の分野で幅広いバックグラウンドを持っています。 特に、Amin の焦点は、ディープ ラーニングと予測、予測説明方法、モデル ドリフト検出、確率的生成モデル、およびヘルスケア ドメインでの AI のアプリケーションです。
ヤシュシャー の科学マネージャーです。 Amazon ML ソリューション ラボ。 彼と彼の応用科学者と機械学習エンジニアのチームは、ヘルスケア、スポーツ、自動車、製造など、さまざまな機械学習のユースケースに取り組んでいます。
ヴァムシ クリシュナ エナボタラ AWS の上級応用 AI スペシャリスト アーキテクトです。 彼は、さまざまなセクターの顧客と協力して、影響力の大きいデータ、分析、および機械学習のイニシアチブを加速させています。 AI と ML のレコメンデーション システム、NLP、コンピューター ビジョンの分野に情熱を注いでいます。 仕事以外では、Vamshi は RC 愛好家であり、RC 機器 (飛行機、車、ドローン) を組み立て、ガーデニングも楽しんでいます。
グレッグ・トルミー AWS Public Sector ISV パートナー チームのアカウント マネージャーです。 Greg は、AWS の公共部門 ISV パートナーのポートフォリオをサポートし、AWS パートナー ネットワークのメリットを最大化しながら、AWS サービスの採用を成長させ、成熟させるのに役立ちます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 未来を鋳造する w エイドリエン・アシュリー。 こちらからアクセスしてください。
- 情報源： https://aws.amazon.com/blogs/machine-learning/how-rallypoint-and-aws-are-personalizing-job-recommendations-to-help-military-veterans-and-service-providers-transition-back-into-civilian-life-using-amazon-personalize/
