- Roblox は常に最年少のユーザーを保護するように設計されています。私たちは現在、年配のユーザーの増加に対応しています。
- テキスト、音声、ビジュアル、3D モデル、コードを備えた Roblox は、マルチモーダル AI ソリューションで成功する独自の立場にあります。
- 私たちは、オープンソース、パートナーとのコラボレーション、法律のサポートなどを通じて、可能な限り業界全体の安全性を向上させます。
安全と礼儀正しさは、約 20 年前の創業以来、Roblox の基礎となってきました。初日から、私たちは製品の設計に安全機能、ツール、および調整機能を組み込むことに取り組みました。新しい機能をリリースする前に、私たちは潜在的な危害からコミュニティを守る方法をすでに考え始めています。新しい機能がどのように悪用されるかを確認するための初期テストを含む、最初から安全性と礼儀正しさを考慮して機能を設計するこのプロセスは、イノベーションに役立ちます。当社は、ポリシー、ツール、システムを可能な限り正確かつ効率的に保つために、利用可能な最新の研究とテクノロジーを継続的に評価しています。
安全性に関しては、Roblox は独自の立場にあります。ほとんどのプラットフォームは大人のための場所として始まりましたが、現在は遡って十代の若者や子供のための保護を組み込むために取り組んでいます。しかし、私たちのプラットフォームは当初から子供たちが創作し学習できる安全で保護されたスペースとして開発されており、現在では高齢化が進み急速に増加する視聴者に適応しています。さらに、Roblox 上でさらに多くの人々が簡単に作成してコミュニケーションできるようにするエキサイティングな新しい生成 AI 機能とツールのおかげで、私たちがモデレートするコンテンツの量は飛躍的に増加しました。これらは予期せぬ課題ではありません。私たちの使命は、10 億人の人々を楽観主義と礼儀正しさで結びつけることです。私たちは常に将来に目を向け、成長し適応するにつれてどのような新しい安全ポリシーやツールが必要になるかを理解しています。
当社の安全機能とツールの多くは、安全に専念する数千人の専門家チームと連携して実行される革新的な AI ソリューションに基づいています。経験豊富な人間とインテリジェントな自動化の戦略的な融合は、24 時間 7 日管理するコンテンツの量を拡大するために不可欠です。また、当社はオンラインの安全性に重点を置いた組織とのパートナーシップを育むことを信じており、必要に応じて、業界全体の改善につながると強く信じている法律を支持します。
AI を活用して安全に拡張する
当社のプラットフォームの規模が非常に大きいため、精度と効率性に関して業界をリードするベンチマークを満たす、またはトップの AI システムが求められます。これにより、コミュニティの成長、ポリシーと要件の進化、新たな課題の発生に迅速に対応できるようになります。現在、71 か国の 190 万人を超える毎日のアクティブ ユーザーが Roblox 上で通信し、コンテンツを共有しています。毎日、人々は Roblox 上の友人に何十億ものチャット メッセージを送信しています。私たちの クリエーターストア には何百万ものアイテムが販売されており、クリエイターは新しいアバターやアイテムを追加します マーケットプレイス 毎日。そして、私たちが成長を続け、人々が Roblox 上で創作したりコミュニケーションしたりするための新しい方法を可能にするにつれて、これはさらに大きくなるでしょう。
業界全体が機械学習 (ML)、大規模言語モデル (LLM)、マルチモーダル AI で大きな進歩を遂げているため、当社はこれらの新しいソリューションを活用して Roblox をさらに安全にする方法に多額の投資を行っています。 AI ソリューションはすでにテキスト チャットの管理に役立っていますが、 没入型音声コミュニケーション、画像、3D モデルとメッシュ。私たちは現在、これらと同じテクノロジーの多くを使用して Roblox 上で作品を作成しています。 より速く、より簡単 私たちのコミュニティのために。
マルチモーダル AI システムによる革新
その性質上、当社のプラットフォームはテキスト、音声、画像、3D モデル、コードを組み合わせています。マルチモーダル AI では、システムが複数のタイプのデータで一緒にトレーニングされ、ユニモーダル システムよりも正確で洗練された結果が生成され、Roblox にとってユニークな機会が得られます。マルチモーダル システムは、個々の要素では問題となる可能性のあるコンテンツ タイプ (画像やテキストなど) の組み合わせを検出できます。これがどのように機能するかを想像するために、子供がブタのようなアバターを使用しているとします。まったく問題ありません。ここで、他の人が「これはあなたに似ていますね！」というチャット メッセージを送信したと想像してください。そのメッセージは、いじめに関する当社のポリシーに違反する可能性があります。
3D モデルのみでトレーニングされたモデルはアバターを承認します。そして、テキストのみでトレーニングされたモデルはテキストを承認し、アバターのコンテキストを無視します。この例では、テキストと 3D モデルにわたってトレーニングされたもののみが問題を迅速に検出してフラグを立てることができます。私たちはこれらのマルチモーダル モデルの初期段階にありますが、そう遠くない将来、私たちのシステムがエクスペリエンス全体をレビューすることで虐待報告に対応する世界が到来すると考えています。コード、ビジュアル、アバター、およびその中のコミュニケーションを入力として処理し、さらなる調査や結果が正当であるかどうかを判断できます。
私たちは、音声通信におけるポリシー違反をほぼリアルタイムで検出するモデルなど、マルチモーダル技術を使用してすでに大幅な進歩を遂げています。私たちは、Roblox だけでなく業界全体で安全性と礼儀正しさを向上させる機会があれば、このような進歩を共有するつもりです。実際、私たちは最初のオープンソース モデルである音声安全分類子を業界と共有しています。
大規模なコンテンツのモデレート
Roblox では、ほとんどのコンテンツ タイプをレビューして、重大なポリシー違反を発見します。 彼らはプラットフォームに現れます。コンテンツを公開する人々に顕著な遅延を引き起こすことなくこれを行うには、正確さだけでなく速度も必要です。画期的な AI ソリューションは、問題のあるコンテンツを Roblox から遠ざけるためにリアルタイムでより適切な意思決定を行うのに役立ちます。また、何かがプラットフォームに侵入した場合でも、そのコンテンツを特定して削除するためのシステムが導入されています。 ユーザー報告システム.
繰り返し可能な単純なタスクに関しては、自動モデレーション ツールの精度が人間のモデレーターの精度を上回っていることが確認されています。このような単純なケースを自動化することで、人間のモデレーターは自分が最も得意とする作業、つまり批判的思考とより深い調査が必要なより複雑なタスクに多くの時間を費やすことができます。しかし、安全性に関しては、自動化が人間のレビューに完全に取って代わることはできないことを私たちは知っています。当社の人間のモデレーターは、ML モデルの品質と一貫性を継続的に監視およびテストするのに役立ち、システムを最新の状態に保つために高品質のラベル付きデータセットを作成するのに非常に貴重です。これらは、サポートされている 16 言語すべてで新しいスラングや略語を識別し、頻繁に発生するケースにフラグを立てて、システムがそれらを認識するようにトレーニングできるようにするのに役立ちます。
高品質の ML システムであっても間違いが発生する可能性があることを私たちは知っているため、異議申し立てのプロセスには人間のモデレーターがいます。私たちのモデレーターは、異議申し立てを行った個人に適切な対応を提供し、間違いが発生したケースの種類についてさらなるトレーニングの必要性を警告することができます。これにより、私たちのシステムは時間の経過とともに精度が向上し、基本的にその間違いから学習します。最も重要なことは、過激主義や児童の危険などの高リスクの事件を含む重要な捜査には常に人間が関与しているということです。このようなケースに対して、当社では、悪意のあるアクターを積極的に特定して削除し、最も重要な領域で困難なケースを調査するために取り組んでいる専任の社内チームを設けています。このチームは当社の製品チームとも提携し、当社のプラットフォームと製品の安全性を継続的に向上させるために行っている作業からの洞察を共有します。
コミュニケーションのモデレート
私たちのテキストフィルターは、スラングや略語を含むRoblox固有の言語でトレーニングされています。 Roblox で毎日送信される 2.5 億件のチャット メッセージは、ポリシーに違反する言語の検出に優れたこのフィルターを通過します。このフィルターは、サポートされているすべての言語の違反を検出します。これは、リアルタイム バージョンをリリースした現在では特に重要です。 AIチャット翻訳.
以前にその方法を共有しました 適度な音声コミュニケーション 社内のカスタム音声検出システムを介してリアルタイムで音声を検出します。ここでのイノベーションは、ライブ音声から直接、AI システムが音声にポリシー違反かどうかのラベルを付けるまで、数秒でできることです。音声モデレーション システムのテストを開始したところ、多くの場合、人々が当社のルールをよく知らなかったため、意図せずポリシーに違反していることがわかりました。私たちは、発言がポリシーのいずれかに違反した場合に人々に通知するためのリアルタイム安全システムを開発しました。
これらの通知は、早期の穏やかな警告であり、小さな子供がいる公園で言葉遣いに注意するよう丁寧に求められるのと似ています。テストでは、これらの介入は、人々に敬意を示すことを思い出させ、さらに学ぶために私たちのポリシーに誘導することに成功していることが証明されました。エンゲージメントデータと比較すると、私たちのテスト結果は心強いものであり、これらのツールが悪意のある行為者をプラットフォームから効果的に遠ざけながら、真にエンゲージメントしているユーザーにRobloxでの行動を改善するよう促すことができることを示しています。 53 月に英語を話すすべてのユーザーにリアルタイム セーフティを導入して以来、音声コミュニケーションに関連した場合、毎日のアクティブ ユーザーあたりの不正行為報告が XNUMX% 減少しました。
創作のモデレート
アバターやアバター アクセサリなどのビジュアル アセットには、コンピューター ビジョン (CV) が使用されます。 1 つのテクニックには、複数の角度から商品の写真を撮ることが含まれます。次に、システムはそれらの写真をレビューして、次のステップを決定する必要があります。何も問題がないようであれば、アイテムは承認されます。何かが明らかにポリシーに違反している場合、そのアイテムはブロックされ、何が間違っていると思われるかを作成者に伝えます。システムが確信を持てない場合、アイテムは人間のモデレーターに送信され、詳しく調べて最終決定が行われます。
アバター、アクセサリー、コード、フル 3D モデルに対しても、これと同じプロセスのバージョンを実行します。完全なモデルの場合は、さらに一歩進んで、モデルを構成するすべてのコードとその他の要素を評価します。車を評価する場合、車をコンポーネント (ステアリング ホイール、シート、タイヤ、およびその下のコード) に分解して、問題がある可能性があるかどうかを判断します。子犬のようなアバターがある場合、耳、鼻、舌に問題があるかどうかを評価する必要があります。
他の方向からも評価できるようにする必要があります。個々のコンポーネントはすべて完全に問題ないが、その全体的な影響がポリシーに違反している場合はどうなるでしょうか?たとえば、口ひげ、カーキ色のジャケット、赤い腕章は、それ自体では問題になりません。しかし、これらが誰かのアバター上に集合し、腕章には十字架のようなシンボルが付けられ、ナチス式敬礼で片腕が上げられていると想像してみると、問題が明らかになります。
これが、当社の社内モデルが市販の CV モデルと異なる点です。これらは通常、現実世界のアイテムを使用してトレーニングされます。車や犬は認識できますが、それらの構成部品は認識できません。当社のモデルは、最小の構成部品に至るまで項目を評価するためにトレーニングおよび最適化されています。
パートナーとのコラボレーション
私たちは、Roblox 上のすべての人の安全を守るために利用可能なすべてのツールを使用していますが、Roblox を超えて学んだことを共有することにも同じくらい強く感じています。実際、私たちは他の人が独自の音声安全システムを改善できるように、最初のオープンソース モデルである音声安全分類器を共有しています。また、業界の進化に合わせてサードパーティ グループと提携して知識やベスト プラクティスを共有します。私たちは、親の権利擁護団体、メンタルヘルス団体、政府機関、法執行機関など、幅広い組織と緊密な関係を構築し、維持しています。これらは、保護者、政策立案者、その他の団体がオンラインの安全性について抱いている懸念について貴重な洞察を与えてくれます。その見返りとして、私たちはプラットフォームの安全性と市民性を保つために私たちが学んだことや使用しているテクノロジーを共有することができます。
私たちは、プラットフォーム上で最も若年で最も弱い立場にある人々の安全を第一に考えてきた実績があります。私たちは次のようなプログラムを確立しています。 信頼された報告者プログラム、プラットフォーム上の人々を保護するために取り組みながら、リーチを拡大するのに役立ちます。私たちは、主要な子供の安全への取り組み、法律、その他の取り組みについて政策立案者と協力しています。たとえば、当社は、カリフォルニア州の年齢適正設計基準法を支持した最初で唯一の企業の 1 つであり、これは若者にとって最善の利益であると信じているからです。何かが若者に役立つと信じたとき、私たちはそれをすべての人に広めたいと考えます。最近では、私たちは次のサポートレターに署名しました。 カリフォルニア法案 SB 933、AIによって生成された児童性的虐待コンテンツを明示的に禁止するために州法を更新します。
より安全な未来に向けての取り組み
この仕事は決して終わることがありません。 Roblox 上で誰でも簡単に作成できるようにしながら、私たちはすでに次世代の安全ツールと機能の開発に取り組んでいます。私たちが成長し、新しい作成方法と共有方法を提供するにつれて、Roblox だけでなく、それ以降もすべての人の安全と礼儀正しさを保つための新しい画期的なソリューションを開発し続けます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/
