ゼファーネットのロゴ

生成的データ インテリジェンス

AI

Amazon Comprehend 毒性検出を使用して有害なコンテンツにフラグを立てる | アマゾン ウェブ サービス

プラトン再発行
プラトン再発行

日付：

閲覧数： 149

オンライン コミュニティは、ゲーム、ソーシャル メディア、e コマース、デート、e ラーニングなどの業界全体でユーザー エンゲージメントを促進しています。 これらのオンライン コミュニティのメンバーは、自由にコンテンツを利用して投稿できる安全で包括的な環境をプラットフォームの所有者が提供してくれると信頼しています。 多くの場合、ユーザーが作成したコンテンツをレビューし、それが安全であり、利用規約に準拠しているかどうかを確認するために、コンテンツ モデレーターが採用されます。 しかし、不適切なコンテンツの規模、複雑さ、多様性が増大し続けるため、人間によるモデレーション ワークフローは拡張不可能でコストがかかるものになっています。 その結果、ユーザーの関与を失い、コミュニティとビジネスに悪影響を与える、貧弱で有害で非包括的なコミュニティが形成されます。

ユーザーが生成したコンテンツと同様に、機械が生成したコンテンツも、コンテンツのモデレーションに新たな課題をもたらしています。 大規模な場合には不適切または有害となる可能性がある非常に現実的なコンテンツを自動的に作成します。 業界は、ユーザーを有害な素材から保護するために、AI によって生成されたコンテンツを自動的にモデレートするという新たな課題に直面しています。

この投稿では、の新機能である毒性検出について紹介します。 Amazon Comprehend これは、ユーザーまたは機械が生成したテキスト内の有害なコンテンツを自動的に検出するのに役立ちます。 これには、プレーン テキスト、画像から抽出されたテキスト、オーディオまたはビデオ コンテンツから転写されたテキストが含まれます。

Amazon Comprehend を使用してテキストコンテンツの有害性を検出する

Amazon Comprehend は、機械学習 (ML) を使用してテキスト内の貴重な洞察とつながりを明らかにする自然言語処理 (NLP) サービスです。 API インターフェイスを通じて事前トレーニングまたはカスタマイズできるさまざまな ML モデルを提供します。 Amazon Comprehend は、テキスト内の有害なコンテンツを検出するための簡単な NLP ベースのソリューションを提供するようになりました。

Amazon Comprehend Toxicity Detection API は、テキスト コンテンツに 0 ～ 1 の範囲の全体的な毒性スコアを割り当て、有害である可能性を示します。 また、テキストを次の XNUMX つのカテゴリに分類し、それぞれの信頼スコアを提供します。

  • ヘイトスピーチ – 人種、民族、性同一性、宗教、性的指向、能力、出身国、または別のアイデンティティ グループなどのアイデンティティに基づいて、個人またはグループを批判、侮辱、非難、または非人間化するような発言。
  • GRAPHIC – 視覚的に説明的で詳細かつ不快なほど鮮明な画像を使用したスピーチ。 このような言葉は、受け手に対する侮辱、不快感、危害を増幅させるために冗長になることがよくあります。
  • ハラスメント_OR_虐待 – 話し手と聞き手に（意図に関係なく）破壊的な力関係を強いるスピーチ、受け手の心理的幸福に影響を与えようとするスピーチ、または人を対象化するスピーチ。
  • 性的 – 身体の一部、身体的特徴、または性別への直接的または間接的な言及を使用して、性的関心、活動、または性的興奮を示すスピーチ。
  • 暴力_OR_脅威 – 個人またはグループに対して苦痛、傷害、または敵意を与えようとする脅迫を含むスピーチ。
  • 侮辱 – 屈辱的、屈辱的、嘲笑的、侮辱的、または軽蔑的な言葉を含むスピーチ。
  • 冒涜 – 無礼、下品、または攻撃的な単語、フレーズ、または頭字語を含むスピーチ。

Toxicity Detection API にアクセスするには、 AWSコマンドラインインターフェイス (AWS CLI) と AWS SDK。 Amazon Comprehend の毒性検出は現在英語でサポートされています。

ユースケース

テキストのモデレーションは、ソーシャル メディアの投稿、オンライン チャット メッセージ、フォーラムのディスカッション、Web サイトのコメントなど、さまざまな形式でユーザーが作成したコンテンツを管理する際に重要な役割を果たします。 さらに、ビデオおよびオーディオ コンテンツを受け入れるプラットフォームは、この機能を使用して、文字起こしされたオーディオ コンテンツを管理できます。

生成 AI と大規模言語モデル (LLM) の出現は、AI 分野の最新トレンドを表しています。 その結果、LLM によって生成されたコンテンツを管理するための応答性の高いソリューションの必要性が高まっています。 Amazon Comprehend Toxicity Detection API は、このニーズに対処するのに最適です。

Amazon Comprehend 毒性検出 API リクエスト

最大 10 個のテキスト セグメントを毒性検出 API に送信できます。各セグメントのサイズ制限は 1 KB です。 リクエスト内のすべてのテキスト セグメントは独立して処理されます。 次の例では、次の名前の JSON ファイルを生成します。 toxicity_api_input.json モデレーション用の XNUMX つのサンプル テキスト セグメントを含むテキスト コンテンツが含まれます。 この例では、冒涜的な単語が XXXX としてマスクされていることに注意してください。

{ "TextSegments": [ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], "LanguageCode": "en"
}

AWS CLI を使用して、テキストコンテンツを含む前述の JSON ファイルを使用して毒性検出 API を呼び出すことができます。

aws comprehend detect-toxic-content --cli-input-json file://toxicity_api_input.json

Amazon Comprehend Toxicity Detection API の応答

毒性検出 API 応答の JSON 出力には、毒性分析結果が含まれます。 ResultList フィールド。 ResultList はテキスト セグメント項目をリストし、シーケンスは API リクエストでテキスト シーケンスが受信された順序を表します。 毒性は、検出の全体的な信頼スコア (0 ～ 1) を表します。 ラベルには、毒性の種類ごとに分類された信頼スコアを含む毒性ラベルのリストが含まれています。

次のコードは、前のセクションのリクエストの例に基づいた毒性検出 API からの JSON レスポンスを示しています。

{ "ResultList": [ { "Toxicity": 0.009200000204145908, "Labels": [ { "Name": "PROFANITY", "Score": 0.0007999999797903001}, { "Name": "HATE_SPEECH", "Score": 0.0017999999690800905}, { "Name": "INSULT", "Score": 0.003000000026077032}, { "Name": "GRAPHIC", "Score": 0.0010000000474974513}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.0013000000035390258}, { "Name": "SEXUAL", "Score": 0.0017000000225380063}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.004999999888241291} ] }, { "Toxicity": 0.7358999848365784, "Labels": [ { "Name": "PROFANITY", "Score": 0.011900000274181366}, { "Name": "HATE_SPEECH", "Score": 0.019500000402331352}, { "Name": "INSULT", "Score": 0.0714000016450882}, { "Name": "GRAPHIC", "Score": 0.006099999882280827}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.018200000748038292}, { "Name": "SEXUAL", "Score": 0.0027000000700354576}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.8145999908447266} ] }, { "Toxicity": 0.9843000173568726, "Labels": [ { "Name": "PROFANITY", "Score": 0.9369999766349792 }, { "Name": "HATE_SPEECH", "Score": 0.30880001187324524 }, { "Name": "INSULT", "Score": 0.42100000381469727 }, { "Name": "GRAPHIC", "Score": 0.12630000710487366 }, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.25519999861717224 }, { "Name": "SEXUAL", "Score": 0.19169999659061432 }, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.19539999961853027 } ] } ]
}

前述の JSON では、最初のテキスト セグメントは毒性スコアが低く安全であると見なされます。 ただし、73 番目と 98 番目のテキストセグメントの毒性スコアはそれぞれ XNUMX% と XNUMX% でした。 XNUMX 番目のセグメントでは、Amazon Comprehend は次の高い毒性スコアを検出します。 VIOLENCE_OR_THREAT; XNUMX 番目のセグメントでは、 PROFANITY 高い毒性スコアを持っています。

Python SDKを使用したサンプルリクエスト

次のコード スニペットは、Python SDK を利用して毒性検出 API を呼び出す方法を示しています。 このコードは、前に示した AWS CLI コマンドと同じ JSON 応答を受け取ります。

import boto3 import base64
# Initialize a Comprehend boto3 client object
comprehend_client = session.client('comprehend') # Call comprehend Detect Toxic Content API with text segments
response = comprehend_client.detect_toxic_content( TextSegments=[ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], LanguageCode='en'
)

まとめ

この投稿では、新しい Amazon Comprehend Toxicity Detection API の概要を説明しました。 API 応答の JSON を解析する方法についても説明しました。 詳細については、以下を参照してください。 APIドキュメントを理解します。

Amazon Comprehend 毒性検出は、us-east-1、us-west-2、eu-west-1、ap-southeast-2 の XNUMX つのリージョンで一般提供されるようになりました。

コンテンツモデレーションの詳細については、以下を参照してください。 AWS でのコンテンツモデレーションに関するガイダンス。 ～に向けて最初の一歩を踏み出しましょう AWS を使用してコンテンツモデレーション業務を合理化する.

著者について

著者 - ラナ・チャンラナ・チャン AWS WWSO AI サービス チームのシニア ソリューション アーキテクトで、コンテンツ モデレーション、コンピューター ビジョン、自然言語処理、生成 AI の AI と ML を専門としています。 彼女はその専門知識を活かして、AWS AI/ML ソリューションを推進し、ソーシャルメディア、ゲーム、電子商取引、メディア、広告、マーケティングなどのさまざまな業界にわたって顧客がビジネス ソリューションを変革できるよう支援することに専念しています。

著者 - ラビシャ SKラビシャSK AWS のテクニカル担当シニア プロダクト マネージャーで、AI/ML に重点を置いています。 彼女は、さまざまなドメインにわたるデータ分析と機械学習において 10 年以上の経験があります。 余暇には、読書、キッチンでの実験、新しいコーヒー ショップの探索を楽しんでいます。

スポット画像

最新のインテリジェンス

スポット画像

著作権 @ 2024 Plato Technologies Inc.