제퍼넷 로고

생성 데이터 인텔리전스

AI

Amazon Comprehend 독성 탐지를 사용하여 유해 콘텐츠에 플래그 지정 | 아마존 웹 서비스

플라톤에 의해 재발행
플라톤에 의해 재발행

시간

조회 수 : 149

온라인 커뮤니티는 게임, 소셜 미디어, 전자상거래, 데이트, e-러닝 등 산업 전반에 걸쳐 사용자 참여를 유도하고 있습니다. 이러한 온라인 커뮤니티의 구성원은 플랫폼 소유자가 콘텐츠를 자유롭게 소비하고 기여할 수 있는 안전하고 포용적인 환경을 제공한다고 신뢰합니다. 콘텐츠 조정자는 사용자 생성 콘텐츠를 검토하고 해당 콘텐츠가 안전하며 이용 약관을 준수하는지 확인하기 위해 고용되는 경우가 많습니다. 그러나 지속적으로 증가하는 규모, 복잡성 및 부적절한 콘텐츠의 다양성으로 인해 인간의 중재 워크플로는 확장이 불가능하고 비용이 많이 듭니다. 그 결과 사용자의 참여를 떨어뜨리고 커뮤니티와 비즈니스에 부정적인 영향을 미치는 열악하고 해로우며 포용적이지 못한 커뮤니티가 탄생하게 됩니다.

사용자 생성 콘텐츠와 함께 기계 생성 콘텐츠는 콘텐츠 조정에 새로운 도전을 가져왔습니다. 규모에 따라 부적절하거나 해로울 수 있는 매우 사실적인 콘텐츠를 자동으로 생성합니다. 업계는 유해한 자료로부터 사용자를 보호하기 위해 AI가 생성한 콘텐츠를 자동으로 조정해야 하는 새로운 과제에 직면해 있습니다.

이번 포스팅에서는 새로운 기능인 독성 감지 기능을 소개합니다. 아마존 이해 사용자 또는 기계 생성 텍스트에서 유해한 콘텐츠를 자동으로 감지하는 데 도움이 됩니다. 여기에는 일반 텍스트, 이미지에서 추출된 텍스트, 오디오 또는 비디오 콘텐츠에서 전사된 텍스트가 포함됩니다.

Amazon Comprehend를 사용하여 텍스트 콘텐츠의 독성 감지

Amazon Comprehend는 기계 학습(ML)을 사용하여 텍스트에서 귀중한 통찰력과 연결을 찾아내는 자연어 처리(NLP) 서비스입니다. 사전 훈련되거나 API 인터페이스를 통해 사용자 정의할 수 있는 다양한 ML 모델을 제공합니다. Amazon Comprehend는 이제 텍스트의 독성 콘텐츠 탐지를 위한 간단한 NLP 기반 솔루션을 제공합니다.

Amazon Comprehend 독성 탐지 API는 독성 가능성을 나타내는 0~1 범위의 텍스트 콘텐츠에 전체 독성 점수를 할당합니다. 또한 텍스트를 다음 XNUMX가지 범주로 분류하고 각 범주에 대한 신뢰도 점수를 제공합니다.

  • 연설을 증오 – 인종, 민족, 성 정체성, 종교, 성적 취향, 능력, 출신 국가 또는 기타 정체성 집단 등의 정체성을 바탕으로 개인이나 집단을 비판, 모욕, 비난 또는 비인간화하는 발언.
  • 그래픽 – 시각적으로 설명적이고 상세하며 불쾌할 정도로 생생한 이미지를 사용하는 연설. 이러한 언어는 수신자에 대한 모욕, 불편함 또는 해를 증폭시키기 위해 장황하게 표현되는 경우가 많습니다.
  • HARASSMENT_OR_ABUSE – 말하는 사람과 듣는 사람 사이에 파괴적인 힘의 역학을 부과하는 말(의도와 상관없이), 받는 사람의 심리적 안녕에 영향을 주려고 하거나 사람을 대상화하는 말.
  • 성적 – 신체 부위, 신체적 특성 또는 성별을 직간접적으로 언급하여 성적 관심, 활동 또는 각성을 나타내는 말.
  • VIOLENCE_OR_THREAT – 개인이나 집단에 대해 고통, 부상 또는 적대감을 가하려는 위협이 포함된 발언.
  • 모욕 – 비하, 굴욕, 조롱, 모욕 또는 경멸하는 언어가 포함된 언어.
  • 욕설 – 무례하거나 저속하거나 공격적인 단어, 문구 또는 약어가 포함된 음성.

다음을 사용하여 직접 호출하여 독성 감지 API에 액세스할 수 있습니다. AWS 명령 줄 인터페이스 (AWS CLI) 및 AWS SDK. Amazon Comprehend의 독성 탐지는 현재 영어로 지원됩니다.

사용 사례

텍스트 조정은 소셜 미디어 게시물, 온라인 채팅 메시지, 포럼 토론, 웹 사이트 댓글 등 다양한 형식의 사용자 생성 콘텐츠를 관리하는 데 중요한 역할을 합니다. 또한 비디오 및 오디오 콘텐츠를 허용하는 플랫폼에서는 이 기능을 사용하여 복사된 오디오 콘텐츠를 조정할 수 있습니다.

생성 AI와 LLM(Large Language Model)의 등장은 AI 분야의 최신 트렌드를 대변합니다. 결과적으로, LLM에서 생성된 콘텐츠를 조정하기 위한 반응형 솔루션에 대한 필요성이 점점 커지고 있습니다. Amazon Comprehend 독성 감지 API는 이러한 요구 사항을 해결하는 데 매우 적합합니다.

Amazon Comprehend 독성 감지 API 요청

독성 감지 API에 최대 10개의 텍스트 세그먼트를 보낼 수 있으며 각 세그먼트의 크기 제한은 1KB입니다. 요청의 모든 텍스트 세그먼트는 독립적으로 처리됩니다. 다음 예에서는 다음과 같은 JSON 파일을 생성합니다. toxicity_api_input.json 조정을 위한 세 개의 샘플 텍스트 세그먼트를 포함하여 텍스트 콘텐츠가 포함되어 있습니다. 이 예에서 비속어는 XXXX로 가려져 있습니다.

{ "TextSegments": [ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], "LanguageCode": "en"
}

AWS CLI를 사용하면 텍스트 콘텐츠가 포함된 이전 JSON 파일을 사용하여 독성 감지 API를 호출할 수 있습니다.

aws comprehend detect-toxic-content --cli-input-json file://toxicity_api_input.json

Amazon Comprehend 독성 감지 API 응답

독성 감지 API 응답 JSON 출력에는 독성 분석 결과가 포함됩니다. ResultList 입력란입니다. ResultList 텍스트 세그먼트 항목을 나열하고 시퀀스는 API 요청에서 텍스트 시퀀스가 ​​수신된 순서를 나타냅니다. 독성은 전반적인 탐지 신뢰도 점수(0~1 사이)를 나타냅니다. 라벨에는 독성 유형별로 분류된 신뢰도 점수와 함께 독성 라벨 목록이 포함되어 있습니다.

다음 코드는 이전 섹션의 요청 예시를 기반으로 하는 독성 감지 API의 JSON 응답을 보여줍니다.

{ "ResultList": [ { "Toxicity": 0.009200000204145908, "Labels": [ { "Name": "PROFANITY", "Score": 0.0007999999797903001}, { "Name": "HATE_SPEECH", "Score": 0.0017999999690800905}, { "Name": "INSULT", "Score": 0.003000000026077032}, { "Name": "GRAPHIC", "Score": 0.0010000000474974513}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.0013000000035390258}, { "Name": "SEXUAL", "Score": 0.0017000000225380063}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.004999999888241291} ] }, { "Toxicity": 0.7358999848365784, "Labels": [ { "Name": "PROFANITY", "Score": 0.011900000274181366}, { "Name": "HATE_SPEECH", "Score": 0.019500000402331352}, { "Name": "INSULT", "Score": 0.0714000016450882}, { "Name": "GRAPHIC", "Score": 0.006099999882280827}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.018200000748038292}, { "Name": "SEXUAL", "Score": 0.0027000000700354576}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.8145999908447266} ] }, { "Toxicity": 0.9843000173568726, "Labels": [ { "Name": "PROFANITY", "Score": 0.9369999766349792 }, { "Name": "HATE_SPEECH", "Score": 0.30880001187324524 }, { "Name": "INSULT", "Score": 0.42100000381469727 }, { "Name": "GRAPHIC", "Score": 0.12630000710487366 }, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.25519999861717224 }, { "Name": "SEXUAL", "Score": 0.19169999659061432 }, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.19539999961853027 } ] } ]
}

이전 JSON에서 첫 번째 텍스트 세그먼트는 독성 점수가 낮아 안전한 것으로 간주됩니다. 그러나 두 번째와 세 번째 텍스트 세그먼트는 각각 73%와 98%의 독성 점수를 받았습니다. 두 번째 세그먼트의 경우 Amazon Comprehend는 다음에 대한 높은 독성 점수를 감지합니다. VIOLENCE_OR_THREAT; 세 번째 세그먼트의 경우 감지합니다. PROFANITY 독성 점수가 높습니다.

Python SDK를 사용한 샘플 요청

다음 코드 조각은 Python SDK를 활용하여 독성 감지 API를 호출하는 방법을 보여줍니다. 이 코드는 앞서 설명한 AWS CLI 명령과 동일한 JSON 응답을 수신합니다.

import boto3 import base64
# Initialize a Comprehend boto3 client object
comprehend_client = session.client('comprehend') # Call comprehend Detect Toxic Content API with text segments
response = comprehend_client.detect_toxic_content( TextSegments=[ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], LanguageCode='en'
)

요약

이 게시물에서는 새로운 Amazon Comprehend 독성 탐지 API에 대한 개요를 제공했습니다. 또한 API 응답 JSON을 구문 분석하는 방법도 설명했습니다. 자세한 내용은 다음을 참조하세요. API 문서를 이해하세요.

Amazon Comprehend 독성 탐지 기능은 이제 us-east-1, us-west-2, eu-west-1 및 ap-southeast-2의 XNUMX개 리전에서 정식 출시됩니다.

콘텐츠 조정에 대해 자세히 알아보려면 다음을 참조하세요. AWS의 콘텐츠 조정에 대한 지침. 향해 첫발을 내딛다 AWS로 콘텐츠 조정 작업 간소화.

저자에 관하여

저자 - Lana Zhang장라나 콘텐츠 조정, 컴퓨터 비전, 자연어 처리 및 생성 AI를 위한 AI 및 ML을 전문으로 하는 AWS WWSO AI 서비스 팀의 선임 솔루션 아키텍트입니다. 그녀는 전문 지식을 바탕으로 AWS AI/ML 솔루션을 홍보하고 고객이 소셜 미디어, 게임, 전자 상거래, 미디어, 광고 및 마케팅을 포함한 다양한 산업에서 비즈니스 솔루션을 혁신하도록 지원하는 데 전념하고 있습니다.

저자 - 라비샤 SK라비샤 SK AI/ML에 중점을 두고 있는 AWS 기술 수석 제품 관리자입니다. 그녀는 다양한 분야에서 데이터 분석 및 기계 학습 분야에서 10년 이상의 경험을 보유하고 있습니다. 여가 시간에는 독서, 주방에서의 실험, 새로운 커피숍 탐험을 즐깁니다.

spot_img

최신 인텔리전스

spot_img

저작권 @ 2024 Plato Technologies Inc.