Logo Zephyrnet

Trí thông minh dữ liệu tạo

AI

Gắn cờ nội dung có hại bằng tính năng phát hiện độc tính của Amazon Comprehend | Dịch vụ web của Amazon

Được xuất bản lại bởi Plato
Được xuất bản lại bởi Plato

Ngày:

Lượt xem: 149

Cộng đồng trực tuyến đang thúc đẩy sự tham gia của người dùng trong các ngành như trò chơi, truyền thông xã hội, thương mại điện tử, hẹn hò và học tập trực tuyến. Thành viên của các cộng đồng trực tuyến này tin tưởng chủ sở hữu nền tảng sẽ cung cấp một môi trường an toàn và toàn diện, nơi họ có thể tự do sử dụng nội dung và đóng góp. Người kiểm duyệt nội dung thường được tuyển dụng để xem xét nội dung do người dùng tạo và kiểm tra xem nội dung đó có an toàn và tuân thủ các điều khoản sử dụng của bạn hay không. Tuy nhiên, quy mô ngày càng tăng, độ phức tạp và sự đa dạng của nội dung không phù hợp khiến quy trình kiểm duyệt của con người không thể mở rộng và tốn kém. Kết quả là các cộng đồng nghèo nàn, có hại và không hòa nhập, khiến người dùng mất hứng thú và tác động tiêu cực đến cộng đồng và doanh nghiệp.

Cùng với nội dung do người dùng tạo, nội dung do máy tạo ra đã mang đến một thách thức mới cho việc kiểm duyệt nội dung. Nó tự động tạo ra nội dung có tính thực tế cao nhưng có thể không phù hợp hoặc có hại trên quy mô lớn. Ngành công nghiệp đang phải đối mặt với thách thức mới trong việc tự động kiểm duyệt nội dung do AI tạo ra để bảo vệ người dùng khỏi tài liệu có hại.

Trong bài đăng này, chúng tôi giới thiệu tính năng phát hiện độc tính, một tính năng mới của Amazon hiểu giúp bạn tự động phát hiện nội dung có hại trong văn bản do người dùng hoặc máy tạo ra. Điều này bao gồm văn bản thuần túy, văn bản được trích xuất từ ​​hình ảnh và văn bản được chép lại từ nội dung âm thanh hoặc video.

Phát hiện độc tính trong nội dung văn bản bằng Amazon Comprehend

Amazon Comprehend là dịch vụ xử lý ngôn ngữ tự nhiên (NLP) sử dụng máy học (ML) để khám phá những hiểu biết sâu sắc và kết nối có giá trị trong văn bản. Nó cung cấp một loạt các mô hình ML có thể được đào tạo trước hoặc tùy chỉnh thông qua giao diện API. Amazon Comprehend hiện cung cấp giải pháp đơn giản dựa trên NLP để phát hiện nội dung độc hại trong văn bản.

API phát hiện độc tính của Amazon Comprehend ấn định điểm độc tính tổng thể cho nội dung văn bản, dao động từ 0–1, cho biết khả năng nội dung đó độc hại. Nó cũng phân loại văn bản thành bảy loại sau và cung cấp điểm tin cậy cho từng loại:

  • HATE_SPEECH – Lời nói chỉ trích, lăng mạ, tố cáo hoặc hạ nhục một người hoặc một nhóm dựa trên danh tính, có thể là chủng tộc, sắc tộc, bản dạng giới, tôn giáo, khuynh hướng tình dục, khả năng, nguồn gốc quốc gia hoặc một nhóm bản sắc khác.
  • GRAPHIC – Lời nói sử dụng hình ảnh mô tả trực quan, chi tiết và sống động. Ngôn ngữ như vậy thường dài dòng nhằm khuếch đại sự xúc phạm, gây khó chịu hoặc gây tổn hại cho người nhận.
  • HARASSMENT_OR_ABUSE – Lời nói áp đặt động lực gây rối giữa người nói và người nghe (bất kể mục đích), tìm cách ảnh hưởng đến sức khỏe tâm lý của người nhận hoặc phản đối một người.
  • SEXUAL – Lời nói thể hiện sự quan tâm, hoạt động hoặc hưng phấn tình dục bằng cách sử dụng các tài liệu tham khảo trực tiếp hoặc gián tiếp đến các bộ phận cơ thể, đặc điểm thể chất hoặc giới tính.
  • VIOLENCE_OR_THREAT – Lời nói bao gồm các mối đe dọa tìm cách gây đau đớn, tổn thương hoặc thù địch đối với một người hoặc một nhóm.
  • SỰ SỈ NHỤC – Lời nói bao gồm ngôn ngữ hạ thấp, sỉ nhục, chế giễu, xúc phạm hoặc coi thường.
  • LỢI NHUẬN – Lời nói có chứa những từ, cụm từ hoặc từ viết tắt mang tính bất lịch sự, thô tục, xúc phạm.

Bạn có thể truy cập API phát hiện độc tính bằng cách gọi trực tiếp bằng cách sử dụng Giao diện dòng lệnh AWS (AWS CLI) và AWS SDK. Phát hiện độc tính trong Amazon Comprehend hiện được hỗ trợ bằng tiếng Anh.

Trường hợp sử dụng

Kiểm duyệt văn bản đóng một vai trò quan trọng trong việc quản lý nội dung do người dùng tạo trên nhiều định dạng khác nhau, bao gồm các bài đăng trên mạng xã hội, tin nhắn trò chuyện trực tuyến, thảo luận trên diễn đàn, nhận xét trên trang web, v.v. Hơn nữa, các nền tảng chấp nhận nội dung video và âm thanh có thể sử dụng tính năng này để kiểm duyệt nội dung âm thanh được chép lại.

Sự xuất hiện của AI tổng quát và các mô hình ngôn ngữ lớn (LLM) thể hiện xu hướng mới nhất trong lĩnh vực AI. Do đó, nhu cầu ngày càng tăng về các giải pháp đáp ứng để kiểm duyệt nội dung do LLM tạo ra. API phát hiện độc tính của Amazon Comprehend là lựa chọn lý tưởng để giải quyết nhu cầu này.

Yêu cầu API phát hiện độc tính của Amazon Comprehend

Bạn có thể gửi tối đa 10 phân đoạn văn bản tới API phát hiện độc tính, mỗi phân đoạn có giới hạn kích thước là 1 KB. Mỗi đoạn văn bản trong yêu cầu được xử lý độc lập. Trong ví dụ sau, chúng tôi tạo một tệp JSON có tên toxicity_api_input.json chứa nội dung văn bản, bao gồm ba đoạn văn bản mẫu để kiểm duyệt. Lưu ý rằng trong ví dụ này, những từ tục tĩu được che dấu là XXXX.

{ "TextSegments": [ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], "LanguageCode": "en"
}

Bạn có thể sử dụng AWS CLI để gọi API phát hiện độc tính bằng cách sử dụng tệp JSON chứa nội dung văn bản trước đó:

aws comprehend detect-toxic-content --cli-input-json file://toxicity_api_input.json

Phản hồi API phát hiện độc tính của Amazon Comprehend

Đầu ra JSON của phản hồi API phát hiện độc tính sẽ bao gồm kết quả phân tích độc tính trong ResultList trường. ResultList liệt kê các mục phân đoạn văn bản và trình tự thể hiện thứ tự nhận được trình tự văn bản trong yêu cầu API. Độc tính biểu thị điểm tin cậy tổng thể của việc phát hiện (trong khoảng 0–1). Nhãn bao gồm danh sách nhãn độc tính có điểm tin cậy, được phân loại theo loại độc tính.

Đoạn mã sau đây hiển thị phản hồi JSON từ API phát hiện độc tính dựa trên ví dụ về yêu cầu trong phần trước:

{ "ResultList": [ { "Toxicity": 0.009200000204145908, "Labels": [ { "Name": "PROFANITY", "Score": 0.0007999999797903001}, { "Name": "HATE_SPEECH", "Score": 0.0017999999690800905}, { "Name": "INSULT", "Score": 0.003000000026077032}, { "Name": "GRAPHIC", "Score": 0.0010000000474974513}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.0013000000035390258}, { "Name": "SEXUAL", "Score": 0.0017000000225380063}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.004999999888241291} ] }, { "Toxicity": 0.7358999848365784, "Labels": [ { "Name": "PROFANITY", "Score": 0.011900000274181366}, { "Name": "HATE_SPEECH", "Score": 0.019500000402331352}, { "Name": "INSULT", "Score": 0.0714000016450882}, { "Name": "GRAPHIC", "Score": 0.006099999882280827}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.018200000748038292}, { "Name": "SEXUAL", "Score": 0.0027000000700354576}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.8145999908447266} ] }, { "Toxicity": 0.9843000173568726, "Labels": [ { "Name": "PROFANITY", "Score": 0.9369999766349792 }, { "Name": "HATE_SPEECH", "Score": 0.30880001187324524 }, { "Name": "INSULT", "Score": 0.42100000381469727 }, { "Name": "GRAPHIC", "Score": 0.12630000710487366 }, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.25519999861717224 }, { "Name": "SEXUAL", "Score": 0.19169999659061432 }, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.19539999961853027 } ] } ]
}

Trong JSON trước đó, đoạn văn bản đầu tiên được coi là an toàn với điểm độc tính thấp. Tuy nhiên, đoạn văn bản thứ hai và thứ ba nhận được điểm độc tính lần lượt là 73% và 98%. Đối với phân đoạn thứ hai, Amazon Comprehend phát hiện điểm độc tính cao đối với VIOLENCE_OR_THREAT; đối với đoạn thứ ba, nó phát hiện PROFANITY với điểm độc tính cao.

Yêu cầu mẫu sử dụng SDK Python

Đoạn mã sau đây minh họa cách sử dụng SDK Python để gọi API phát hiện độc tính. Mã này nhận được phản hồi JSON giống như lệnh AWS CLI đã trình bày trước đó.

import boto3 import base64
# Initialize a Comprehend boto3 client object
comprehend_client = session.client('comprehend') # Call comprehend Detect Toxic Content API with text segments
response = comprehend_client.detect_toxic_content( TextSegments=[ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], LanguageCode='en'
)

Tổng kết

Trong bài đăng này, chúng tôi đã cung cấp thông tin tổng quan về API phát hiện độc tính Amazon Comprehend mới. Chúng tôi cũng đã mô tả cách bạn có thể phân tích cú pháp JSON phản hồi API. Để biết thêm thông tin, hãy tham khảo Hiểu tài liệu API.

Tính năng phát hiện độc tính của Amazon Comprehend hiện có sẵn rộng rãi ở 1 Khu vực: us-east-2, us-west-1, eu-west-2 và ap-southeast-XNUMX.

Để tìm hiểu thêm về kiểm duyệt nội dung, hãy tham khảo Hướng dẫn kiểm duyệt nội dung trên AWS. Hãy bước bước đầu tiên về phía hợp lý hóa các hoạt động kiểm duyệt nội dung của bạn với AWS.

Về các tác giả

Tác giả - Lana TrươngTrương Lana là Kiến trúc sư giải pháp cấp cao tại nhóm Dịch vụ AI của AWS WWSO, chuyên về AI và ML để kiểm duyệt nội dung, Thị giác máy tính, Xử lý ngôn ngữ tự nhiên và AI sáng tạo. Với chuyên môn của mình, cô tận tâm quảng bá các giải pháp AI/ML của AWS và hỗ trợ khách hàng chuyển đổi các giải pháp kinh doanh của họ trong nhiều ngành khác nhau, bao gồm truyền thông xã hội, trò chơi, thương mại điện tử, truyền thông, quảng cáo & tiếp thị.

Tác giả - Ravisha SKRavisha SK là Giám đốc sản phẩm cấp cao, Kỹ thuật tại AWS, tập trung vào AI/ML. Cô có hơn 10 năm kinh nghiệm trong lĩnh vực phân tích dữ liệu và học máy trên các lĩnh vực khác nhau. Khi rảnh rỗi, cô thích đọc sách, thử nghiệm vào bếp và khám phá những quán cà phê mới.

tại chỗ_img

Tin tức mới nhất

tại chỗ_img

Bản quyền @ 2024 Plato Technologies Inc.