شعار زيفيرنت

تحسين الإشراف على المحتوى باستخدام التحليل المجمع والإشراف المخصص في Amazon Rekognition | خدمات الويب الأمازون

التاريخ:

الأمازون إعادة الاعتراف يجعل من السهل إضافة تحليل الصور والفيديو إلى تطبيقاتك. إنه يعتمد على نفس تقنية التعلم العميق المثبتة والقابلة للتطوير والتي طورها علماء رؤية الكمبيوتر في أمازون لتحليل مليارات الصور ومقاطع الفيديو يوميًا. لا يتطلب الأمر أي خبرة في التعلم الآلي (ML) لاستخدامه، ونحن نعمل باستمرار على إضافة ميزات جديدة لرؤية الكمبيوتر إلى الخدمة. يتضمن Amazon Rekognition واجهة برمجة تطبيقات بسيطة وسهلة الاستخدام يمكنها تحليل أي صورة أو ملف فيديو مخزن في خدمة تخزين أمازون البسيطة (أمازون S3).

يعتمد العملاء في مختلف الصناعات، مثل تكنولوجيا الإعلان والتسويق، والألعاب، والوسائط، وتجارة التجزئة والتجارة الإلكترونية، على الصور التي يتم تحميلها من قبل المستخدمين النهائيين (المحتوى الذي ينشئه المستخدم أو UGC) كعنصر حاسم لتعزيز المشاركة على نظامهم الأساسي. هم يستخدمون الإشراف على محتوى Amazon Rekognition لاكتشاف المحتوى غير المناسب وغير المرغوب فيه والمسيء من أجل حماية سمعة علامتهم التجارية وتعزيز مجتمعات المستخدمين الآمنة.

في هذا المنشور ، سنناقش ما يلي:

  • الإصدار 7.0 من نموذج الإشراف على المحتوى وإمكانياته
  • كيف يعمل التحليل المجمع لـ Amazon Rekognition للإشراف على المحتوى
  • كيفية تحسين التنبؤ بالإشراف على المحتوى من خلال التحليل المجمع والإشراف المخصص

الإصدار 7.0 من نموذج الإشراف على المحتوى والإمكانيات

يضيف الإصدار 7.0 من Amazon Rekognition Content Moderation 26 تصنيفًا جديدًا للإشراف ويوسع تصنيف تسميات الإشراف من فئة ملصقات ذات مستويين إلى فئة ملصقات ثلاثية المستويات. تتيح هذه التصنيفات الجديدة والتصنيف الموسع للعملاء اكتشاف المفاهيم الدقيقة حول المحتوى الذي يريدون الإشراف عليه. بالإضافة إلى ذلك، يقدم النموذج المحدث إمكانية جديدة لتحديد نوعين جديدين من المحتوى، المحتوى المتحرك والمحتوى المصور. يتيح ذلك للعملاء إنشاء قواعد دقيقة لتضمين أنواع المحتوى هذه أو استبعادها من سير عمل الإشراف الخاص بهم. ومن خلال هذه التحديثات الجديدة، يمكن للعملاء تعديل المحتوى وفقًا لسياسة المحتوى الخاصة بهم بدقة أعلى.

دعونا نلقي نظرة على مثال للكشف عن تسمية الإشراف في الصورة التالية.

يعرض الجدول التالي تسميات الإشراف ونوع المحتوى ودرجات الثقة التي تم إرجاعها في استجابة واجهة برمجة التطبيقات.

تسميات الاعتدال مستوى التصنيف عشرات الثقة
عنف L1 92.6%
عنف تصويري L2 92.6%
الانفجارات والتفجيرات L3 92.6%
أنواع المحتوى عشرات الثقة
يتضح 93.9%

للحصول على التصنيف الكامل للإصدار 7.0 من الإشراف على المحتوى، تفضل بزيارة موقعنا دليل المطور.

التحليل المجمع للإشراف على المحتوى

توفر إدارة محتوى Amazon Rekognition أيضًا الإشراف على الصور المجمعة بالإضافة إلى الإشراف في الوقت الفعلي باستخدام التحليل المجمع لميزة Amazon Rekognition. فهو يمكّنك من تحليل مجموعات الصور الكبيرة بشكل غير متزامن لاكتشاف المحتوى غير المناسب والحصول على نظرة ثاقبة لفئات الإشراف المخصصة للصور. كما أنه يلغي الحاجة إلى إنشاء حل للإشراف على الصور المجمعة للعملاء.

يمكنك الوصول إلى ميزة التحليل المجمع إما عبر وحدة تحكم Amazon Rekognition أو عن طريق استدعاء واجهات برمجة التطبيقات مباشرة باستخدام AWS CLI وAWS SDK. على وحدة تحكم Amazon Rekognition، يمكنك تحميل الصور التي تريد تحليلها والحصول على النتائج ببضع نقرات. بمجرد اكتمال مهمة التحليل المجمع، يمكنك تحديد وعرض تنبؤات تصنيف الإشراف، مثل العري الصريح وغير الصريح للأجزاء الحميمة والتقبيل والعنف والمخدرات والتبغ والمزيد. تتلقى أيضًا درجة الثقة لكل فئة تصنيف.

أنشئ مهمة تحليل مجمعة على وحدة تحكم Amazon Rekognition

أكمل الخطوات التالية لتجربة التحليل المجمع لـ Amazon Rekognition:

  1. في وحدة تحكم Amazon Rekognition ، اختر التحليل بالجملة في جزء التنقل.
  2. اختار ابدأ التحليل المجمع.
  3. أدخل اسم المهمة وحدد الصور المراد تحليلها، إما عن طريق إدخال موقع حاوية S3 أو عن طريق تحميل الصور من جهاز الكمبيوتر الخاص بك.
  4. بشكل اختياري، يمكنك تحديد محول لتحليل الصور باستخدام المحول المخصص الذي قمت بتدريبه باستخدام الإشراف المخصص.
  5. اختار ابدأ التحليل لتشغيل الوظيفة.

عند اكتمال العملية، يمكنك رؤية النتائج على وحدة تحكم Amazon Rekognition. سيتم أيضًا تخزين نسخة JSON من نتائج التحليل في موقع إخراج Amazon S3.

طلب واجهة برمجة تطبيقات التحليل المجمع لـ Amazon Rekognition

في هذا القسم، نوجهك خلال إنشاء مهمة تحليل مجمعة للإشراف على الصورة باستخدام واجهات البرمجة. إذا لم تكن ملفات الصور الخاصة بك موجودة بالفعل في حاوية S3، فقم بتحميلها لضمان الوصول إليها بواسطة Amazon Rekognition. على غرار إنشاء مهمة تحليل مجمعة على وحدة تحكم Amazon Rekognition، عند استدعاء ابدأ مهمة تحليل الوسائط API، تحتاج إلى توفير المعلمات التالية:

  • تكوين العمليات – هذه هي خيارات التكوين لمهمة تحليل الوسائط التي سيتم إنشاؤها:
    • الحد الأدنى من الثقة – الحد الأدنى لمستوى الثقة مع النطاق الصالح من 0 إلى 100 لإرجاع تسميات الإشراف. لا يقوم Amazon Rekognition بإرجاع أي تسميات بمستوى ثقة أقل من هذه القيمة المحددة.
  • إدخال - وهذا يشمل ما يلي:
    • S3Object - معلومات كائن S3 لملف بيان الإدخال، بما في ذلك المجموعة واسم الملف. يتضمن ملف الإدخال خطوط JSON لكل صورة مخزنة في مجموعة S3. على سبيل المثال: {"source-ref": "s3://MY-INPUT-BUCKET/1.jpg"}
  • تكوين الإخراج - وهذا يشمل ما يلي:
    • S3 باكيت - اسم حاوية S3 لملفات الإخراج.
    • S3KeyPrefix - البادئة الرئيسية لملفات الإخراج.

انظر الكود التالي:

import boto3
import os
import datetime
import time
import json
import uuid

region = boto3.session.Session().region_name
s3=boto3.client('s3')
rekognition_client=boto3.client('rekognition', region_name=region)

min_confidence = 50
input_bucket = "MY-INPUT-BUCKET"

input_file = "input_file.jsonl"
output_bucket = "MY-OUTPUT-BUCKET"
key_prefix = "moderation-results"
job_name = "bulk-analysis-demo"

job_start_response = rekognition_client.start_media_analysis_job(
    OperationsConfig={"DetectModerationLabels": {"MinConfidence": min_confidence}},
    JobName = job_name,
    Input={"S3Object": {"Bucket": input_bucket, "Name": input_file}},
    OutputConfig={"S3Bucket": output_bucket, "S3KeyPrefix": key_prefix},
)

job_id = job_start_response["JobId"]
max_tries = 60
while max_tries > 0:
    max_tries -= 1
    job = rekognition_client.get_media_analysis_job(JobId=job_id)
    job_status = job["Status"]
    if job_status in ["SUCCEEDED", "FAILED"]:
        print(f"Job {job_name} is {job_status}.")
        if job_status == "SUCCEEDED":
            print(
                f"Bulk Analysis output file copied to:n"
                f"tBucket: {job['Results']['S3Object']['Bucket']}n"
                f"tObject: {job['Results']['S3Object']['Name']}."
            )
        break
    else:
        print(f"Waiting for {job_name}. Current status is {job_status}.")
    time.sleep(10)

يمكنك استدعاء نفس تحليل الوسائط باستخدام أمر AWS CLI التالي:

aws rekognition start-media-analysis-job 
--operations-config "DetectModerationLabels={MinConfidence='50'}" 
--input "S3Object={Bucket=input_bucket,Name=input_file.jsonl}" 
--output-config "S3Bucket=output_bucket,S3KeyPrefix=moderation-results"

نتائج واجهة برمجة تطبيقات التحليل المجمع لـ Amazon Rekognition

للحصول على قائمة بمهام التحليل المجمع، يمكنك استخدام ListMediaAnalysisJobs. يتضمن الرد كافة التفاصيل المتعلقة بملفات الإدخال والإخراج لوظيفة التحليل وحالة الوظيفة:

# get the latest 10 media analysis jobs
moderation_job_list = rekognition_client.list_media_analysis_jobs(MaxResults=10, NextToken="")
for job_result in moderation_job_list["MediaAnalysisJobs"]:
 print(f'JobId: {job_result["JobId"]} ,Status: {job_result["Status"]},n
Summary: {job_result["ManifestSummary"]["S3Object"]["Name"]}, n
Result: {job_result["Results"]["S3Object"]["Name"]}n')

يمكنك أيضًا استدعاء list-media-analysis-jobs الأمر عبر AWS CLI:

aws rekognition list-media-analysis-jobs --max-results 10

يقوم Amazon Rekognition Bulk Analysis بإنشاء ملفين للمخرجات في مجموعة المخرجات. الملف الأول هو manifest-summary.json، والذي يتضمن إحصائيات مهمة التحليل المجمع وقائمة الأخطاء:

{
    "version": "1.0",
    "statistics": {
      "total-json-lines": 2,
      "valid-json-lines": 2,
      "invalid-json-lines": 0
    },
    "errors": []
 }

الملف الثاني هو results.json، والذي يتضمن سطر JSON واحدًا لكل صورة تم تحليلها بالتنسيق التالي. تتضمن كل نتيجة فئة المستوى الأعلى (L1) للملصق المكتشف وفئة المستوى الثاني للملصق (L2)، بدرجة ثقة تتراوح بين 1-100. قد تحتوي بعض تسميات مستوى التصنيف 2 على تسميات مستوى التصنيف 3 (L3). وهذا يسمح بتصنيف هرمي للمحتوى.

{
  "source-ref": "s3://MY-INPUT-BUCKET/1.jpg",
    "detect-moderation-labels": {
    "ModerationLabels": [
      {
        "ParentName": "Products",
        "TaxonomyLevel": 3,
        "Confidence": 91.9385,
        "Name": "Pills"
      },
      {
        "ParentName": "Drugs & Tobacco",
        "TaxonomyLevel": 2,
        "Confidence": 91.9385,
        "Name": "Products"
      },
      {
        "ParentName": "",
        "TaxonomyLevel": 1,
        "Confidence": 91.9385,
        "Name": "Drugs & Tobacco"
      }
    ],
    "ModerationModelVersion": "7.0",
    "ContentTypes": [
      
    ]
  }
}

تحسين التنبؤ بنموذج الإشراف على المحتوى باستخدام التحليل المجمع والإشراف المخصص

يمكنك تحسين دقة النموذج الأساسي للإشراف على المحتوى باستخدام الإشراف المخصص ميزة. باستخدام الإشراف المخصص، يمكنك تدريب أ محول الإشراف المخصص عن طريق تحميل الصور الخاصة بك والتعليق على هذه الصور. المحولات عبارة عن مكونات معيارية يمكنها توسيع وتعزيز قدرات نموذج التعلم العميق Amazon Rekognition. لإضافة تعليقات توضيحية بسهولة إلى صورك، يمكنك ببساطة التحقق من تنبؤات مهمة التحليل المجمعة لتدريب محول مخصص. للتحقق من نتائج التنبؤ، اتبع الخطوات التالية:

  1. في وحدة تحكم Amazon Rekognition ، اختر التحليل بالجملة في جزء التنقل.
  2. اختر مهمة التحليل المجمع، ثم اختر التحقق من التوقعات.

على تحقق من التنبؤ في الصفحة، يمكنك رؤية جميع الصور التي تم تقييمها في هذه المهمة والتسميات المتوقعة.

  1. حدد تسمية كل صورة كما هي موجودة (علامة الاختيار) للتحقق من صحة الإيجابية؛ أو ضع علامة على أنها غير موجودة (علامة X) لإبطال كل تسمية مخصصة (على سبيل المثال، توقع التسمية هو إيجابي كاذب).
  2. إذا لم يتم تعيين التسمية المناسبة للصورة (على سبيل المثال، False Negative)، فيمكنك أيضًا تحديد وتعيين التسميات الصحيحة للصورة.

بناءً على عملية التحقق الخاصة بك، سيتم تحديث الإيجابيات الكاذبة والسلبية الكاذبة في إحصائيات التحقق. يمكنك استخدام عمليات التحقق هذه لتدريب محول الإشراف المخصص، والذي يسمح لك بتحسين دقة تنبؤات الإشراف على المحتوى.

  1. كشرط أساسي، يتطلب تدريب محول الإشراف المخصص منك التحقق من 20 نتيجة إيجابية خاطئة أو 50 نتيجة سلبية خاطئة على الأقل لكل تصنيف إشراف تريد تحسينه. بمجرد التحقق من 20 نتيجة إيجابية كاذبة أو 50 نتيجة سلبية كاذبة، يمكنك الاختيار تدريب محول.

يمكنك استخدام محولات الإشراف المخصصة لاحقًا لتحليل صورك عن طريق تحديد المحول المخصص أثناء إنشاء مهمة تحليل مجمعة جديدة أو عبر واجهة برمجة التطبيقات (API) عن طريق تمرير معرف المحول الفريد للمحول المخصص.

نبذة عامة

في هذا المنشور، قدمنا ​​نظرة عامة على الإصدار 7.0 من الإشراف على المحتوى، والتحليل المجمع للإشراف على المحتوى، وكيفية تحسين توقعات الإشراف على المحتوى باستخدام التحليل المجمع والإشراف المخصص. لتجربة تسميات الإشراف الجديدة والتحليل المجمع، قم بتسجيل الدخول إلى حساب AWS الخاص بك وتحقق من وحدة تحكم Amazon Rekognition لـ الإشراف على الصورة و التحليل بالجملة.


عن المؤلفين

مهدي حقي هو مهندس حلول أول في فريق AWS WWCS ، متخصص في الذكاء الاصطناعي والتعلم الآلي على AWS. إنه يعمل مع عملاء المؤسسات ، ويساعدهم على ترحيل أعباء العمل الخاصة بهم وتحديثها وتحسينها من أجل سحابة AWS. في أوقات فراغه ، يستمتع بطهي الأطعمة الفارسية وترقيع الإلكترونيات.

شيبرا كانوريا هو مدير المنتج الرئيسي في AWS. إنها شغوفة بمساعدة العملاء في حل مشكلاتهم الأكثر تعقيدًا باستخدام قوة التعلم الآلي والذكاء الاصطناعي. قبل الانضمام إلى AWS ، أمضت Shipra أكثر من 4 سنوات في Amazon Alexa ، حيث أطلقت العديد من الميزات المتعلقة بالإنتاجية على المساعد الصوتي Alexa.

ماريا هاندوكو هو مدير أول للمنتجات في AWS. تركز على مساعدة العملاء في حل تحديات أعمالهم من خلال التعلم الآلي ورؤية الكمبيوتر. تستمتع في أوقات فراغها بالمشي لمسافات طويلة والاستماع إلى المدونات الصوتية واستكشاف المأكولات المختلفة.

بقعة_صورة

أحدث المعلومات الاستخباراتية

بقعة_صورة