Λογότυπο Zephyrnet

Βελτίωση της εποπτείας περιεχομένου με τη μαζική ανάλυση αναγνώρισης Amazon και την προσαρμοσμένη εποπτεία | Υπηρεσίες Ιστού της Amazon

Ημερομηνία:

Αναγνώριση Amazon καθιστά εύκολη την προσθήκη ανάλυσης εικόνας και βίντεο στις εφαρμογές σας. Βασίζεται στην ίδια αποδεδειγμένη, εξαιρετικά επεκτάσιμη, βαθιά τεχνολογία εκμάθησης που αναπτύχθηκε από τους επιστήμονες όρασης υπολογιστών της Amazon για την ανάλυση δισεκατομμυρίων εικόνων και βίντεο καθημερινά. Δεν απαιτεί τεχνογνωσία μηχανικής εκμάθησης (ML) για χρήση και προσθέτουμε συνεχώς νέες δυνατότητες όρασης υπολογιστή στην υπηρεσία. Το Amazon Rekognition περιλαμβάνει ένα απλό, εύχρηστο API που μπορεί να αναλύσει γρήγορα οποιαδήποτε εικόνα ή αρχείο βίντεο που είναι αποθηκευμένο σε Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3).

Οι πελάτες σε κλάδους όπως η τεχνολογία διαφήμισης και μάρκετινγκ, τα παιχνίδια, τα μέσα και το λιανικό εμπόριο και το ηλεκτρονικό εμπόριο βασίζονται σε εικόνες που ανεβάζουν οι τελικοί χρήστες τους (περιεχόμενο που δημιουργείται από χρήστες ή UGC) ως κρίσιμο στοιχείο για την προώθηση της αφοσίωσης στην πλατφόρμα τους. Χρησιμοποιούν Εποπτεία περιεχομένου Αναγνώρισης Amazon για τον εντοπισμό ακατάλληλου, ανεπιθύμητου και προσβλητικού περιεχομένου προκειμένου να προστατεύσουν τη φήμη της επωνυμίας τους και να προωθήσουν ασφαλείς κοινότητες χρηστών.

Σε αυτή την ανάρτηση, θα συζητήσουμε τα εξής:

  • Μοντέλο Content Moderation έκδοση 7.0 και δυνατότητες
  • Πώς λειτουργεί η μαζική ανάλυση αναγνώρισης Amazon για την εποπτεία περιεχομένου
  • Πώς να βελτιώσετε την πρόβλεψη της εποπτείας περιεχομένου με τη μαζική ανάλυση και την προσαρμοσμένη εποπτεία

Μοντέλο εποπτείας περιεχομένου Έκδοση 7.0 και δυνατότητες

Το Amazon Rekognition Content Moderation έκδοση 7.0 προσθέτει 26 νέες ετικέτες εποπτείας και επεκτείνει την ταξινόμηση ετικετών εποπτείας από μια κατηγορία ετικετών δύο επιπέδων σε μια κατηγορία ετικετών τριών επιπέδων. Αυτές οι νέες ετικέτες και η διευρυμένη ταξινόμηση επιτρέπουν στους πελάτες να εντοπίζουν λεπτομερείς έννοιες σχετικά με το περιεχόμενο που θέλουν να εποπτεύουν. Επιπλέον, το ενημερωμένο μοντέλο εισάγει μια νέα δυνατότητα αναγνώρισης δύο νέων τύπων περιεχομένου, το κινούμενο και το εικονογραφημένο περιεχόμενο. Αυτό επιτρέπει στους πελάτες να δημιουργούν λεπτομερείς κανόνες για τη συμπερίληψη ή τον αποκλεισμό τέτοιων τύπων περιεχομένου από τη ροή εργασιών εποπτείας. Με αυτές τις νέες ενημερώσεις, οι πελάτες μπορούν να εποπτεύουν περιεχόμενο σύμφωνα με την πολιτική περιεχομένου τους με μεγαλύτερη ακρίβεια.

Ας δούμε ένα παράδειγμα ανίχνευσης ετικέτας εποπτείας για την παρακάτω εικόνα.

Ο παρακάτω πίνακας δείχνει τις ετικέτες εποπτείας, τον τύπο περιεχομένου και τους βαθμούς εμπιστοσύνης που επιστρέφονται στην απόκριση API.

Ετικέτες μετριοπάθειας Επίπεδο Ταξονομίας Βαθμοί αυτοπεποίθησης
Βία L1 92.6%
Γραφική βία L2 92.6%
Εκρήξεις και εκρήξεις L3 92.6%
Τύποι περιεχομένου Βαθμοί αυτοπεποίθησης
Εικονογραφημένη 93.9%

Για να αποκτήσετε την πλήρη ταξινόμηση για την έκδοση 7.0 για την εποπτεία περιεχομένου, επισκεφτείτε τη σελίδα μας οδηγός προγραμματιστή.

Μαζική ανάλυση για την εποπτεία περιεχομένου

Το Amazon Rekognition Content Moderation παρέχει επίσης ομαδική εποπτεία εικόνας εκτός από την εποπτεία σε πραγματικό χρόνο χρησιμοποιώντας Μαζική Ανάλυση Αναγνώρισης Amazon. Σας δίνει τη δυνατότητα να αναλύετε μεγάλες συλλογές εικόνων ασύγχρονα για να εντοπίσετε ακατάλληλο περιεχόμενο και να αποκτήσετε πληροφορίες σχετικά με τις κατηγορίες εποπτείας που έχουν εκχωρηθεί στις εικόνες. Εξαλείφει επίσης την ανάγκη δημιουργίας μιας λύσης ελέγχου παρτίδας εικόνας για τους πελάτες.

Μπορείτε να αποκτήσετε πρόσβαση στη λειτουργία μαζικής ανάλυσης είτε μέσω της κονσόλας Amazon Rekognition είτε καλώντας τα API απευθείας χρησιμοποιώντας το AWS CLI και τα AWS SDK. Στην κονσόλα Amazon Rekognition, μπορείτε να ανεβάσετε τις εικόνες που θέλετε να αναλύσετε και να λάβετε αποτελέσματα με μερικά κλικ. Μόλις ολοκληρωθεί η εργασία μαζικής ανάλυσης, μπορείτε να προσδιορίσετε και να προβάλετε τις προβλέψεις της ετικέτας εποπτείας, όπως Ρητό, Μη ρητό γυμνό οικείων μερών και φιλιά, βία, ναρκωτικά και καπνός και άλλα. Λαμβάνετε επίσης μια βαθμολογία εμπιστοσύνης για κάθε κατηγορία ετικέτας.

Δημιουργήστε μια εργασία μαζικής ανάλυσης στην κονσόλα Amazon Rekognition

Ολοκληρώστε τα παρακάτω βήματα για να δοκιμάσετε τη μαζική ανάλυση αναγνώρισης Amazon:

  1. Στην Amazon Recognition κονσόλα, επιλέξτε Μαζική Ανάλυση στο παράθυρο πλοήγησης.
  2. Επιλέξτε Ξεκινήστε τη μαζική ανάλυση.
  3. Εισαγάγετε ένα όνομα εργασίας και καθορίστε τις εικόνες προς ανάλυση, είτε εισάγοντας μια θέση κάδου S3 είτε μεταφορτώνοντας εικόνες από τον υπολογιστή σας.
  4. Προαιρετικά, μπορείτε να επιλέξετε ένα προσαρμογέας για να αναλύσετε εικόνες χρησιμοποιώντας τον προσαρμοσμένο προσαρμογέα που έχετε εκπαιδευτεί χρησιμοποιώντας την προσαρμοσμένη εποπτεία.
  5. Επιλέξτε Ξεκινήστε την ανάλυση να τρέξει τη δουλειά.

Όταν ολοκληρωθεί η διαδικασία, μπορείτε να δείτε τα αποτελέσματα στην κονσόλα Amazon Rekognition. Επίσης, ένα αντίγραφο JSON των αποτελεσμάτων ανάλυσης θα αποθηκευτεί στη θέση εξόδου Amazon S3.

Αίτημα Amazon Rekognition Bulk Analysis API

Σε αυτήν την ενότητα, σας καθοδηγούμε στη δημιουργία μιας εργασίας μαζικής ανάλυσης για την εποπτεία εικόνας χρησιμοποιώντας διεπαφές προγραμματισμού. Εάν τα αρχεία εικόνων σας δεν βρίσκονται ήδη σε κάδο S3, ανεβάστε τα για να εξασφαλίσετε πρόσβαση από το Amazon Rekognition. Παρόμοια με τη δημιουργία μιας εργασίας μαζικής ανάλυσης στην κονσόλα Amazon Rekognition, κατά την επίκληση του StartMediaAnalysisJob API, πρέπει να παρέχετε τις ακόλουθες παραμέτρους:

  • OperationsConfig – Αυτές είναι οι επιλογές διαμόρφωσης για την εργασία ανάλυσης πολυμέσων που θα δημιουργηθεί:
    • MinConfidence – Το ελάχιστο επίπεδο εμπιστοσύνης με το έγκυρο εύρος 0–100 για να επιστρέψουν οι ετικέτες εποπτείας. Το Amazon Rekognition δεν επιστρέφει ετικέτες με επίπεδο εμπιστοσύνης χαμηλότερο από αυτήν την καθορισμένη τιμή.
  • Εισαγωγή - Περιλαμβάνει τα ακόλουθα:
    • S3Αντικείμενο – Οι πληροφορίες αντικειμένου S3 για το αρχείο δήλωσης εισόδου, συμπεριλαμβανομένου του κάδου και του ονόματος του αρχείου. Το αρχείο εισόδου περιλαμβάνει γραμμές JSON για κάθε εικόνα που είναι αποθηκευμένη στον κάδο S3. για παράδειγμα: {"source-ref": "s3://MY-INPUT-BUCKET/1.jpg"}
  • OutputConfig - Περιλαμβάνει τα ακόλουθα:
    • S3Bucket – Το όνομα του κάδου S3 για τα αρχεία εξόδου.
    • S3KeyPrefix – Το πρόθεμα κλειδιού για τα αρχεία εξόδου.

Δείτε τον ακόλουθο κώδικα:

import boto3
import os
import datetime
import time
import json
import uuid

region = boto3.session.Session().region_name
s3=boto3.client('s3')
rekognition_client=boto3.client('rekognition', region_name=region)

min_confidence = 50
input_bucket = "MY-INPUT-BUCKET"

input_file = "input_file.jsonl"
output_bucket = "MY-OUTPUT-BUCKET"
key_prefix = "moderation-results"
job_name = "bulk-analysis-demo"

job_start_response = rekognition_client.start_media_analysis_job(
    OperationsConfig={"DetectModerationLabels": {"MinConfidence": min_confidence}},
    JobName = job_name,
    Input={"S3Object": {"Bucket": input_bucket, "Name": input_file}},
    OutputConfig={"S3Bucket": output_bucket, "S3KeyPrefix": key_prefix},
)

job_id = job_start_response["JobId"]
max_tries = 60
while max_tries > 0:
    max_tries -= 1
    job = rekognition_client.get_media_analysis_job(JobId=job_id)
    job_status = job["Status"]
    if job_status in ["SUCCEEDED", "FAILED"]:
        print(f"Job {job_name} is {job_status}.")
        if job_status == "SUCCEEDED":
            print(
                f"Bulk Analysis output file copied to:n"
                f"tBucket: {job['Results']['S3Object']['Bucket']}n"
                f"tObject: {job['Results']['S3Object']['Name']}."
            )
        break
    else:
        print(f"Waiting for {job_name}. Current status is {job_status}.")
    time.sleep(10)

Μπορείτε να καλέσετε την ίδια ανάλυση πολυμέσων χρησιμοποιώντας την ακόλουθη εντολή AWS CLI:

aws rekognition start-media-analysis-job 
--operations-config "DetectModerationLabels={MinConfidence='50'}" 
--input "S3Object={Bucket=input_bucket,Name=input_file.jsonl}" 
--output-config "S3Bucket=output_bucket,S3KeyPrefix=moderation-results"

Αποτελέσματα API μαζικής ανάλυσης Amazon Rekognition

Για να λάβετε μια λίστα εργασιών μαζικής ανάλυσης, μπορείτε να χρησιμοποιήσετε ListMediaAnalysisJobs. Η απάντηση περιλαμβάνει όλες τις λεπτομέρειες σχετικά με τα αρχεία εισόδου και εξόδου της εργασίας ανάλυσης και την κατάσταση της εργασίας:

# get the latest 10 media analysis jobs
moderation_job_list = rekognition_client.list_media_analysis_jobs(MaxResults=10, NextToken="")
for job_result in moderation_job_list["MediaAnalysisJobs"]:
 print(f'JobId: {job_result["JobId"]} ,Status: {job_result["Status"]},n
Summary: {job_result["ManifestSummary"]["S3Object"]["Name"]}, n
Result: {job_result["Results"]["S3Object"]["Name"]}n')

Μπορείτε επίσης να επικαλεστείτε το list-media-analysis-jobs εντολή μέσω του AWS CLI:

aws rekognition list-media-analysis-jobs --max-results 10

Το Amazon Rekognition Bulk Analysis δημιουργεί δύο αρχεία εξόδου στον κάδο εξόδου. Το πρώτο αρχείο είναι manifest-summary.json, το οποίο περιλαμβάνει στατιστικά εργασίας μαζικής ανάλυσης και μια λίστα σφαλμάτων:

{
    "version": "1.0",
    "statistics": {
      "total-json-lines": 2,
      "valid-json-lines": 2,
      "invalid-json-lines": 0
    },
    "errors": []
 }

Το δεύτερο αρχείο είναι results.json, το οποίο περιλαμβάνει μία γραμμή JSON για κάθε αναλυόμενη εικόνα στην ακόλουθη μορφή. Κάθε αποτέλεσμα περιλαμβάνει το κατηγορία ανώτατου επιπέδου (L1) μιας ανιχνευμένης ετικέτας και της κατηγορίας δεύτερου επιπέδου της ετικέτας (L2), με βαθμολογία εμπιστοσύνης μεταξύ 1–100. Ορισμένες ετικέτες Ταξινομίας Επιπέδου 2 μπορεί να έχουν ετικέτες Ταξινομίας Επιπέδου 3 (L3). Αυτό επιτρέπει μια ιεραρχική ταξινόμηση του περιεχομένου.

{
  "source-ref": "s3://MY-INPUT-BUCKET/1.jpg",
    "detect-moderation-labels": {
    "ModerationLabels": [
      {
        "ParentName": "Products",
        "TaxonomyLevel": 3,
        "Confidence": 91.9385,
        "Name": "Pills"
      },
      {
        "ParentName": "Drugs & Tobacco",
        "TaxonomyLevel": 2,
        "Confidence": 91.9385,
        "Name": "Products"
      },
      {
        "ParentName": "",
        "TaxonomyLevel": 1,
        "Confidence": 91.9385,
        "Name": "Drugs & Tobacco"
      }
    ],
    "ModerationModelVersion": "7.0",
    "ContentTypes": [
      
    ]
  }
}

Βελτίωση της πρόβλεψης του μοντέλου της εποπτείας περιεχομένου χρησιμοποιώντας τη μαζική ανάλυση και την προσαρμοσμένη εποπτεία

Μπορείτε να βελτιώσετε την ακρίβεια του βασικού μοντέλου Content Moderation με το Προσαρμοσμένη Εποπτεία χαρακτηριστικό. Με το Custom Moderation, μπορείτε να εκπαιδεύσετε α Προσαρμοσμένος προσαρμογέας Moderation ανεβάζοντας τις εικόνες σας και σχολιάζοντας αυτές τις εικόνες. Οι προσαρμογείς είναι αρθρωτά στοιχεία που μπορούν να επεκτείνουν και να ενισχύσουν τις δυνατότητες του μοντέλου βαθιάς εκμάθησης Amazon Rekognition. Για να σχολιάσετε εύκολα τις εικόνες σας, μπορείτε απλώς να επαληθεύσετε τις προβλέψεις της εργασίας μαζικής ανάλυσης για να εκπαιδεύσετε έναν προσαρμοσμένο προσαρμογέα. Για να επαληθεύσετε τα αποτελέσματα της πρόβλεψης, ακολουθήστε τα παρακάτω βήματα:

  1. Στην Amazon Recognition κονσόλα, επιλέξτε Μαζική Ανάλυση στο παράθυρο πλοήγησης.
  2. Επιλέξτε την εργασία μαζικής ανάλυσης και, στη συνέχεια, επιλέξτε Επαληθεύστε τις προβλέψεις.

Στις Επαληθεύστε την πρόβλεψη σελίδα, μπορείτε να δείτε όλες τις εικόνες που αξιολογήθηκαν σε αυτήν την εργασία και τις προβλεπόμενες ετικέτες.

  1. Επιλέξτε την ετικέτα κάθε εικόνας ως παρούσα (σημάδι επιλογής) για να επικυρώσετε ένα True Positive. ή να επισημάνετε ως μη παρούσα (σημείο X) για να ακυρώσετε κάθε εκχωρημένη ετικέτα (δηλαδή, η πρόβλεψη της ετικέτας είναι ψευδώς θετική).
  2. Εάν δεν έχει εκχωρηθεί η κατάλληλη ετικέτα στην εικόνα (δηλαδή, False Negative), μπορείτε επίσης να επιλέξετε και να αντιστοιχίσετε τις σωστές ετικέτες στην εικόνα.

Με βάση την επαλήθευση σας, τα ψευδώς θετικά και τα ψευδώς αρνητικά θα ενημερωθούν στα στατιστικά στοιχεία επαλήθευσης. Μπορείτε να χρησιμοποιήσετε αυτές τις επαληθεύσεις για να εκπαιδεύσετε έναν προσαρμογέα προσαρμοσμένης εποπτείας, ο οποίος σας επιτρέπει να βελτιώσετε την ακρίβεια των προβλέψεων εποπτείας περιεχομένου.

  1. Ως προαπαιτούμενο, η εκπαίδευση ενός προσαρμογέα προσαρμογής εποπτείας απαιτεί από εσάς να επαληθεύσετε τουλάχιστον 20 ψευδώς θετικά ή 50 ψευδώς αρνητικά για κάθε ετικέτα εποπτείας που θέλετε να βελτιώσετε. Αφού επαληθεύσετε 20 ψευδώς θετικά ή 50 ψευδώς αρνητικά, μπορείτε να επιλέξετε Εκπαιδεύστε έναν προσαρμογέα.

Μπορείς να χρησιμοποιήσεις Προσαρμοσμένοι προσαρμογείς Moderation αργότερα για να αναλύσετε τις εικόνες σας επιλέγοντας απλώς τον προσαρμοσμένο προσαρμογέα ενώ δημιουργείτε μια νέα εργασία μαζικής ανάλυσης ή μέσω API περνώντας το μοναδικό αναγνωριστικό προσαρμογέα του προσαρμοσμένου προσαρμογέα.

Χαρακτηριστικά

Σε αυτήν την ανάρτηση, παρέχουμε μια επισκόπηση της Εποπτείας περιεχομένου έκδοσης 7.0, της Μαζικής ανάλυσης για την εποπτεία περιεχομένου και του τρόπου βελτίωσης των προβλέψεων εποπτείας περιεχομένου χρησιμοποιώντας τη Μαζική ανάλυση και την προσαρμοσμένη εποπτεία. Για να δοκιμάσετε τις νέες ετικέτες εποπτείας και τη μαζική ανάλυση, συνδεθείτε στον λογαριασμό σας AWS και ελέγξτε την κονσόλα Amazon Rekognition για Εποπτεία εικόνας και Μαζική Ανάλυση.


Σχετικά με τους συγγραφείς

Mehdy Haghy είναι Ανώτερος Αρχιτέκτονας Λύσεων στην ομάδα AWS WWCS, με ειδίκευση στο AI και ML στο AWS. Συνεργάζεται με εταιρικούς πελάτες, βοηθώντας τους να μεταναστεύσουν, να εκσυγχρονίσουν και να βελτιστοποιήσουν τον φόρτο εργασίας τους για το cloud AWS. Στον ελεύθερο χρόνο του, του αρέσει να μαγειρεύει περσικά φαγητά και να μαγειρεύει ηλεκτρονικά.

Σίπρα Κανόρια είναι Κύριος Διευθυντής Προϊόντων στην AWS. Είναι παθιασμένη να βοηθά τους πελάτες να λύσουν τα πιο περίπλοκα προβλήματά τους με τη δύναμη της μηχανικής μάθησης και της τεχνητής νοημοσύνης. Πριν ενταχθεί στην AWS, η Shipra πέρασε πάνω από 4 χρόνια στην Amazon Alexa, όπου κυκλοφόρησε πολλές λειτουργίες που σχετίζονται με την παραγωγικότητα στον φωνητικό βοηθό Alexa.

Μαρία Χαντόκο είναι Ανώτερος Διευθυντής Προϊόντων στην AWS. Επικεντρώνεται στο να βοηθά τους πελάτες να λύσουν τις επιχειρηματικές τους προκλήσεις μέσω της μηχανικής μάθησης και της όρασης υπολογιστών. Στον ελεύθερο χρόνο της, της αρέσει η πεζοπορία, να ακούει podcast και να εξερευνά διαφορετικές κουζίνες.

spot_img

Τελευταία Νοημοσύνη

spot_img