Zephyrnet Logosu

Amazon Rekognition Toplu Analizi ve Özel Moderasyon ile İçerik Denetlemesini İyileştirme | Amazon Web Hizmetleri

Tarih:

Amazon Rekognisyon uygulamalarınıza görüntü ve video analizi eklemeyi kolaylaştırır. Amazon'un bilgisayarla görme bilim adamları tarafından her gün milyarlarca görüntü ve videoyu analiz etmek için geliştirilen kanıtlanmış, yüksek düzeyde ölçeklenebilir, derin öğrenme teknolojisine dayanmaktadır. Kullanımı hiçbir makine öğrenimi (ML) uzmanlığı gerektirmez ve hizmete sürekli olarak yeni bilgisayar görüşü özellikleri ekliyoruz. Amazon Rekognition, Amazon Rekognition'da depolanan herhangi bir görüntü veya video dosyasını hızlı bir şekilde analiz edebilen basit, kullanımı kolay bir API içerir. Amazon Basit Depolama Hizmeti (Amazon S3).

Reklamcılık ve pazarlama teknolojisi, oyun, medya, perakende ve e-ticaret gibi sektörlerdeki müşteriler, platformlarına katılımı artırmak için kritik bir bileşen olarak son kullanıcıları tarafından yüklenen görsellere (kullanıcı tarafından oluşturulan içerik veya UGC) güveniyor. Onlar kullanırlar Amazon Rekognition içerik denetimi Marka itibarını korumak ve güvenli kullanıcı topluluklarını teşvik etmek amacıyla uygunsuz, istenmeyen ve saldırgan içerikleri tespit etmek.

Bu yazıda aşağıdaki konuları tartışacağız:

  • İçerik Denetimi modeli sürüm 7.0 ve yetenekleri
  • Amazon Rekognition Bulk Analysis, İçerik Denetleme için nasıl çalışır?
  • Toplu Analiz ve Özel Moderasyon ile İçerik Denetleme tahmini nasıl geliştirilir?

İçerik Denetleme Modeli Sürüm 7.0 ve Yetenekler

Amazon Rekognition Content Moderation sürüm 7.0, 26 yeni denetleme etiketi ekler ve denetleme etiketi sınıflandırmasını iki katmanlıdan üç katmanlı bir etiket kategorisine genişletir. Bu yeni etiketler ve genişletilmiş sınıflandırma, müşterilerin denetlemek istedikleri içerikle ilgili ayrıntılı kavramları tespit etmelerine olanak tanır. Ek olarak güncellenen model, animasyonlu ve resimli içerik olmak üzere iki yeni içerik türünü tanımlamaya yönelik yeni bir yetenek sunuyor. Bu, müşterilerin bu tür içerik türlerini denetleme iş akışlarına dahil etmek veya hariç tutmak için ayrıntılı kurallar oluşturmasına olanak tanır. Bu yeni güncellemelerle müşteriler, içerik politikalarına uygun olarak içerikleri daha yüksek doğrulukla denetleyebiliyor.

Aşağıdaki resim için bir denetleme etiketi algılama örneğine bakalım.

Aşağıdaki tabloda API yanıtında döndürülen denetim etiketleri, içerik türü ve güven puanları gösterilmektedir.

Moderasyon Etiketleri Taksonomi Düzeyi Güven Puanları
Şiddet L1 %92.6
Grafik şiddet L2 %92.6
Patlamalar ve Patlamalar L3 %92.6
İçerik Türleri Güven Puanları
Resimli %93.9

İçerik Denetimi sürüm 7.0'ın tam sınıflandırmasını edinmek için şu adresimizi ziyaret edin: geliştirici kılavuzu.

İçerik Denetleme için Toplu Analiz

Amazon Rekognition İçerik Denetimi, gerçek zamanlı denetimin yanı sıra toplu görüntü denetimi de sağlar. Amazon Tanıma Toplu Analizi. Uygunsuz içeriği tespit etmek ve resimlere atanan denetleme kategorileri hakkında bilgi edinmek için büyük resim koleksiyonlarını eşzamansız olarak analiz etmenize olanak tanır. Ayrıca müşteriler için toplu görüntü denetleme çözümü oluşturma ihtiyacını da ortadan kaldırır.

Toplu analiz özelliğine Amazon Rekognition konsolu aracılığıyla veya AWS CLI ve AWS SDK'larını kullanarak API'leri doğrudan çağırarak erişebilirsiniz. Analiz etmek istediğiniz görselleri Amazon Rekognition konsoluna yükleyebilir ve birkaç tıklamayla sonuç alabilirsiniz. Toplu analiz işi tamamlandığında, Mahrem bölümlerin Açık ve Açık Olmayan Çıplaklığı ve Öpüşme, Şiddet, Uyuşturucu ve Tütün ve daha fazlası gibi denetleme etiketi tahminlerini tanımlayabilir ve görüntüleyebilirsiniz. Ayrıca her etiket kategorisi için bir güven puanı alırsınız.

Amazon Rekognition konsolunda toplu analiz işi oluşturun

Amazon Rekognition Toplu Analizi'ni denemek için aşağıdaki adımları tamamlayın:

  1. Amazon Rekognition konsolunda şunu seçin: Toplu Analiz Gezinti bölmesinde.
  2. Klinik Toplu Analizi Başlat.
  3. Bir iş adı girin ve S3 klasör konumunu girerek veya görüntüleri bilgisayarınızdan yükleyerek analiz edilecek görüntüleri belirtin.
  4. İsteğe bağlı olarak bir seçim yapabilirsiniz adaptör Özel Moderasyon kullanarak eğittiğiniz özel bağdaştırıcıyı kullanarak görüntüleri analiz etmek için.
  5. Klinik Analizi başlat işi yürütmek için.

İşlem tamamlandığında sonuçları Amazon Rekognition konsolunda görebilirsiniz. Ayrıca analiz sonuçlarının bir JSON kopyası Amazon S3 çıkış konumunda saklanacaktır.

Amazon Rekognition Toplu Analiz API isteği

Bu bölümde, programlama arayüzlerini kullanarak görüntü denetimi için toplu analiz işi oluşturma konusunda size rehberlik edeceğiz. Görüntü dosyalarınız halihazırda bir S3 klasöründe değilse Amazon Rekognition'ın erişimini sağlamak için bunları yükleyin. Amazon Rekognition konsolunda toplu analiz işi oluşturmaya benzer şekilde, MedyaAnalizİşini Başlat API'de aşağıdaki parametreleri sağlamanız gerekir:

  • Operasyon Yapılandırması – Oluşturulacak medya analizi işi için yapılandırma seçenekleri şunlardır:
    • MinGüven – Denetleme etiketlerinin döndürülmesi için geçerli 0-100 aralığına sahip minimum güven düzeyi. Amazon Rekognition, belirtilen bu değerden daha düşük güven düzeyine sahip hiçbir etiketi döndürmez.
  • Giriş - Bu aşağıdakileri içerir:
    • S3Nesne – Dosyanın paketi ve adı da dahil olmak üzere giriş bildirim dosyası için S3 nesne bilgileri. giriş dosyası, S3 klasöründe depolanan her görüntü için JSON satırlarını içerir. Örneğin: {"source-ref": "s3://MY-INPUT-BUCKET/1.jpg"}
  • Çıkış Yapılandırması - Bu aşağıdakileri içerir:
    • S3Bucket – Çıktı dosyaları için S3 klasör adı.
    • S3KeyÖneki – Çıktı dosyalarının anahtar öneki.

Aşağıdaki koda bakın:

import boto3
import os
import datetime
import time
import json
import uuid

region = boto3.session.Session().region_name
s3=boto3.client('s3')
rekognition_client=boto3.client('rekognition', region_name=region)

min_confidence = 50
input_bucket = "MY-INPUT-BUCKET"

input_file = "input_file.jsonl"
output_bucket = "MY-OUTPUT-BUCKET"
key_prefix = "moderation-results"
job_name = "bulk-analysis-demo"

job_start_response = rekognition_client.start_media_analysis_job(
    OperationsConfig={"DetectModerationLabels": {"MinConfidence": min_confidence}},
    JobName = job_name,
    Input={"S3Object": {"Bucket": input_bucket, "Name": input_file}},
    OutputConfig={"S3Bucket": output_bucket, "S3KeyPrefix": key_prefix},
)

job_id = job_start_response["JobId"]
max_tries = 60
while max_tries > 0:
    max_tries -= 1
    job = rekognition_client.get_media_analysis_job(JobId=job_id)
    job_status = job["Status"]
    if job_status in ["SUCCEEDED", "FAILED"]:
        print(f"Job {job_name} is {job_status}.")
        if job_status == "SUCCEEDED":
            print(
                f"Bulk Analysis output file copied to:n"
                f"tBucket: {job['Results']['S3Object']['Bucket']}n"
                f"tObject: {job['Results']['S3Object']['Name']}."
            )
        break
    else:
        print(f"Waiting for {job_name}. Current status is {job_status}.")
    time.sleep(10)

Aşağıdaki AWS CLI komutunu kullanarak aynı medya analizini başlatabilirsiniz:

aws rekognition start-media-analysis-job 
--operations-config "DetectModerationLabels={MinConfidence='50'}" 
--input "S3Object={Bucket=input_bucket,Name=input_file.jsonl}" 
--output-config "S3Bucket=output_bucket,S3KeyPrefix=moderation-results"

Amazon Rekognition Toplu Analiz API sonuçları

Toplu analiz işlerinin bir listesini almak için şunu kullanabilirsiniz: ListMediaAnalysisJobs. Yanıt, analiz işi giriş ve çıkış dosyaları ve işin durumuyla ilgili tüm ayrıntıları içerir:

# get the latest 10 media analysis jobs
moderation_job_list = rekognition_client.list_media_analysis_jobs(MaxResults=10, NextToken="")
for job_result in moderation_job_list["MediaAnalysisJobs"]:
 print(f'JobId: {job_result["JobId"]} ,Status: {job_result["Status"]},n
Summary: {job_result["ManifestSummary"]["S3Object"]["Name"]}, n
Result: {job_result["Results"]["S3Object"]["Name"]}n')

Ayrıca şunu da çağırabilirsiniz: list-media-analysis-jobs AWS CLI aracılığıyla komut:

aws rekognition list-media-analysis-jobs --max-results 10

Amazon Rekognition Bulk Analysis, çıkış paketinde iki çıkış dosyası oluşturur. İlk dosya manifest-summary.jsonToplu analiz iş istatistiklerini ve hataların listesini içeren:

{
    "version": "1.0",
    "statistics": {
      "total-json-lines": 2,
      "valid-json-lines": 2,
      "invalid-json-lines": 0
    },
    "errors": []
 }

İkinci dosya ise results.jsonanaliz edilen her görüntü için aşağıdaki formatta bir JSON satırı içerir. Her sonuç şunları içerir: üst düzey kategori (L1) ve etiketin ikinci düzey kategorisi (L2), 1-100 arasında güven puanına sahiptir. Bazı Taksonomi Düzeyi 2 etiketlerinde Taksonomi Düzeyi 3 etiketleri (L3) bulunabilir. Bu, içeriğin hiyerarşik bir şekilde sınıflandırılmasına olanak tanır.

{
  "source-ref": "s3://MY-INPUT-BUCKET/1.jpg",
    "detect-moderation-labels": {
    "ModerationLabels": [
      {
        "ParentName": "Products",
        "TaxonomyLevel": 3,
        "Confidence": 91.9385,
        "Name": "Pills"
      },
      {
        "ParentName": "Drugs & Tobacco",
        "TaxonomyLevel": 2,
        "Confidence": 91.9385,
        "Name": "Products"
      },
      {
        "ParentName": "",
        "TaxonomyLevel": 1,
        "Confidence": 91.9385,
        "Name": "Drugs & Tobacco"
      }
    ],
    "ModerationModelVersion": "7.0",
    "ContentTypes": [
      
    ]
  }
}

Toplu Analiz ve Özel Moderasyon kullanarak İçerik Moderasyon modeli tahminini iyileştirme

İçerik Denetleme temel modelinin doğruluğunu şu şekilde artırabilirsiniz: Özel Moderasyon özellik. Özel Moderasyon ile bir kişiyi eğitebilirsiniz. Özel Moderasyon bağdaştırıcısı görsellerinizi yükleyerek ve bu görsellere açıklama ekleyerek. Adaptörler, Amazon Rekognition derin öğrenme modelinin yeteneklerini genişletip geliştirebilen modüler bileşenlerdir. Resimlerinize kolayca açıklama eklemek için toplu analiz işinizin tahminlerini doğrulayarak özel bir adaptör eğitebilirsiniz. Tahmin sonuçlarını doğrulamak için aşağıdaki adımları izleyin:

  1. Amazon Rekognition konsolunda şunu seçin: Toplu Analiz Gezinti bölmesinde.
  2. Toplu analiz işini seçin ve ardından Tahminleri doğrulayın.

Üzerinde Tahmini doğrula sayfasında bu işte değerlendirilen tüm görselleri ve tahmin edilen etiketleri görebilirsiniz.

  1. Gerçek Pozitif'i doğrulamak için her görüntünün etiketini mevcut olarak seçin (onay işareti); veya atanan her etiketi geçersiz kılmak için mevcut değil (X işareti) olarak işaretleyin (yani, etiket tahmini bir Yanlış Pozitiftir).
  2. Görüntüye uygun etiket atanmamışsa (yani, Yanlış Negatif), görüntüye doğru etiketleri de seçip atayabilirsiniz.

Doğrulamanıza bağlı olarak, doğrulama istatistiklerinde Yanlış Pozitifler ve Yanlış Negatifler güncellenecektir. Bu doğrulamaları, içerik denetleme tahminlerinin doğruluğunu artırmanıza olanak tanıyan bir Özel Moderasyon bağdaştırıcısını eğitmek için kullanabilirsiniz.

  1. Ön koşul olarak, özel bir moderasyon bağdaştırıcısını eğitmek, iyileştirmek istediğiniz her bir moderasyon etiketi için en az 20 hatalı pozitif veya 50 yanlış negatifi doğrulamanızı gerektirir. 20 yanlış pozitif veya 50 yanlış negatifi doğruladıktan sonra, Bir bağdaştırıcıyı eğitin.

Sen kullanabilirsiniz Özel Moderasyon bağdaştırıcıları daha sonra yeni bir toplu analiz işi oluştururken özel bağdaştırıcıyı seçerek veya özel bağdaştırıcının benzersiz bağdaştırıcı kimliğini ileterek API aracılığıyla görüntülerinizi analiz etmek için.

Özet

Bu gönderide İçerik Moderasyon sürüm 7.0, İçerik Moderasyon için Toplu Analiz ve Toplu Analiz ve Özel Moderasyon kullanılarak İçerik Moderasyon tahminlerinin nasıl iyileştirilebileceğine genel bir bakış sunduk. Yeni denetleme etiketlerini ve toplu analizi denemek için AWS hesabınızda oturum açın ve Amazon Rekognition konsoluna göz atın. Görüntü Denetimi ve Toplu Analiz.


yazarlar hakkında

Mehdi Haghy AWS WWCS ekibinde Kıdemli Çözüm Mimarıdır ve AWS'de yapay zeka ve makine öğrenimi konusunda uzmanlaşmıştır. Kurumsal müşterilerle birlikte çalışarak onların iş yüklerini AWS bulutuna taşımalarına, modernleştirmelerine ve optimize etmelerine yardımcı oluyor. Boş zamanlarında İran yemekleri pişirmeyi ve elektronik tamircilik yapmayı seviyor.

Shipra Kanoria AWS'de Baş Ürün Yöneticisidir. Müşterilerin en karmaşık sorunlarını makine öğrenimi ve yapay zekanın gücüyle çözmelerine yardımcı olma konusunda tutkulu. Shipra, AWS'ye katılmadan önce Amazon Alexa'da 4 yıldan fazla zaman geçirdi ve burada Alexa sesli asistanında verimlilikle ilgili birçok özelliği kullanıma sundu.

Maria Handoko AWS'de Kıdemli Ürün Yöneticisidir. Müşterilerin makine öğrenimi ve bilgisayar görüşü yoluyla iş zorluklarını çözmelerine yardımcı olmaya odaklanıyor. Boş zamanlarında yürüyüş yapmaktan, podcast dinlemekten ve farklı mutfakları keşfetmekten hoşlanıyor.

spot_img

En Son İstihbarat

spot_img