Amazon Etkileşimli Video Hizmeti (Amazon IVS), etkileşimli video deneyimleri oluşturmanıza ve etkileşimli video içeriğini alımdan dağıtıma kadar yönetmenize olanak tanıyan hızlı ve basit bir kurulum sağlamak üzere tasarlanmış, yönetilen bir canlı yayın çözümüdür.

Canlı yayın kullanımının artmasıyla birlikte etkili içerik denetleme ihtiyacı daha da önemli hale geliyor. Kullanıcı tarafından oluşturulan içerik (UGC), güvenlik açısından karmaşık zorluklar sunar. Birçok şirket, video akışlarını izlemek için insan moderatörlere güvenmektedir; bu da zaman alıcıdır, hataya açıktır ve işletmenin büyüme hızına göre ölçeklenemez. Döngüdeki insanı (HITL) destekleyen otomatik bir denetleme çözümüne giderek daha fazla ihtiyaç duyulmaktadır.

Amazon Rekognition İçerik Denetleme, yeteneği Amazon Rekognisyon, makine öğrenimi (ML) deneyimi gerektirmeden görüntü ve video denetleme iş akışlarını otomatikleştirir ve kolaylaştırır. Bu yazıda, canlı yayınları denetlemek için Amazon Rekognition Image API'sini kullanan bir çözümle canlı yayın görsel denetiminin yaygın uygulamasını açıklıyoruz. Bu çözümü kullanarak AWS hesabınıza dağıtabilirsiniz. AWS Bulut Geliştirme Kiti (AWS CDK) paketimiz mevcuttur GitHub repo.

Orta düzeyde canlı yayın görsel içeriği

UGC canlı yayın görsel denetimi için en yaygın yaklaşım, akıştan görüntüleri örneklemeyi ve neredeyse gerçek zamanlı sonuçlar almak için görüntü denetlemeyi kullanmayı içerir. Canlı yayın platformları görsel içeriği denetlemek için esnek kurallar kullanabilir. Örneğin, genç izleyici kitlesine sahip platformların yetişkinlere yönelik içerik ve belirli ürünlerle ilgili katı kuralları olabilirken, diğerleri nefret sembollerine odaklanabilir. Bu platformlar, politikalarına etkili bir şekilde uyum sağlamak için farklı kurallar oluşturur. İnsan incelemesi ile otomatik incelemeyi birleştiren hibrit süreç, yaygın bir tasarım yaklaşımıdır. Belirli yayınlar otomatik olarak durdurulacak ancak insan moderatörler aynı zamanda bir yayının platform politikalarını ihlal edip etmediğini ve devre dışı bırakılması gerekip gerekmediğini de değerlendirecek.

Aşağıdaki diyagram, canlı yayın sistemine gevşek bağlantıyla tasarlanmış, gerçek zamanlıya yakın bir denetleme sisteminin kavramsal iş akışını göstermektedir.

İş akışı aşağıdaki adımları içerir:

1. Canlı akış hizmeti (veya istemci uygulaması), belirli bir aralığa göre video akışlarından görüntü karelerini örnekler.
2. Bir kural motoru, tümü önceden tanımlanmış politikalar dahilinde olmak üzere, akış örnekleme sıklığını ve geçerli denetleme kategorilerini belirleyerek denetleme yönergelerini değerlendirir. Bu süreç hem ML hem de ML olmayan algoritmaların kullanımını içerir.
3. Kural motoru, video akışlarındaki ihlalleri tespit ettiğinde gerçek moderatörleri uyarır.
4. Gerçek moderatörler sonucu değerlendirir ve canlı yayını devre dışı bırakır.

UGC canlı yayınlarının moderasyonu, medyadaki klasik video moderasyonundan farklıdır. Çeşitli düzenlemelere uygundur. Görüntülerin denetleme amacıyla video karelerinden ne sıklıkta örnekleneceği, genellikle platformun Güven ve Güvenlik politikasına ve hizmet düzeyi sözleşmesine (SLA) göre belirlenir. Örneğin, bir canlı yayın platformu, politika ihlalleri nedeniyle kanalları 3 dakika içinde durdurmayı hedefliyorsa pratik bir yaklaşım, her 1-2 dakikada bir örnekleme yapmak ve gerçek moderatörlere doğrulayıp harekete geçmeleri için zaman tanımaktır. Bazı platformlar esnek denetleme frekansı kontrolü gerektirir. Örneğin, son derece saygın yayıncılar daha az denetime ihtiyaç duyabilirken, yeni yayıncılar daha fazla dikkat gerektirebilir. Bu aynı zamanda örnekleme sıklığını azaltarak maliyet optimizasyonuna da olanak tanır.

Maliyet, herhangi bir canlı yayın denetleme çözümünde önemli bir husustur. UGC canlı yayın platformları hızla genişledikçe, eşzamanlı akışların yüksek frekansta yönetilmesi maliyet endişelerini artırabilir. Bu yazıda sunulan çözüm, örnek sıklığını özelleştirmek, benzer görüntü çerçevelerini göz ardı etmek ve diğer teknikleri göz ardı etmek için denetleme kuralları tanımlamanıza olanak tanıyarak maliyeti optimize etmek üzere tasarlanmıştır.

Amazon IVS akış içeriğini Amazon S3'e kaydetme

Amazon IVS aşağıdakiler için yerel çözümler sunar: akış içeriğini kaydetme Bir için Amazon Basit Depolama Hizmeti (Amazon S3) kovalama ve küçük resimler oluşturma (bir video akışından görüntü kareleri). Varsayılan olarak her 60 saniyede bir küçük resimler oluşturur ve kullanıcılara görüntü kalitesini ve sıklığını özelleştirme seçeneği sunar. Kullanmak AWS Yönetim Konsolu, Yapabilirsiniz kayıt yapılandırması oluşturma ve onu bir Amazon IVS kanalına bağlayın. Bir kayıt yapılandırması bir kanalla ilişkilendirildiğinde kanalın canlı yayınları otomatik olarak belirtilen S3 klasörüne kaydedilir.

Amazon S3'e otomatik kayıt özelliğini kullanmak veya Amazon S3'e yazmak için herhangi bir Amazon IVS ücreti alınmaz. Amazon S3 depolaması, Amazon IVS'nin müşteri adına yaptığı Amazon S3 API çağrıları ve depolanan videonun izleyicilere sunulması için ücret alınır. Amazon IVS maliyetlerine ilişkin ayrıntılar için bkz. Maliyetler (Düşük Gecikmeli Yayın).

Amazon Rekognition Moderasyon API'leri

Bu çözümde kullandığımız Amazon Rekognition DetectModerationLabel API'si Amazon IVS küçük resimlerini neredeyse gerçek zamanlı olarak denetlemek için. Amazon Rekognition Content Moderation, şiddet, çıplaklık, nefret sembolleri ve daha fazlası gibi çok çeşitli uygunsuz veya rahatsız edici içeriği analiz etmek için önceden eğitilmiş API'ler sağlar. Amazon Rekognition İçerik Moderasyon sınıflandırmalarının kapsamlı bir listesi için bkz. İçeriği denetleme.

Aşağıdaki kod parçacığı, bir ağ içindeki görüntüleri denetlemek için Amazon Rekognition DetectModerationLabel API'sinin nasıl çağrılacağını gösterir. AWS Lambda Python Boto3 kütüphanesini kullanarak işlev:

import boto3 # Initialize the Amazon Rekognition client object
rekognition = boto3.client('rekognition') # Call the Rekognition Image moderation API
response = rekognition.detect_moderation_labels( Image={'S3Object': {'Bucket': data_bucket,'Name': s3_key}}
)

Aşağıda Amazon Rekognition Image Moderation API'sinden alınan örnek bir yanıt verilmiştir:

{ "ModerationLabels": [ { "Confidence": 99.9290542602539, "Name": "Female Swimwear Or Underwear", "ParentName": "Suggestive" }, ... ], "ModerationModelVersion": "6.1"
}

Amazon Rekognition Image Moderation API'nin ek örnekleri için şu bölümümüze bakın: İçerik Denetleme Görüntü Laboratuvarı.

Çözüme genel bakış

Bu çözüm, bir S3 klasöründeki küçük resim görüntülerini okuyarak ve görüntüleri Amazon Rekognition Image Moderation API'sine göndererek Amazon IVS ile entegre olur. Akışı otomatik olarak durdurma ve döngüdeki insan incelemesi için seçenekler sunar. Koşullara göre akışları otomatik olarak durdurmak için sistemin kurallarını yapılandırabilirsiniz. Aynı zamanda moderatörlere yayınları izleme, ihlal uyarılarını yönetme ve gerektiğinde yayınları durdurma yetkisi veren basit bir insan inceleme portalı içerir.

Bu bölümde sistem mimarisini kısaca tanıtacağız. Daha ayrıntılı bilgi için bkz. GitHub repo.

Aşağıdaki ekran kaydı, moderatör kullanıcı arayüzünü görüntüleyerek aktif akışları denetleme uyarılarıyla izlemelerine ve akışı durdurma veya uyarıları göz ardı etme gibi eylemler gerçekleştirmelerine olanak tanır.

Kullanıcılar, kanal başına video akışı örnek sıklığını kontrol ederek, Amazon Rekognition moderasyon kategorilerini güven eşikleriyle yapılandırarak ve gereksiz görüntülerin işlenmesini önleyerek performans ve maliyet optimizasyonu sağlayan benzerlik kontrollerini etkinleştirerek moderasyon kurallarını özelleştirebilir.

Aşağıdaki ekran kaydı, genel bir yapılandırmayı yönetmek için kullanıcı arayüzünü görüntüler.

Çözüm, Amazon IVS ile gevşek bir şekilde birleştirilmiş iki temel bileşenden oluşan bir mikro hizmet mimarisini kullanıyor.

kural motoru

Kural motoru, canlı yayın denetleme sisteminin omurgasını oluşturur. Gerçek zamanlıya yakın moderasyona olanak tanıyan canlı bir işleme hizmetidir. Görüntüleri denetlemek için Amazon Rekognition'ı kullanır, sonuçları özelleştirilebilir kurallara göre doğrular, benzer görüntüleri tanımak ve hariç tutmak için görüntü karma algoritmaları kullanır ve akışları otomatik olarak durdurabilir veya kural ihlalleri durumunda insan inceleme alt sistemini uyarabilir. Hizmet, Amazon S3 tabanlı görüntü okuma aracılığıyla Amazon IVS ile entegre olur ve aracılığıyla API çağrılmasını kolaylaştırır. Amazon API Ağ Geçidi.

Aşağıdaki mimari diyagramı, gerçek zamanlıya yakın denetim iş akışını göstermektedir.

Kural motoru işleme iş akışını tetiklemenin iki yöntemi vardır:

• S3 dosya tetikleyicisi – S3 klasörüne yeni bir görüntü eklendiğinde iş akışı başlar. Amazon IVS entegrasyonu için önerilen yöntem budur.
• REST API çağrısı – İstek gövdesindeki resim baytları ile API Gateway’e RESTful API çağrısı yapabilirsiniz. API, görüntüyü bir S3 klasöründe saklayarak neredeyse gerçek zamanlı işlemeyi tetikler. Bu yaklaşım, canlı yayın uygulamasının istemci tarafı tarafından çekilen ve internet üzerinden iletilen görüntüler için uygundur.

Tarafından yönetilen görüntü işleme iş akışı AWS Basamak İşlevleri, birkaç adım içerir:

1. Örnek frekans kuralını kontrol edin. Önceki örnekleme zamanı çok yakınsa işleme durdurulur.
2. Yapılandırmada etkinleştirildiyse görüntü karma algoritmalarını kullanarak bir benzerlik kontrolü gerçekleştirin. İşlem, aynı kanal için alınan önceki görüntüye benzer olması durumunda görüntüyü atlar.
3. Görüntüyü yapılandırılmış kurallara göre değerlendirmek, bir güven eşiği uygulamak ve gereksiz kategorileri göz ardı etmek için Amazon Rekognition Image Moderation API'yi kullanın.
4. Denetleme sonucu herhangi bir kuralı ihlal ediyorsa bildirimleri bir Amazon Basit Bildirim Servisi (Amazon SNS) konusu, aşağı akış sistemlerini denetleme uyarılarıyla uyarıyor.
5. Otomatik durdurma denetimi kuralı ihlal edilirse Amazon IVS akışı otomatik olarak durdurulur.

Tasarım, kuralları Step Functions durum makinesi aracılığıyla yöneterek esnek iş akışı tanımı için sürükle ve bırak GUI'si sağlar. Ek Step Functions iş akışlarını dahil ederek kural motorunu genişletebilirsiniz.

İzleme ve yönetim panosu

İzleme ve yönetim panosu, insan moderatörlerin Amazon IVS canlı yayınlarını izlemesine olanak tanıyan kullanıcı arayüzüne sahip bir web uygulamasıdır. Gerçek zamanlıya yakın denetim uyarıları sağlayarak moderatörlerin yayınları durdurmasına veya uyarıları göz ardı etmesine olanak tanır. Web portalı aynı zamanda yöneticilere kural motoru için denetleme kurallarını yönetme yetkisi verir. İki tür yapılandırmayı destekler:

• Kanal kuralları – Belirli kanallar için kurallar tanımlayabilirsiniz.
• Küresel kurallar – Bu kurallar, belirli yapılandırmalara sahip olmayan Amazon IVS kanallarının tümü veya bir alt kümesi için geçerlidir. Genel kuralı bir kalıpla eşleşen Amazon IVS kanal adlarına uygulamak için normal bir ifade tanımlayabilirsiniz. Örneğin: .* tüm kanallar için geçerlidir. /^test-/ adı test- ile başlayan kanallar için geçerlidir.

Sistem, Amazon S3'te barındırılan statik bir React ön ucuna sahip, sunucusuz bir web uygulamasıdır. Amazon CloudFront önbelleğe alma için. Kimlik doğrulama şu şekilde gerçekleştirilir: Amazon Cognito'su. Veriler API Ağ Geçidi ve Lambda aracılığıyla sunulur ve durum depolaması Amazon DinamoDB. Aşağıdaki diyagram bu mimariyi göstermektedir.

İzleme panosu, moderatörler için temel özellikleri sağlayan hafif bir demo uygulamasıdır. İşlevselliği geliştirmek için, uygulamayı bir yönetim sistemiyle birden fazla moderatörü destekleyecek şekilde genişletebilir ve WebSockets kullanarak bir aktarma mekanizması uygulayarak gecikmeyi azaltabilirsiniz.

Moderasyon gecikmesi

Çözüm, iki ayrı alt sistem üzerinden ölçülen gecikmeyle neredeyse gerçek zamanlı denetim için tasarlanmıştır:

• Kural motoru iş akışı – Görüntülerin alınmasından Amazon SNS aracılığıyla bildirim gönderilmesine kadar olan kural motoru iş akışının ortalaması 2 saniyedir. Bu hizmet, görüntüleri bir Step Functions durum makinesi aracılığıyla derhal işler. Amazon Rekognition Image Moderation API, 500 MB'ın altındaki ortalama dosya boyutları için 1 milisaniyenin altında işlem yapar. (Bu bulgular, neredeyse gerçek zamanlı gereksinimleri karşılayan, örnek uygulamayla gerçekleştirilen testlere dayanmaktadır.) Amazon IVS'te farklı seçimler yapma seçeneğiniz vardır. küçük resim çözünürlükleri Görüntü boyutunu ayarlamak için
• Web portalını izleme – İzleme web portalı, kural motorunun SNS konusuna abone olur. Uyarıları bir DynamoDB tablosuna kaydederken, web sitesi kullanıcı arayüzü her 10 saniyede bir en son uyarıları getirir. Bu tasarım, moderatörün görüşünün hafif bir gösterimini sergiliyor. Gecikmeyi daha da azaltmak için uyarıları Amazon SNS aracılığıyla ulaştıklarında anında kullanıcı arayüzüne iletmek üzere bir WebSocket uygulamayı düşünün.

Çözümü genişlet

Bu gönderi, canlı yayın görsel içeriğinin denetlenmesine odaklanmaktadır. Ancak çözüm kasıtlı olarak esnektir, karmaşık iş kurallarına uyum sağlama kapasitesine sahiptir ve canlı yayınlarda sohbet mesajlarının ve sesin yönetilmesi de dahil olmak üzere diğer medya türlerini destekleyecek şekilde genişletilebilir. Yukarı akış gönderme mantığına sahip yeni Step Functions durum makinesi iş akışlarını sunarak kural motorunu geliştirebilirsiniz. Gelecek gönderilerde AWS AI hizmetlerini kullanarak canlı yayın metni ve ses denetimini daha ayrıntılı olarak ele alacağız.

Özet

Bu yazıda, Amazon Rekognition kullanılarak Amazon IVS canlı yayın videolarının nasıl yönetileceğini gösteren örnek bir çözüme genel bir bakış sunduk. Örnek uygulamayı aşağıdaki yönergeleri takip ederek deneyimleyebilirsiniz. GitHub repo ve birlikte verilen AWS CDK paketini kullanarak bunu AWS hesabınıza dağıtın.

Hakkında daha fazla bilgi alın AWS'de içerik denetimi. Doğruya doğru ilk adımı atın AWS ile içerik denetleme işlemlerinizi kolaylaştırma.

Yazarlar Hakkında

Lana Çang AWS WWSO Yapay Zeka Hizmetleri ekibinde Kıdemli Çözüm Mimarıdır ve İçerik Denetimi, Bilgisayarla Görme, Doğal Dil İşleme ve Üretken Yapay Zeka için Yapay Zeka ve Makine Öğrenimi konusunda uzmanlaşmıştır. Uzmanlığıyla kendini AWS AI/ML çözümlerini tanıtmaya ve müşterilerin sosyal medya, oyun, e-ticaret, medya, reklam ve pazarlama dahil olmak üzere çeşitli sektörlerdeki iş çözümlerini dönüştürmelerine yardımcı olmaya adamıştır.

Tony Vu Twitch'te Kıdemli Ortak Mühendisidir. IVS müşterilerimize kapsamlı ortak çözümler geliştirmeyi ve sunmayı amaçlayan Amazon Interactive Video Service (IVS) ile entegrasyon için iş ortağı teknolojisini değerlendirme konusunda uzmandır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/