Interactieve videoservice van Amazon (Amazon IVS) is een beheerde oplossing voor livestreaming die is ontworpen om een ​​snelle en eenvoudige installatie te bieden waarmee u interactieve video-ervaringen kunt opbouwen en interactieve video-inhoud kunt afhandelen van opname tot levering.

Met het toegenomen gebruik van livestreaming wordt de behoefte aan effectieve contentmoderatie nog belangrijker. Door gebruikers gegenereerde inhoud (UGC) brengt complexe uitdagingen voor de veiligheid met zich mee. Veel bedrijven vertrouwen op menselijke moderators om videostreams te monitoren, wat tijdrovend en foutgevoelig is en niet meegroeit met de snelheid van de bedrijfsgroei. Er is steeds meer behoefte aan een geautomatiseerde moderatieoplossing die een Human in the Loop (HITL) ondersteunt.

Contentmoderatie van Amazon Recognition, een vermogen van Amazon Rekognition, automatiseert en stroomlijnt workflows voor beeld- en videomoderatie zonder dat ervaring met machine learning (ML) vereist is. In dit bericht leggen we de gebruikelijke praktijk van visuele moderatie van livestreams uit met een oplossing die de Amazon Rekognition Image API gebruikt om livestreams te modereren. U kunt deze oplossing op uw AWS-account implementeren met behulp van de AWS Cloud-ontwikkelingskit (AWS CDK)-pakket beschikbaar in onze GitHub repo.

Modereer livestream visuele inhoud

De meest gebruikelijke aanpak voor visuele moderatie van UGC-livestreams omvat het nemen van monsters van beelden uit de stream en het gebruiken van beeldmoderatie om bijna realtime resultaten te ontvangen. Livestreamplatforms kunnen flexibele regels gebruiken om visuele inhoud te modereren. Platforms met een jonger publiek kunnen bijvoorbeeld strikte regels hanteren over inhoud voor volwassenen en bepaalde producten, terwijl andere zich mogelijk richten op haatsymbolen. Deze platforms stellen verschillende regels vast om hun beleid effectief op elkaar af te stemmen. Door menselijke en automatische beoordeling te combineren, is een hybride proces een veelgebruikte ontwerpaanpak. Bepaalde streams worden automatisch gestopt, maar menselijke moderators zullen ook beoordelen of een stream in strijd is met het platformbeleid en moet worden gedeactiveerd.

Het volgende diagram illustreert de conceptuele workflow van een bijna realtime moderatiesysteem, ontworpen met losse koppeling aan het livestreamsysteem.

De workflow bevat de volgende stappen:

1. De livestreamservice (of de client-app) bemonstert afbeeldingsframes uit videostreams op basis van een specifiek interval.
2. Een regelengine evalueert moderatierichtlijnen, bepaalt de frequentie van streamsampling en de toepasselijke moderatiecategorieën, allemaal binnen vooraf gedefinieerd beleid. Dit proces omvat het gebruik van zowel ML- als niet-ML-algoritmen.
3. De regelengine waarschuwt menselijke moderators bij het detecteren van overtredingen in de videostreams.
4. Menselijke moderators beoordelen het resultaat en deactiveren de livestream.

Het modereren van UGC-livestreams verschilt van klassieke videomoderatie in de media. Het voldoet aan diverse regelgeving. Hoe vaak afbeeldingen uit videoframes worden gesampled voor moderatie, wordt doorgaans bepaald door het Trust & Safety-beleid van het platform en de Service Level Agreement (SLA). Als een livestreamplatform bijvoorbeeld kanalen binnen drie minuten wil stopzetten wegens beleidsschendingen, is het een praktische aanpak om elke één tot twee minuten te samplen, zodat menselijke moderators de tijd hebben om dit te verifiëren en actie te ondernemen. Sommige platforms vereisen flexibele moderatiefrequentiecontrole. Zeer gerenommeerde streamers hebben bijvoorbeeld minder moderatie nodig, terwijl nieuwe meer aandacht vereisen. Dit maakt ook kostenoptimalisatie mogelijk door de bemonsteringsfrequentie te verlagen.

Kosten zijn een belangrijke overweging bij elke oplossing voor het modereren van livestreams. Naarmate UGC-livestreamplatforms zich snel uitbreiden, kan het modereren van gelijktijdige streams met een hoge frequentie kostenproblemen veroorzaken. De oplossing die in dit bericht wordt gepresenteerd, is ontworpen om de kosten te optimaliseren door u de mogelijkheid te bieden moderatieregels te definiëren om de bemonsteringsfrequentie aan te passen, vergelijkbare afbeeldingsframes te negeren en andere technieken.

Amazon IVS-streaminhoud opnemen naar Amazon S3

Amazon IVS biedt native oplossingen voor streaminhoud opnemen een Amazon eenvoudige opslagservice (Amazon S3) bucket en het genereren van miniaturen: afbeeldingsframes uit een videostream. Het genereert standaard elke 60 seconden miniaturen en biedt gebruikers de mogelijkheid om de beeldkwaliteit en -frequentie aan te passen. De ... gebruiken AWS-beheerconsole, Kunt u maak een opnameconfiguratie en koppel deze aan een Amazon IVS-kanaal. Wanneer een opnameconfiguratie aan een kanaal is gekoppeld, worden de livestreams van het kanaal automatisch opgenomen in de opgegeven S3-bucket.

Er zijn geen Amazon IVS-kosten verbonden aan het gebruik van de functie voor automatisch opnemen naar Amazon S3 of voor het schrijven naar Amazon S3. Er zijn kosten verbonden aan Amazon S3-opslag, Amazon S3 API-aanroepen die Amazon IVS namens de klant doet en het aanbieden van de opgeslagen video aan kijkers. Voor meer informatie over Amazon IVS-kosten raadpleegt u Kosten (streaming met lage latentie).

Amazon Rekognition-moderatie-API's

In deze oplossing gebruiken we de Amazon Rekognition DetectModerationLabel-API om Amazon IVS-thumbnails in bijna realtime te modereren. Amazon Rekognition Content Moderation biedt vooraf getrainde API's om een ​​breed scala aan ongepaste of aanstootgevende inhoud te analyseren, zoals geweld, naaktheid, haatsymbolen en meer. Voor een uitgebreide lijst met Amazon Rekognition Content Moderation-taxonomieën raadpleegt u Inhoud modereren.

Het volgende codefragment laat zien hoe u de Amazon Rekognition DetectModerationLabel API aanroept om afbeeldingen binnen een AWS Lambda functie met behulp van de Python Boto3-bibliotheek:

import boto3 # Initialize the Amazon Rekognition client object
rekognition = boto3.client('rekognition') # Call the Rekognition Image moderation API
response = rekognition.detect_moderation_labels( Image={'S3Object': {'Bucket': data_bucket,'Name': s3_key}}
)

Het volgende is een voorbeeldreactie van de Amazon Rekognition Image Moderation API:

{ "ModerationLabels": [ { "Confidence": 99.9290542602539, "Name": "Female Swimwear Or Underwear", "ParentName": "Suggestive" }, ... ], "ModerationModelVersion": "6.1"
}

Raadpleeg voor meer voorbeelden van de Amazon Rekognition Image Moderation API onze Contentmoderatie Image Lab.

Overzicht oplossingen

Deze oplossing kan worden geïntegreerd met Amazon IVS door miniatuurafbeeldingen uit een S3-bucket te lezen en afbeeldingen naar de Amazon Rekognition Image Moderation API te verzenden. Het biedt keuzes voor het automatisch stoppen van de stream en een menselijke beoordeling. U kunt regels configureren zodat het systeem streams automatisch stopt op basis van omstandigheden. Het bevat ook een licht, menselijk beoordelingsportaal, waarmee moderators streams kunnen monitoren, overtredingswaarschuwingen kunnen beheren en streams kunnen stoppen wanneer dat nodig is.

In deze sectie introduceren we kort de systeemarchitectuur. Voor meer gedetailleerde informatie, zie de GitHub repo.

De volgende schermopname toont de gebruikersinterface van de moderator, waardoor ze actieve streams met moderatiewaarschuwingen kunnen volgen en acties kunnen ondernemen zoals het stoppen van de stream of het negeren van waarschuwingen.

Gebruikers kunnen de moderatieregels aanpassen, de bemonsteringsfrequentie van de videostream per kanaal regelen, Amazon Rekognition-moderatiecategorieën met betrouwbaarheidsdrempels configureren en gelijkeniscontroles inschakelen, wat zorgt voor prestatie- en kostenoptimalisatie door het vermijden van het verwerken van overtollige afbeeldingen.

De volgende schermopname toont de gebruikersinterface voor het beheren van een globale configuratie.

De oplossing maakt gebruik van een microservices-architectuur, die bestaat uit twee belangrijke componenten die losjes gekoppeld zijn aan Amazon IVS.

Regels motor

De regelsengine vormt de ruggengraat van het moderatiesysteem voor livestreams. Het is een liveverwerkingsservice die vrijwel realtime moderatie mogelijk maakt. Het maakt gebruik van Amazon Rekognition om afbeeldingen te modereren, valideert resultaten aan de hand van aanpasbare regels, gebruikt algoritmen voor het hashen van afbeeldingen om vergelijkbare afbeeldingen te herkennen en uit te sluiten, en kan streams automatisch stoppen of het menselijke beoordelingssubsysteem waarschuwen bij regelovertredingen. De service kan worden geïntegreerd met Amazon IVS via het op Amazon S3 gebaseerde lezen van afbeeldingen en vergemakkelijkt het aanroepen van API's via Amazon API-gateway.

Het volgende architectuurdiagram illustreert de bijna realtime moderatieworkflow.

Er zijn twee methoden om de verwerkingsworkflow van de regelengine te activeren:

• S3-bestandstrigger – Wanneer een nieuwe afbeelding aan de S3-bucket wordt toegevoegd, start de workflow. Dit is de aanbevolen manier voor Amazon IVS-integratie.
• REST API-oproep – U kunt een RESTful API-aanroep naar API Gateway doen met de afbeeldingsbytes in de aanvraagtekst. De API slaat de afbeelding op in een S3-bucket, waardoor een bijna realtime verwerking wordt geactiveerd. Deze aanpak is geschikt voor afbeeldingen die zijn vastgelegd door de clientzijde van de livestream-app en via internet zijn verzonden.

De beeldverwerkingsworkflow, beheerd door AWS Stap Functies, omvat verschillende stappen:

1. Controleer de bemonsteringsfrequentieregel. De verwerking stopt als de vorige bemonsteringstijd te recent is.
2. Indien ingeschakeld in de configuratie, voert u een gelijkeniscontrole uit met behulp van hash-algoritmen voor afbeeldingen. Het proces slaat de afbeelding over als deze vergelijkbaar is met de vorige die voor hetzelfde kanaal is ontvangen.
3. Gebruik de Amazon Rekognition Image Moderation API om de afbeelding te beoordelen aan de hand van geconfigureerde regels, waarbij u een betrouwbaarheidsdrempel toepast en onnodige categorieën negeert.
4. Als het moderatieresultaat regels schendt, stuur dan meldingen naar een Amazon eenvoudige meldingsservice (Amazon SNS) onderwerp, downstream-systemen waarschuwen met moderatiewaarschuwingen.
5. Als de moderatieregel voor automatisch stoppen wordt overtreden, wordt de Amazon IVS-stream automatisch gestopt.

Het ontwerp beheert de regels via een Step Functions-statusmachine, die een drag-and-drop GUI biedt voor flexibele workflowdefinitie. U kunt de regelengine uitbreiden door extra Step Functions-workflows op te nemen.

Dashboard voor monitoring en beheer

Het monitoring- en beheerdashboard is een webapplicatie met een gebruikersinterface waarmee menselijke moderators de livestreams van Amazon IVS kunnen volgen. Het biedt bijna realtime moderatiewaarschuwingen, waardoor moderators streams kunnen stoppen of waarschuwingen kunnen negeren. Via het webportaal kunnen beheerders ook moderatieregels voor de regelengine beheren. Het ondersteunt twee soorten configuraties:

• Kanaalregels – U kunt regels definiëren voor specifieke kanalen.
• Mondiale regels – Deze regels zijn van toepassing op alle of een subset van Amazon IVS-kanalen zonder specifieke configuraties. U kunt een reguliere expressie definiëren om de globale regel toe te passen op Amazon IVS-kanaalnamen die overeenkomen met een patroon. Bijvoorbeeld: .* geldt voor alle kanalen. /^test-/ is van toepassing op kanalen waarvan de naam begint met test-.

Het systeem is een serverloze webapp, met een statische React-front-end gehost op Amazon S3 met Amazon CloudFront voor caching. Authenticatie wordt afgehandeld door Amazon Cognito. Gegevens worden aangeboden via API Gateway en Lambda, met statusopslag in Amazon DynamoDB. Het volgende diagram illustreert deze architectuur.

Het monitoringdashboard is een lichtgewicht demo-app die essentiële functies voor moderators biedt. Om de functionaliteit te verbeteren, kunt u de implementatie uitbreiden om meerdere moderators te ondersteunen met een beheersysteem en de latentie verminderen door een push-mechanisme te implementeren met behulp van WebSockets.

Moderatielatentie

De oplossing is ontworpen voor vrijwel realtime moderatie, waarbij de latentie wordt gemeten over twee afzonderlijke subsystemen:

• Regelengine-workflow – De workflow van de regelengine, van het ontvangen van afbeeldingen tot het verzenden van meldingen via Amazon SNS, duurt gemiddeld binnen 2 seconden. Deze service verwerkt afbeeldingen onmiddellijk via een Step Functions-statusmachine. De Amazon Rekognition Image Moderation API verwerkt minder dan 500 milliseconden voor gemiddelde bestandsgroottes van minder dan 1 MB. (Deze bevindingen zijn gebaseerd op tests die zijn uitgevoerd met de voorbeeldapp en die voldoen aan vrijwel realtime vereisten.) In Amazon IVS heb je de mogelijkheid om verschillende miniatuurresoluties om de afbeeldingsgrootte aan te passen.
• Monitoring webportaal – Het monitoring-webportaal is geabonneerd op het SNS-onderwerp van de regelengine. Het registreert waarschuwingen in een DynamoDB-tabel, terwijl de gebruikersinterface van de website elke 10 seconden de nieuwste waarschuwingen ophaalt. Dit ontwerp toont een lichtgewicht demonstratie van de mening van de moderator. Om de latentie verder te verminderen, kunt u overwegen een WebSocket te implementeren om waarschuwingen direct naar de gebruikersinterface te sturen zodra ze binnenkomen via Amazon SNS.

Breid de oplossing uit

Dit bericht richt zich op het modereren van visuele inhoud in livestreams. De oplossing is echter opzettelijk flexibel, geschikt voor complexe bedrijfsregels en uitbreidbaar om andere mediatypen te ondersteunen, waaronder het modereren van chatberichten en audio in livestreams. U kunt de regelsengine verbeteren door nieuwe Step Functions-statusmachineworkflows te introduceren met upstream dispatchinglogica. In komende berichten zullen we dieper ingaan op tekst- en audiomoderatie van livestreams met behulp van AWS AI-services.

Samengevat

In dit bericht hebben we een overzicht gegeven van een voorbeeldoplossing die laat zien hoe je Amazon IVS livestream-video's kunt modereren met behulp van Amazon Rekognition. U kunt de voorbeeld-app ervaren door de instructies in de GitHub repo en implementeer het op uw AWS-account met behulp van het meegeleverde AWS CDK-pakket.

Lees verder over inhoudsmoderatie op AWS. Zet de eerste stap naar het stroomlijnen van uw contentmoderatieactiviteiten met AWS.

Over de auteurs

Lana Zhang is een Senior Solutions Architect bij het AWS WWSO AI Services-team, gespecialiseerd in AI en ML voor contentmoderatie, computervisie, natuurlijke taalverwerking en generatieve AI. Met haar expertise is ze toegewijd aan het promoten van AWS AI/ML-oplossingen en het helpen van klanten bij het transformeren van hun zakelijke oplossingen in diverse sectoren, waaronder sociale media, gaming, e-commerce, media, reclame en marketing.

Tony Vu is een Senior Partner Engineer bij Twitch. Hij is gespecialiseerd in het beoordelen van partnertechnologie voor integratie met Amazon Interactive Video Service (IVS), met als doel uitgebreide gezamenlijke oplossingen te ontwikkelen en te leveren aan onze IVS-klanten.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/