Amazon interaktiv videotjänst (Amazon IVS) är en hanterad livestreaminglösning som är designad för att ge en snabb och enkel installation för att låta dig bygga interaktiva videoupplevelser och hantera interaktivt videoinnehåll från intag till leverans.

Med den ökade användningen av livestreaming blir behovet av effektiv innehållsmoderering ännu mer avgörande. Användargenererat innehåll (UGC) innebär komplexa utmaningar för säkerheten. Många företag förlitar sig på mänskliga moderatorer för att övervaka videoströmmar, vilket är tidskrävande, felbenäget och inte skalas med affärstillväxthastighet. En automatiserad modereringslösning som stödjer en människa i slingan (HITL) behövs alltmer.

Amazon Rekognition Content Moderering, en förmåga av Amazon-erkännande, automatiserar och effektiviserar arbetsflöden för bild- och videomoderering utan att kräva erfarenhet av maskininlärning (ML). I det här inlägget förklarar vi den vanliga praxisen för visuell moderering av livestream med en lösning som använder Amazon Rekognition Image API för att moderera liveströmmar. Du kan distribuera den här lösningen till ditt AWS-konto med hjälp av AWS Cloud Development Kit (AWS CDK) paket tillgängligt i vår GitHub repo.

Moderera visuellt innehåll livestream

Det vanligaste tillvägagångssättet för visuell moderering av UGC livestream involverar att sampla bilder från strömmen och använda bildmoderering för att ta emot resultat i nästan realtid. Livestreamplattformar kan använda flexibla regler för att moderera visuellt innehåll. Plattformar med yngre publik kan till exempel ha strikta regler för vuxet innehåll och vissa produkter, medan andra kan fokusera på hatsymboler. Dessa plattformar upprättar olika regler för att effektivt matcha deras policyer. Genom att kombinera mänsklig och automatisk granskning är en hybridprocess en vanlig designmetod. Vissa strömmar kommer att stoppas automatiskt, men mänskliga moderatorer kommer också att bedöma om en ström bryter mot plattformspolicyer och bör inaktiveras.

Följande diagram illustrerar det konceptuella arbetsflödet för ett modereringssystem i nästan realtid, designat med lös koppling till livestreamsystemet.

Arbetsflödet innehåller följande steg:

1. Livestreamtjänsten (eller klientappen) samplar bildrutor från videoströmmar baserat på ett specifikt intervall.
2. En regelmotor utvärderar modereringsriktlinjer, bestämmer frekvensen av strömsampling och tillämpliga modereringskategorier, allt inom fördefinierade policyer. Denna process involverar användningen av både ML- och icke-ML-algoritmer.
3. Regelmotorn varnar mänskliga moderatorer när de upptäcker överträdelser i videoströmmarna.
4. Mänskliga moderatorer bedömer resultatet och inaktiverar livestreamen.

Moderering av UGC-liveströmmar skiljer sig från klassisk videomoderering i media. Den tillgodoser olika regler. Hur ofta bilder samplas från videorutor för moderering bestäms vanligtvis av plattformens Trust & Safety-policy och servicenivåavtalet (SLA). Till exempel, om en livestream-plattform strävar efter att stoppa kanaler inom 3 minuter för policyöverträdelser, är ett praktiskt tillvägagångssätt att prova var 1–2 minut, vilket ger mänskliga moderatorer tid att verifiera och vidta åtgärder. Vissa plattformar kräver flexibel modereringsfrekvenskontroll. Till exempel kan mycket välrenommerade streamers behöva mindre moderering, medan nya kräver mer uppmärksamhet. Detta möjliggör också kostnadsoptimering genom att minska samplingsfrekvensen.

Kostnaden är en viktig faktor i alla modereringslösningar för livestreaming. Eftersom UGC-livströmsplattformar snabbt expanderar, kan moderering av samtidiga strömmar med hög frekvens skapa kostnadsproblem. Lösningen som presenteras i det här inlägget är utformad för att optimera kostnaden genom att låta dig definiera modereringsregler för att anpassa samplingsfrekvensen, ignorera liknande bildramar och andra tekniker.

Inspelning av Amazon IVS streama innehåll till Amazon S3

Amazon IVS erbjuder inbyggda lösningar för spela in ströminnehåll till en Amazon enkel lagringstjänst (Amazon S3) hink och genererar miniatyrer—bildramar från en videoström. Den genererar miniatyrer var 60:e sekund som standard och ger användarna möjlighet att anpassa bildkvalitet och frekvens. Använda AWS Management Console, Du kan skapa en inspelningskonfiguration och länka den till en Amazon IVS-kanal. När en inspelningskonfiguration är associerad med en kanal, spelas kanalens liveströmmar automatiskt in i den angivna S3-bucket.

Det finns inga Amazon IVS-avgifter för att använda funktionen för automatisk inspelning till Amazon S3 eller för att skriva till Amazon S3. Det tillkommer avgifter för Amazon S3-lagring, Amazon S3 API-anrop som Amazon IVS gör på uppdrag av kunden, och för att visa den lagrade videon till tittarna. För detaljer om Amazon IVS-kostnader, se Kostnader (streaming med låg latens).

Amazon Rekognition Moderation API:er

I den här lösningen använder vi Amazon Rekognition DetectModerationLabel API för att moderera Amazon IVS-miniatyrer i nästan realtid. Amazon Rekognition Content Moderation tillhandahåller förutbildade API:er för att analysera ett brett utbud av olämpligt eller stötande innehåll, som våld, nakenhet, hatsymboler och mer. För en omfattande lista över Amazon Rekognition Content Moderation taxonomier, se Moderera innehåll.

Följande kodavsnitt visar hur man anropar Amazon Rekognition DetectModerationLabel API för att moderera bilder inom en AWS Lambda funktion med Python Boto3-biblioteket:

import boto3 # Initialize the Amazon Rekognition client object
rekognition = boto3.client('rekognition') # Call the Rekognition Image moderation API
response = rekognition.detect_moderation_labels( Image={'S3Object': {'Bucket': data_bucket,'Name': s3_key}}
)

Följande är ett exempelsvar från Amazon Rekognition Image Moderation API:

{ "ModerationLabels": [ { "Confidence": 99.9290542602539, "Name": "Female Swimwear Or Underwear", "ParentName": "Suggestive" }, ... ], "ModerationModelVersion": "6.1"
}

För ytterligare exempel på Amazon Rekognition Image Moderation API, se vår Innehållsmoderering Bildlab.

Lösningsöversikt

Denna lösning integreras med Amazon IVS genom att läsa miniatyrbilder från en S3-bucket och skicka bilder till Amazon Rekognition Image Moderation API. Det ger val för att stoppa strömmen automatiskt och granska människan i slingan. Du kan konfigurera regler för att systemet automatiskt stoppar strömmar baserat på förhållanden. Den innehåller också en lätt mänsklig granskningsportal, som ger moderatorer möjlighet att övervaka strömmar, hantera överträdelsevarningar och stoppa strömmar vid behov.

I det här avsnittet presenterar vi kort systemarkitekturen. För mer detaljerad information, se GitHub repo.

Följande skärminspelning visar moderatorns användargränssnitt, vilket gör att de kan övervaka aktiva strömmar med modereringsvarningar och vidta åtgärder som att stoppa strömmen eller avvisa varningar.

Användare kan anpassa modereringsregler, kontrollera videoströmsprovfrekvens per kanal, konfigurera Amazon Rekognition-modereringskategorier med konfidensgränser och möjliggöra likhetskontroller, vilket säkerställer prestanda och kostnadsoptimering genom att undvika bearbetning av redundanta bilder.

Följande skärminspelning visar användargränssnittet för hantering av en global konfiguration.

Lösningen använder en mikroservicearkitektur, som består av två nyckelkomponenter löst kopplade till Amazon IVS.

reglerar motorn

Regelmotorn utgör ryggraden i modereringssystemet för livestreaming. Det är en livebearbetningstjänst som möjliggör moderering i nästan realtid. Den använder Amazon Rekognition för att moderera bilder, validerar resultat mot anpassningsbara regler, använder bildhashningsalgoritmer för att känna igen och utesluta liknande bilder och kan stoppa strömmar automatiskt eller varna det mänskliga granskningsundersystemet vid regelöverträdelser. Tjänsten integreras med Amazon IVS genom Amazon S3-baserad bildläsning och underlättar API-anrop via Amazon API Gateway.

Följande arkitekturdiagram illustrerar arbetsflödet för moderering i nästan realtid.

Det finns två metoder för att utlösa arbetsflödet för bearbetning av regelmotorn:

• S3 fil trigger – När en ny bild läggs till i S3-skopan startar arbetsflödet. Detta är det rekommenderade sättet för Amazon IVS-integration.
• REST API-anrop – Du kan göra ett RESTful API-anrop till API Gateway med bildbyte i förfrågan. API:et lagrar bilden i en S3-bucket, vilket utlöser bearbetning i nästan realtid. Detta tillvägagångssätt är lämpligt för bilder som tagits av klientsidan av livestream-appen och överförts över internet.

Arbetsflödet för bildbehandling, hanteras av AWS stegfunktioner, involverar flera steg:

1. Kontrollera provfrekvensregeln. Bearbetningen avbryts om den tidigare provtiden är för nylig.
2. Om det är aktiverat i konfigurationen, utför en likhetskontroll med bildhashalgoritmer. Processen hoppar över bilden om den liknar den föregående som togs emot för samma kanal.
3. Använd Amazon Rekognition Image Moderation API för att bedöma bilden mot konfigurerade regler, tillämpa en konfidensgräns och ignorera onödiga kategorier.
4. Om modereringsresultatet bryter mot några regler, skicka meddelanden till en Amazon enkel meddelandetjänst (Amazon SNS) ämne, varnar nedströms system med måttfulla varningar.
5. Om modereringsregeln för autostopp överträds kommer Amazon IVS-strömmen att stoppas automatiskt.

Designen hanterar regler genom en Step Functions-tillståndsmaskin, vilket ger ett dra-och-släpp-gränssnitt för flexibel arbetsflödesdefinition. Du kan utöka regelmotorn genom att införliva ytterligare Step Functions-arbetsflöden.

Övervakning och förvaltning instrumentpanel

Övervaknings- och hanteringspanelen är en webbapplikation med ett användargränssnitt som låter mänskliga moderatorer övervaka Amazon IVS liveströmmar. Det ger modereringsvarningar i nästan realtid, vilket gör att moderatorer kan stoppa strömmar eller avvisa varningar. Webbportalen ger också administratörer möjlighet att hantera modereringsregler för regelmotorn. Den stöder två typer av konfigurationer:

• Kanalregler – Du kan definiera regler för specifika kanaler.
• Globala regler – Dessa regler gäller för alla eller en delmängd av Amazon IVS-kanaler som saknar specifika konfigurationer. Du kan definiera ett reguljärt uttryck för att tillämpa den globala regeln på Amazon IVS-kanalnamn som matchar ett mönster. Till exempel: .* gäller för alla kanaler. /^test-/ gäller för kanaler med namn som börjar med test-.

Systemet är en serverlös webbapp, med ett statiskt React-gränssnitt på Amazon S3 med Amazon CloudFront för cachelagring. Autentisering hanteras av Amazon Cognito. Data serveras genom API Gateway och Lambda, med tillståndslagring i Amazon DynamoDB. Följande diagram illustrerar denna arkitektur.

Övervakningsinstrumentpanelen är en lätt demo-app som ger viktiga funktioner för moderatorer. För att förbättra funktionaliteten kan du utöka implementeringen till att stödja flera moderatorer med ett hanteringssystem och minska latensen genom att implementera en push-mekanism med WebSockets.

Måttlig latens

Lösningen är designad för moderering i nästan realtid, med latens mätt över två separata delsystem:

• Regler motorns arbetsflöde – Arbetsflödet för regelmotorn, från att ta emot bilder till att skicka meddelanden via Amazon SNS, är i genomsnitt inom 2 sekunder. Den här tjänsten hanterar bilder snabbt via en tillståndsmaskin för stegfunktioner. Amazon Rekognition Image Moderation API bearbetar under 500 millisekunder för genomsnittliga filstorlekar under 1 MB. (Dessa resultat är baserade på tester utförda med exempelappen, som uppfyller kraven i nästan realtid.) I Amazon IVS har du möjlighet att välja olika miniatyrupplösningar för att justera bildstorleken.
• Övervakning av webbportal – Övervakningswebbportalen prenumererar på regelmotorns SNS-ämne. Den registrerar varningar i en DynamoDB-tabell, medan webbplatsens användargränssnitt hämtar de senaste varningarna var tionde sekund. Denna design visar upp en lätt demonstration av moderatorns syn. För att ytterligare minska fördröjningen, överväg att implementera en WebSocket för att omedelbart skicka varningar till användargränssnittet vid deras ankomst via Amazon SNS.

Förläng lösningen

Det här inlägget fokuserar på moderering av visuellt innehåll i livestream. Lösningen är dock avsiktligt flexibel, kan rymma komplexa affärsregler och kan utökas för att stödja andra medietyper, inklusive moderering av chattmeddelanden och ljud i liveströmmar. Du kan förbättra regelmotorn genom att introducera nya Step Functions-tillståndsmaskinarbetsflöden med uppströms sändningslogik. Vi kommer att fördjupa oss i livestream-text- och ljudmoderering med hjälp av AWS AI-tjänster i kommande inlägg.

Sammanfattning

I det här inlägget gav vi en översikt över en exempellösning som visar hur man modererar Amazon IVS livestream-videor med Amazon Rekognition. Du kan uppleva exempelappen genom att följa instruktionerna i GitHub repo och distribuera det till ditt AWS-konto med det medföljande AWS CDK-paketet.

Läs mer om innehållsmoderering på AWS. Ta första steget mot effektivisera din innehållsmoderering med AWS.

Om författarna

Lana Zhang är en Senior Solutions Architect på AWS WWSO AI Services-teamet, specialiserat på AI och ML för Content Moderation, Computer Vision, Natural Language Processing och Generative AI. Med sin expertis är hon dedikerad till att marknadsföra AWS AI/ML-lösningar och hjälpa kunder att transformera sina affärslösningar inom olika branscher, inklusive sociala medier, spel, e-handel, media, reklam och marknadsföring.

Tony Vu är Senior Partner Engineer på Twitch. Han är specialiserad på att utvärdera partnerteknologi för integration med Amazon Interactive Video Service (IVS), som syftar till att utveckla och leverera omfattande gemensamma lösningar till våra IVS-kunder.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/