• Roblox is altijd ontworpen om onze jongste gebruikers te beschermen; we passen ons nu aan aan een groeiend publiek van oudere gebruikers.
• Met tekst, spraak, beelden, 3D-modellen en code bevindt Roblox zich in een unieke positie om te slagen met multimodale AI-oplossingen.
• We verbeteren de veiligheid in de hele sector waar we maar kunnen, via open source, samenwerking met partners of ondersteuning van wetgeving.

Veiligheid en beleefdheid zijn sinds de oprichting bijna twintig jaar geleden van fundamenteel belang voor Roblox. Vanaf dag één hebben we ons ertoe verbonden veiligheidsfuncties, hulpmiddelen en moderatiemogelijkheden in het ontwerp van onze producten in te bouwen. Voordat we een nieuwe functie lanceren, zijn we al begonnen na te denken over hoe we de community kunnen beschermen tegen mogelijke schade. Dit proces van het vanaf het begin ontwerpen van functies met het oog op veiligheid en beleefdheid, inclusief vroege tests om te zien hoe een nieuwe functie kan worden misbruikt, helpt ons te innoveren. We evalueren voortdurend het nieuwste onderzoek en de nieuwste beschikbare technologie om ons beleid, onze tools en systemen zo nauwkeurig en efficiënt mogelijk te houden.

Als het om veiligheid gaat, bevindt Roblox zich in een unieke positie. De meeste platforms zijn begonnen als een plek voor volwassenen en werken nu met terugwerkende kracht aan het inbouwen van bescherming voor tieners en kinderen. Maar ons platform is vanaf het begin ontwikkeld als een veilige, beschermende ruimte waar kinderen kunnen creëren en leren, en we passen ons nu aan aan een snel groeiend publiek dat ouder wordt. Bovendien is de hoeveelheid inhoud die we modereren exponentieel gegroeid, dankzij opwindende nieuwe generatieve AI-functies en -tools waarmee nog meer mensen eenvoudig op Roblox kunnen creëren en communiceren. Dit zijn geen onverwachte uitdagingen; het is onze missie om een ​​miljard mensen te verbinden met optimisme en beleefdheid. We kijken altijd naar de toekomst om te begrijpen welk nieuw veiligheidsbeleid en welke nieuwe instrumenten we nodig zullen hebben naarmate we groeien en ons aanpassen. 

Veel van onze veiligheidsfuncties en -tools zijn gebaseerd op innovatieve AI-oplossingen die worden ondersteund door een deskundig team van duizenden mensen dat zich toelegt op veiligheid. Deze strategische mix van ervaren mensen en intelligente automatisering is absoluut noodzakelijk als we werken aan het opschalen van de hoeveelheid inhoud die we 24/7 modereren. We geloven ook in het onderhouden van partnerschappen met organisaties die zich richten op onlineveiligheid, en, indien relevant, ondersteunen we wetgeving waarvan we sterk geloven dat deze de sector als geheel zal verbeteren. 

Toonaangevend met AI om veilig te schalen 

De enorme schaal van ons platform vereist AI-systemen die voldoen aan toonaangevende benchmarks voor nauwkeurigheid en efficiëntie, waardoor we snel kunnen reageren naarmate de gemeenschap groeit, beleid en vereisten evolueren en er nieuwe uitdagingen ontstaan. Tegenwoordig communiceren en delen meer dan 71 miljoen dagelijks actieve gebruikers in 190 landen inhoud op Roblox. Elke dag sturen mensen miljarden chatberichten naar hun vrienden op Roblox. Ons Creator-winkel heeft miljoenen items te koop en makers voegen nieuwe avatars en items toe Marktplaats elke dag. En dit zal alleen maar groter worden naarmate we blijven groeien en nieuwe manieren mogelijk maken waarop mensen kunnen creëren en communiceren op Roblox.

Terwijl de bredere industrie grote sprongen maakt op het gebied van machine learning (ML), grote taalmodellen (LLM's) en multimodale AI, investeren we zwaar in manieren om deze nieuwe oplossingen te benutten om Roblox nog veiliger te maken. AI-oplossingen helpen ons al om tekstchats te modereren, meeslepende stemcommunicatie, afbeeldingen en 3D-modellen en meshes. We gebruiken nu veel van dezelfde technologieën om creaties op Roblox te maken sneller en gemakkelijker voor onze gemeenschap. 

Innoveren met multimodale AI-systemen

Ons platform combineert van nature tekst, spraak, afbeeldingen, 3D-modellen en code. Multimodale AI, waarbij systemen worden getraind op meerdere soorten gegevens samen om nauwkeurigere, geavanceerdere resultaten te produceren dan een unimodaal systeem, biedt een unieke kans voor Roblox. Multimodale systemen zijn in staat combinaties van inhoudstypen (zoals afbeeldingen en tekst) te detecteren die problematisch kunnen zijn op manieren waarop de afzonderlijke elementen dat niet zijn. Om ons voor te stellen hoe dit zou kunnen werken, laten we zeggen dat een kind een avatar gebruikt die op een varken lijkt. Helemaal prima, toch? Stel je nu voor dat iemand anders een chatbericht stuurt met de tekst: 'Dit lijkt precies op jou! Die boodschap zou in strijd kunnen zijn met ons beleid rond pesten. 

Een model dat alleen op 3D-modellen is getraind, zou de avatar goedkeuren. En een model dat alleen op tekst was getraind, zou de tekst goedkeuren en de context van de avatar negeren. Alleen iemand die getraind is in tekst- en 3D-modellen zou het probleem in dit voorbeeld snel kunnen detecteren en markeren. We staan ​​nog aan het begin van deze multimodale modellen, maar we zien in de niet al te verre toekomst een wereld waarin ons systeem reageert op een misbruikmelding door een hele ervaring te beoordelen. Het zou de code, de beelden, de avatars en de communicatie daarin als input kunnen verwerken en kunnen bepalen of verder onderzoek of gevolgtrekking gerechtvaardigd is. 

We hebben al aanzienlijke vooruitgang geboekt met behulp van multimodale technieken, zoals ons model dat beleidsschendingen op het gebied van spraakcommunicatie vrijwel in realtime detecteert. We zijn van plan dergelijke ontwikkelingen te delen wanneer we de mogelijkheid zien om de veiligheid en beleefdheid te vergroten, niet alleen op Roblox maar in de hele sector. In feite delen we ons eerste open source-model, een classificatie voor stemveiligheid, met de industrie. 

Content op schaal modereren

Bij Roblox beoordelen we de meeste inhoudstypen om kritieke beleidsschendingen op te sporen vaardigheden ze verschijnen op het perron. Om dit te doen zonder merkbare vertragingen te veroorzaken voor de mensen die hun inhoud publiceren, is zowel snelheid als nauwkeurigheid vereist. Baanbrekende AI-oplossingen helpen ons in realtime betere beslissingen te nemen om problematische inhoud van Roblox weg te houden. En als er iets op het platform terechtkomt, beschikken we over systemen om die inhoud te identificeren en te verwijderen, inclusief onze robuuste gebruikersrapportagesystemen. 

We hebben gezien dat de nauwkeurigheid van onze geautomatiseerde moderatietools die van menselijke moderators overtreft als het gaat om herhaalbare, eenvoudige taken. Door deze eenvoudigere gevallen te automatiseren, maken we onze menselijke moderators vrij om het grootste deel van hun tijd te besteden aan datgene waar ze het beste in zijn: de complexere taken die kritisch denken en diepgaander onderzoek vereisen. Als het om veiligheid gaat, weten we echter dat automatisering de menselijke beoordeling niet volledig kan vervangen. Onze menselijke moderators zijn van onschatbare waarde omdat ze ons helpen voortdurend toezicht te houden op de kwaliteit en consistentie van onze ML-modellen en deze te testen, en bij het creëren van hoogwaardige gelabelde datasets om onze systemen actueel te houden. Ze helpen bij het identificeren van nieuw jargon en afkortingen in alle 16 talen die we ondersteunen en signaleren gevallen die regelmatig voorkomen, zodat het systeem kan worden getraind om deze te herkennen. 

We weten dat zelfs hoogwaardige ML-systemen fouten kunnen maken, daarom hebben we menselijke moderators in ons bezwaarproces. Onze moderators helpen ons om het goed te doen voor de persoon die het beroep heeft ingediend, en kunnen de noodzaak van verdere training signaleren over de soorten gevallen waarin fouten zijn gemaakt. Hierdoor wordt ons systeem in de loop van de tijd steeds nauwkeuriger en leert het in wezen van zijn fouten.Het allerbelangrijkste is dat mensen altijd betrokken zijn bij kritische onderzoeken waarbij gevallen met een hoog risico betrokken zijn, zoals extremisme of het in gevaar brengen van kinderen. Voor deze gevallen hebben we een toegewijd intern team dat zich bezighoudt met het proactief identificeren en verwijderen van kwaadwillende actoren en het onderzoeken van moeilijke gevallen op onze meest kritieke gebieden. Dit team werkt ook samen met ons productteam en deelt inzichten uit het werk dat zij doen om de veiligheid van ons platform en onze producten voortdurend te verbeteren.

Communicatie modereren

Ons tekstfilter is getraind op Roblox-specifiek taalgebruik, inclusief jargon en afkortingen. De 2.5 miljard chatberichten die elke dag op Roblox worden verzonden, passeren dit filter, dat bedreven is in het detecteren van beleidschendend taalgebruik. Dit filter detecteert overtredingen in alle talen die we ondersteunen, wat vooral belangrijk is nu we realtime hebben vrijgegeven AI-chatvertalingen. 

We hebben eerder gedeeld hoe we dat doen gematigde stemcommunicatie in realtime via een intern aangepast stemdetectiesysteem. De innovatie hier is de mogelijkheid om binnen enkele seconden rechtstreeks van de live audio over te gaan naar het AI-systeem om de audio te laten labelen als beleid dat al dan niet in strijd is met het beleid. Toen we ons stemmoderatiesysteem begonnen te testen, ontdekten we dat mensen in veel gevallen onbedoeld ons beleid overtraden omdat ze niet bekend waren met onze regels. We hebben een realtime veiligheidssysteem ontwikkeld om mensen op de hoogte te stellen wanneer hun spraak een van ons beleid schendt.

Deze meldingen zijn een vroege, milde waarschuwing, vergelijkbaar met het beleefd vragen om op je taalgebruik te letten in een openbaar park met jonge kinderen in de buurt. Tijdens tests zijn deze interventies succesvol gebleken in het eraan herinneren van mensen om respectvol te zijn en hen te wijzen op ons beleid om meer te leren. Vergeleken met betrokkenheidsgegevens zijn de resultaten van onze tests bemoedigend en geven aan dat deze tools slechte actoren effectief van het platform kunnen houden en tegelijkertijd echt betrokken gebruikers kunnen aanmoedigen om hun gedrag op Roblox te verbeteren. Sinds de introductie van realtime veiligheid voor alle Engelssprekende gebruikers in januari hebben we een daling van 53 procent gezien in het aantal misbruikrapporten per dagelijks actieve gebruiker, gerelateerd aan spraakcommunicatie.

Het modereren van de creatie

Voor visuele middelen, waaronder avatars en avataraccessoires, gebruiken we computer vision (CV). Eén techniek houdt in dat je vanuit meerdere hoeken foto's van het item maakt. Het systeem beoordeelt vervolgens die foto's om te bepalen wat de volgende stap zou moeten zijn. Als er niets aan de hand lijkt, wordt het item goedgekeurd. Als iets duidelijk een beleid schendt, wordt het item geblokkeerd en vertellen we de maker wat er volgens ons mis is. Als het systeem het niet zeker weet, wordt het item naar een menselijke moderator gestuurd om het nader te bekijken en een definitieve beslissing te nemen.

We doen een versie van hetzelfde proces voor avatars, accessoires, code en volledige 3D-modellen. Voor volledige modellen gaan we nog een stap verder en beoordelen we alle code en andere elementen waaruit het model bestaat. Als we een auto beoordelen, splitsen we hem op in zijn onderdelen – het stuur, de stoelen, de banden en de code eronder – om te bepalen of er problemen kunnen optreden. Als er een avatar is die op een puppy lijkt, moeten we beoordelen of de oren, de neus en de tong problematisch zijn. 

We moeten ook in de andere richting kunnen beoordelen. Wat als de afzonderlijke componenten allemaal prima in orde zijn, maar hun algehele effect in strijd is met ons beleid? Een snor, een kaki jasje en een rode armband zijn op zichzelf bijvoorbeeld geen probleem. Maar stel je voor dat deze samen op iemands avatar staan, met een kruisachtig symbool op de armband en één arm omhoog als nazi-groet, en een probleem wordt duidelijk. 

Dit is waar onze interne modellen verschillen van de beschikbare kant-en-klare CV-modellen. Die zijn over het algemeen getraind op items uit de echte wereld. Ze kunnen een auto of een hond herkennen, maar niet de onderdelen daarvan. Onze modellen zijn getraind en geoptimaliseerd om artikelen tot in de kleinste onderdelen te beoordelen. 

Samenwerken met partners

We gebruiken alle beschikbare tools om iedereen op Roblox veilig te houden, maar we vinden het net zo belangrijk om te delen wat we buiten Roblox leren. In feite delen we ons eerste open source-model, een stemveiligheidsclassificator, om anderen te helpen hun eigen stemveiligheidssystemen te verbeteren. We werken ook samen met externe groepen om kennis en best practices te delen naarmate de sector zich ontwikkelt. We bouwen en onderhouden nauwe relaties met een breed scala aan organisaties, waaronder belangengroepen voor ouders, organisaties in de geestelijke gezondheidszorg, overheidsinstanties en wetshandhavingsinstanties. Ze geven ons waardevolle inzichten in de zorgen van ouders, beleidsmakers en andere groepen over online veiligheid. In ruil daarvoor kunnen we onze lessen en de technologie die we gebruiken om het platform veilig en beschaafd te houden, delen.

We hebben een staat van dienst als het gaat om het vooropstellen van de veiligheid van de jongste en meest kwetsbare mensen op ons platform. We hebben programma's opgesteld, zoals onze Trusted Flagger-programma, om ons te helpen ons bereik te vergroten terwijl we werken aan de bescherming van de mensen op ons platform. We werken samen met beleidsmakers aan belangrijke initiatieven op het gebied van kinderveiligheid, wetgeving en andere inspanningen. We waren bijvoorbeeld het eerste en een van de weinige bedrijven die de California Age-Appropriate Design Code Act steunden, omdat we geloven dat dit in het beste belang van jongeren is. Als we geloven dat iets jongeren helpt, willen we dat aan iedereen uitdragen. Recentelijk hebben wij een steunbrief getekend voor Californië Bill SB 933, dat de staatswetten bijwerkt om door AI gegenereerd materiaal met seksueel misbruik van kinderen uitdrukkelijk te verbieden. 

Werken aan een veiligere toekomst

Dit werk is nooit af. We werken al aan de volgende generatie veiligheidstools en -functies, ook al maken we het voor iedereen gemakkelijker om op Roblox te creëren. Terwijl we groeien en nieuwe manieren bieden om te creëren en te delen, zullen we nieuwe, baanbrekende oplossingen blijven ontwikkelen om iedereen veilig en beschaafd te houden op Roblox – en daarbuiten. 

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/