• Roblox a toujours été conçu pour protéger nos plus jeunes utilisateurs ; nous nous adaptons désormais à un public croissant d’utilisateurs plus âgés.
• Avec le texte, la voix, les visuels, les modèles 3D et le code, Roblox est dans une position unique pour réussir avec les solutions d'IA multimodales.
• Nous améliorons la sécurité dans l'ensemble du secteur partout où nous le pouvons, via l'open source, la collaboration avec des partenaires ou le soutien à la législation.

La sécurité et la courtoisie sont fondamentales pour Roblox depuis sa création il y a près de deux décennies. Dès le premier jour, nous nous sommes engagés à intégrer des fonctionnalités de sécurité, des outils et des capacités de modération dans la conception de nos produits. Avant de lancer une nouvelle fonctionnalité, nous avons déjà commencé à réfléchir à la manière de protéger la communauté des dommages potentiels. Ce processus de conception dès le départ de fonctionnalités axées sur la sécurité et la courtoisie, y compris des tests précoces pour déterminer comment une nouvelle fonctionnalité pourrait être utilisée à mauvais escient, nous aide à innover. Nous évaluons continuellement les dernières recherches et technologies disponibles pour maintenir nos politiques, outils et systèmes aussi précis et efficaces que possible.

En matière de sécurité, Roblox occupe une position unique. La plupart des plateformes ont commencé comme un lieu réservé aux adultes et s’efforcent désormais rétroactivement d’intégrer des protections pour les adolescents et les enfants. Mais notre plateforme a été développée dès le départ comme un espace sûr et protecteur permettant aux enfants de créer et d'apprendre, et nous nous adaptons désormais à un public en croissance rapide et vieillissant. De plus, le volume de contenu que nous modérons a augmenté de façon exponentielle, grâce à de nouvelles fonctionnalités et outils passionnants d'IA générative qui permettent à encore plus de personnes de créer et de communiquer facilement sur Roblox. Il ne s’agit pas de défis inattendus : notre mission est de connecter un milliard de personnes avec optimisme et courtoisie. Nous sommes toujours tournés vers l'avenir pour comprendre de quelles nouvelles politiques et outils de sécurité nous aurons besoin à mesure que nous grandissons et nous adaptons. 

Bon nombre de nos fonctionnalités et outils de sécurité sont basés sur des solutions d'IA innovantes qui fonctionnent aux côtés d'une équipe de milliers d'experts dédiés à la sécurité. Ce mélange stratégique d'humains expérimentés et d'automatisation intelligente est impératif alors que nous travaillons à augmenter le volume de contenu que nous modérons 24h/7 et XNUMXj/XNUMX. Nous croyons également qu'il est important d'entretenir des partenariats avec des organisations axées sur la sécurité en ligne et, le cas échéant, nous soutenons les lois qui, selon nous, amélioreront le secteur dans son ensemble. 

Diriger avec l’IA pour évoluer en toute sécurité 

L’ampleur de notre plateforme exige des systèmes d’IA qui satisfont ou dépassent les normes de précision et d’efficacité du secteur, ce qui nous permet de réagir rapidement à mesure que la communauté se développe, que les politiques et les exigences évoluent et que de nouveaux défis surviennent. Aujourd'hui, plus de 71 millions d'utilisateurs actifs quotidiens dans 190 pays communiquent et partagent du contenu sur Roblox. Chaque jour, les gens envoient des milliards de messages de discussion à leurs amis sur Roblox. Notre Magasin des créateurs a des millions d'articles à vendre et les créateurs ajoutent de nouveaux avatars et objets à Marketplace tous les jours. Et cela ne fera que croître à mesure que nous continuons à grandir et à offrir de nouvelles façons aux gens de créer et de communiquer sur Roblox.

Alors que l'industrie dans son ensemble fait de grands progrès en matière d'apprentissage automatique (ML), de grands modèles de langage (LLM) et d'IA multimodale, nous investissons massivement dans les moyens d'exploiter ces nouvelles solutions pour rendre Roblox encore plus sûr. Les solutions d'IA nous aident déjà à modérer les discussions textuelles, communication vocale immersive, images, modèles et maillages 3D. Nous utilisons maintenant plusieurs de ces mêmes technologies pour créer sur Roblox plus rapide et plus facile pour notre communauté. 

Innover avec les systèmes d'IA multimodaux

De par sa nature même, notre plateforme combine texte, voix, images, modèles 3D et code. L'IA multimodale, dans laquelle les systèmes sont entraînés ensemble sur plusieurs types de données pour produire des résultats plus précis et sophistiqués qu'un système unimodal, présente une opportunité unique pour Roblox. Les systèmes multimodaux sont capables de détecter des combinaisons de types de contenu (tels que des images et du texte) qui peuvent poser problème, contrairement aux éléments individuels. Pour imaginer comment cela pourrait fonctionner, disons qu'un enfant utilise un avatar qui ressemble à un cochon – tout à fait bien, n'est-ce pas ? Imaginez maintenant que quelqu'un d'autre envoie un message de discussion disant « Cela vous ressemble ! « Ce message pourrait violer nos politiques en matière d'intimidation. 

Un modèle formé uniquement sur des modèles 3D approuverait l'avatar. Et un modèle formé uniquement sur le texte approuverait le texte et ignorerait le contexte de l'avatar. Seul un élément formé à l'aide de textes et de modèles 3D serait capable de détecter et de signaler rapidement le problème dans cet exemple. Nous n’en sommes qu’aux débuts de ces modèles multimodaux, mais nous voyons un monde, dans un avenir pas trop lointain, où notre système répondra à un rapport d’abus en examinant une expérience entière. Il pourrait traiter le code, les visuels, les avatars et les communications qu'il contient en entrée et déterminer si une enquête plus approfondie ou des conséquences sont justifiées. 

Nous avons déjà réalisé des progrès significatifs en utilisant des techniques multimodales, telles que notre modèle qui détecte les violations des politiques dans les communications vocales en temps quasi réel. Nous avons l'intention de partager des avancées comme celles-ci lorsque nous verrons l'opportunité d'augmenter la sécurité et la courtoisie non seulement sur Roblox mais dans l'ensemble de l'industrie. En fait, nous partageons notre premier modèle open source, un classificateur de sécurité vocale, avec l'industrie. 

Modération du contenu à grande échelle

Chez Roblox, nous examinons la plupart des types de contenu pour détecter les violations critiques des politiques. before ils apparaissent sur la plateforme. Faire cela sans causer de retards notables aux personnes qui publient leur contenu nécessite de la rapidité et de la précision. Les solutions d'IA révolutionnaires nous aident à prendre de meilleures décisions en temps réel pour empêcher le contenu problématique d'accéder à Roblox. Et si quelque chose parvient à la plate-forme, nous avons des systèmes en place pour identifier et supprimer ce contenu, y compris notre robuste systèmes de reporting des utilisateurs. 

Nous avons constaté que la précision de nos outils de modération automatisés dépasse celle des modérateurs humains lorsqu'il s'agit de tâches simples et répétables. En automatisant ces cas plus simples, nous libérons nos modérateurs humains pour qu'ils puissent consacrer la majeure partie de leur temps à ce qu'ils font le mieux : les tâches les plus complexes qui nécessitent une réflexion critique et une enquête plus approfondie. Toutefois, en matière de sécurité, nous savons que l’automatisation ne peut pas remplacer complètement l’examen humain. Nos modérateurs humains sont d'une valeur inestimable pour nous aider à superviser et tester continuellement la qualité et la cohérence de nos modèles ML, et pour créer des ensembles de données étiquetés de haute qualité pour maintenir nos systèmes à jour. Ils aident à identifier de nouveaux argots et abréviations dans les 16 langues que nous prenons en charge et signalent les cas qui surviennent fréquemment afin que le système puisse être formé à les reconnaître. 

Nous savons que même les systèmes ML de haute qualité peuvent commettre des erreurs, c'est pourquoi nous avons des modérateurs humains dans notre processus d'appel. Nos modérateurs nous aident à bien faire les choses pour la personne qui a déposé l'appel et peuvent signaler la nécessité d'une formation complémentaire sur les types de cas dans lesquels des erreurs ont été commises. Grâce à cela, notre système devient de plus en plus précis au fil du temps, apprenant essentiellement de ses erreurs.Plus important encore, des humains sont toujours impliqués dans toute enquête critique impliquant des cas à haut risque, tels que l’extrémisme ou la mise en danger d’enfants. Pour ces cas, nous disposons d’une équipe interne dédiée qui s’efforce d’identifier et de supprimer de manière proactive les acteurs malveillants et d’enquêter sur les cas difficiles dans nos domaines les plus critiques. Cette équipe s'associe également à notre équipe produit, partageant les informations tirées du travail qu'elle effectue pour améliorer continuellement la sécurité de notre plateforme et de nos produits.

Modération des communications

Notre filtre de texte a été formé sur le langage spécifique à Roblox, y compris l'argot et les abréviations. Les 2.5 milliards de messages de discussion envoyés chaque jour sur Roblox passent par ce filtre, capable de détecter les propos qui enfreignent les politiques. Ce filtre détecte les violations dans toutes les langues que nous prenons en charge, ce qui est particulièrement important maintenant que nous avons lancé le système en temps réel. Traductions de chat IA. 

Nous avons déjà partagé comment nous communication vocale modérée en temps réel via un système de détection vocale personnalisé interne. L'innovation ici réside dans la possibilité de passer directement de l'audio en direct au système d'IA qui étiquette l'audio comme violant ou non la politique, en quelques secondes. Lorsque nous avons commencé à tester notre système de modération vocale, nous avons constaté que, dans de nombreux cas, des personnes enfreignaient involontairement nos politiques parce qu'elles ne connaissaient pas nos règles. Nous avons développé un système de sécurité en temps réel pour aider à avertir les gens lorsque leur discours enfreint l'une de nos politiques.

Ces notifications constituent un avertissement précoce et léger, un peu comme si on vous demandait poliment de surveiller votre langue dans un parc public en présence de jeunes enfants. Lors des tests, ces interventions se sont avérées efficaces en rappelant aux gens d'être respectueux et en les orientant vers nos politiques pour en savoir plus. Lorsqu'on les compare aux données d'engagement, les résultats de nos tests sont encourageants et indiquent que ces outils peuvent effectivement éloigner les mauvais acteurs de la plateforme tout en encourageant les utilisateurs véritablement engagés à améliorer leur comportement sur Roblox. Depuis le déploiement de la sécurité en temps réel auprès de tous les utilisateurs anglophones en janvier, nous avons constaté une réduction de 53 % des rapports d'abus par utilisateur actif quotidien, lorsqu'ils sont liés à la communication vocale.

Modération de la création

Pour les éléments visuels, notamment les avatars et les accessoires d'avatar, nous utilisons la vision par ordinateur (CV). Une technique consiste à prendre des photographies de l’objet sous plusieurs angles. Le système examine ensuite ces photographies pour déterminer quelle devrait être la prochaine étape. Si tout va bien, l’article est approuvé. Si quelque chose enfreint clairement une politique, l'élément est bloqué et nous indiquons au créateur ce qui, selon nous, ne va pas. Si le système n'est pas sûr, l'élément est envoyé à un modérateur humain pour l'examiner de plus près et prendre la décision finale.

Nous réalisons une version de ce même processus pour les avatars, les accessoires, le code et les modèles 3D complets. Pour les modèles complets, nous allons plus loin et évaluons tout le code et les autres éléments qui composent le modèle. Si nous évaluons une voiture, nous la décomposons en ses composants (le volant, les sièges, les pneus et le code en dessous) pour déterminer si certains d'entre eux pourraient poser problème. S'il y a un avatar qui ressemble à un chiot, nous devons évaluer si les oreilles, le nez et la langue posent problème. 

Nous devons également être capables d’évaluer dans l’autre sens. Que se passe-t-il si les composants individuels fonctionnent tous parfaitement mais que leur effet global viole nos politiques ? Une moustache, une veste kaki et un brassard rouge, par exemple, ne posent pas de problème en soi. Mais imaginez-les assemblés sur l'avatar de quelqu'un, avec un symbole en forme de croix sur le brassard et un bras levé pour un salut nazi, et un problème devient clair. 

C'est là que nos modèles internes diffèrent des modèles CV disponibles dans le commerce. Ceux-ci sont généralement formés sur des objets du monde réel. Ils peuvent reconnaître une voiture ou un chien, mais pas les composants de ces objets. Nos modèles ont été formés et optimisés pour évaluer les éléments jusqu'aux plus petits composants. 

Collaborer avec des partenaires

Nous utilisons tous les outils à notre disposition pour assurer la sécurité de tous sur Roblox, mais nous sommes tout aussi attachés au partage de ce que nous apprenons au-delà de Roblox. En fait, nous partageons notre premier modèle open source, un classificateur de sécurité vocale, pour aider les autres à améliorer leurs propres systèmes de sécurité vocale. Nous collaborons également avec des groupes tiers pour partager nos connaissances et nos meilleures pratiques à mesure que le secteur évolue. Nous construisons et entretenons des relations étroites avec un large éventail d'organisations, notamment des groupes de défense des parents, des organisations de santé mentale, des agences gouvernementales et des forces de l'ordre. Ils nous donnent des informations précieuses sur les préoccupations des parents, des décideurs politiques et d’autres groupes concernant la sécurité en ligne. En retour, nous sommes en mesure de partager nos apprentissages et la technologie que nous utilisons pour assurer la sécurité et la civilité de la plateforme.

Nous avons l’habitude de donner la priorité à la sécurité des personnes les plus jeunes et les plus vulnérables sur notre plateforme. Nous avons établi des programmes, comme notre Programme de signaleur de confiance, pour nous aider à étendre notre portée alors que nous travaillons à protéger les personnes sur notre plateforme. Nous collaborons avec les décideurs politiques sur des initiatives clés en matière de sécurité des enfants, des lois et d'autres efforts. Par exemple, nous avons été la première et l'une des seules entreprises à soutenir le California Age-Appropriate Design Code Act, car nous pensons qu'il est dans le meilleur intérêt des jeunes. Quand nous pensons que quelque chose va aider les jeunes, nous voulons le propager à tout le monde. Plus récemment, nous avons signé une lettre de soutien pour Projet de loi californien SB 933, qui met à jour les lois des États pour interdire expressément le matériel d’abus sexuel d’enfants généré par l’IA. 

Travailler pour un avenir plus sûr

Ce travail n'est jamais terminé. Nous travaillons déjà sur la prochaine génération d'outils et de fonctionnalités de sécurité, tout en facilitant la création à quiconque sur Roblox. À mesure que nous grandissons et proposons de nouvelles façons de créer et de partager, nous continuerons à développer de nouvelles solutions révolutionnaires pour assurer la sécurité et la civilité de tous sur Roblox – et au-delà. 

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/