• Roblox wurde schon immer entwickelt, um unsere jüngsten Benutzer zu schützen. Wir passen uns jetzt an ein wachsendes Publikum älterer Benutzer an.
• Mit Text, Sprache, Bildern, 3D-Modellen und Code ist Roblox in der einzigartigen Position, mit multimodalen KI-Lösungen erfolgreich zu sein.
• Wir verbessern die Sicherheit in der gesamten Branche, wo immer wir können, durch Open Source, die Zusammenarbeit mit Partnern oder die Unterstützung der Gesetzgebung.

Sicherheit und Höflichkeit sind für Roblox seit seiner Gründung vor fast zwei Jahrzehnten von grundlegender Bedeutung. Vom ersten Tag an haben wir uns dazu verpflichtet, Sicherheitsfunktionen, Tools und Moderationsfähigkeiten in das Design unserer Produkte zu integrieren. Bevor wir eine neue Funktion einführen, haben wir bereits damit begonnen, darüber nachzudenken, wie wir die Community vor möglichen Schäden schützen können. Dieser Prozess, bei dem Funktionen von Anfang an auf Sicherheit und Höflichkeit ausgelegt sind, einschließlich früher Tests, um zu sehen, wie eine neue Funktion missbraucht werden könnte, hilft uns bei der Innovation. Wir evaluieren kontinuierlich die neuesten verfügbaren Forschungsergebnisse und Technologien, um unsere Richtlinien, Tools und Systeme so genau und effizient wie möglich zu halten.

Wenn es um Sicherheit geht, ist Roblox einzigartig positioniert. Die meisten Plattformen waren ursprünglich ein Ort für Erwachsene und arbeiten nun rückwirkend daran, Schutzmaßnahmen für Jugendliche und Kinder einzubauen. Aber unsere Plattform wurde von Anfang an als sicherer, schützender Raum für Kinder zum Schaffen und Lernen entwickelt, und wir passen uns jetzt an ein schnell wachsendes Publikum an, das immer älter wird. Darüber hinaus ist das Volumen der von uns moderierten Inhalte exponentiell gewachsen, dank aufregender neuer generativer KI-Funktionen und -Tools, die es noch mehr Menschen ermöglichen, auf Roblox einfach zu erstellen und zu kommunizieren. Dies sind keine unerwarteten Herausforderungen – unsere Mission ist es, eine Milliarde Menschen mit Optimismus und Höflichkeit zu verbinden. Wir blicken stets in die Zukunft, um zu verstehen, welche neuen Sicherheitsrichtlinien und -tools wir im Zuge unseres Wachstums und unserer Anpassung benötigen. 

Viele unserer Sicherheitsfunktionen und -tools basieren auf innovativen KI-Lösungen, die mit einem Expertenteam aus Tausenden von Experten zusammenarbeiten, die sich der Sicherheit widmen. Diese strategische Mischung aus erfahrenen Menschen und intelligenter Automatisierung ist unerlässlich, wenn wir daran arbeiten, das Volumen der Inhalte, die wir rund um die Uhr moderieren, zu skalieren. Wir glauben auch an die Pflege von Partnerschaften mit Organisationen, die sich auf Online-Sicherheit konzentrieren, und unterstützen gegebenenfalls Gesetze, von denen wir fest überzeugt sind, dass sie die Branche insgesamt verbessern werden. 

Führen Sie mit KI zur sicheren Skalierung 

Die schiere Größe unserer Plattform erfordert KI-Systeme, die branchenführende Maßstäbe für Genauigkeit und Effizienz erfüllen oder übertreffen, sodass wir schnell reagieren können, wenn die Community wächst, sich Richtlinien und Anforderungen ändern und neue Herausforderungen entstehen. Heute kommunizieren und teilen täglich mehr als 71 Millionen aktive Nutzer in 190 Ländern Inhalte auf Roblox. Jeden Tag senden Menschen auf Roblox Milliarden von Chat-Nachrichten an ihre Freunde. Unser Creator Store bietet Millionen von Artikeln zum Verkauf – und die Ersteller fügen neue Avatare und Artikel hinzu Marktplatz täglich. Und dies wird nur noch größer, wenn wir weiter wachsen und den Menschen neue Möglichkeiten bieten, auf Roblox zu kreieren und zu kommunizieren.

Da die Branche insgesamt große Fortschritte beim maschinellen Lernen (ML), großen Sprachmodellen (LLMs) und multimodaler KI macht, investieren wir stark in Möglichkeiten, diese neuen Lösungen zu nutzen, um Roblox noch sicherer zu machen. KI-Lösungen helfen uns bereits bei der Moderation von Textchats, immersive Sprachkommunikation, Bilder sowie 3D-Modelle und Netze. Wir verwenden jetzt viele dieser Technologien, um auf Roblox etwas zu erschaffen schneller und einfacher für unsere Gemeinschaft. 

Innovation mit multimodalen KI-Systemen

Unsere Plattform kombiniert naturgemäß Text, Sprache, Bilder, 3D-Modelle und Code. Multimodale KI, bei der Systeme auf mehrere Datentypen gleichzeitig trainiert werden, um genauere und anspruchsvollere Ergebnisse als ein unimodales System zu erzielen, stellt eine einzigartige Chance für Roblox dar. Multimodale Systeme sind in der Lage, Kombinationen von Inhaltstypen (z. B. Bilder und Text) zu erkennen, die möglicherweise in einer Weise problematisch sind, in der die einzelnen Elemente dies nicht tun. Um sich vorzustellen, wie das funktionieren könnte, nehmen wir an, ein Kind verwendet einen Avatar, der wie ein Schwein aussieht – völlig in Ordnung, oder? Stellen Sie sich nun vor, jemand anderes sendet eine Chat-Nachricht mit der Aufschrift „Das sieht genauso aus wie Sie!“ „Diese Nachricht verstößt möglicherweise gegen unsere Richtlinien zum Thema Mobbing.“ 

Ein Modell, das nur auf 3D-Modellen trainiert wurde, würde den Avatar genehmigen. Und ein nur auf Text trainiertes Modell würde den Text genehmigen und den Kontext des Avatars ignorieren. In diesem Beispiel wäre nur etwas, das über Text und 3D-Modelle trainiert wurde, in der Lage, das Problem schnell zu erkennen und zu kennzeichnen. Wir befinden uns noch in den Anfängen dieser multimodalen Modelle, aber wir sehen in nicht allzu ferner Zukunft eine Welt, in der unser System auf eine Missbrauchsmeldung mit der Überprüfung einer gesamten Erfahrung reagiert. Es könnte den Code, die visuellen Elemente, die Avatare und die darin enthaltenen Kommunikationen als Eingabe verarbeiten und feststellen, ob weitere Untersuchungen oder Konsequenzen erforderlich sind. 

Mit multimodalen Techniken haben wir bereits erhebliche Fortschritte erzielt, beispielsweise mit unserem Modell, das Richtlinienverstöße in der Sprachkommunikation nahezu in Echtzeit erkennt. Wir beabsichtigen, Fortschritte wie diese zu teilen, wenn wir die Möglichkeit sehen, die Sicherheit und Höflichkeit nicht nur auf Roblox, sondern in der gesamten Branche zu erhöhen. Tatsächlich teilen wir unser erstes Open-Source-Modell, einen Sprachsicherheitsklassifizierer, mit der Industrie. 

Moderation von Inhalten im großen Maßstab

Bei Roblox überprüfen wir die meisten Inhaltstypen, um kritische Richtlinienverstöße zu erkennen Bevor sie erscheinen auf der Plattform. Um dies zu tun, ohne dass es für die Personen, die ihre Inhalte veröffentlichen, zu spürbaren Verzögerungen kommt, sind Schnelligkeit und Genauigkeit erforderlich. Bahnbrechende KI-Lösungen helfen uns, in Echtzeit bessere Entscheidungen zu treffen, um problematische Inhalte von Roblox fernzuhalten – und wenn doch einmal etwas auf die Plattform gelangt, verfügen wir über Systeme, um diese Inhalte zu identifizieren und zu entfernen, einschließlich unserer robusten Benutzermeldesysteme. 

Wir haben festgestellt, dass die Genauigkeit unserer automatisierten Moderationstools die von menschlichen Moderatoren übertrifft, wenn es um wiederholbare, einfache Aufgaben geht. Durch die Automatisierung dieser einfacheren Fälle geben wir unseren menschlichen Moderatoren die Möglichkeit, den Großteil ihrer Zeit mit dem zu verbringen, was sie am besten können: den komplexeren Aufgaben, die kritisches Denken und tiefergehende Untersuchungen erfordern. Wenn es um die Sicherheit geht, wissen wir jedoch, dass die Automatisierung die menschliche Überprüfung nicht vollständig ersetzen kann. Unsere menschlichen Moderatoren sind von unschätzbarem Wert, wenn es darum geht, unsere ML-Modelle kontinuierlich zu überwachen und auf Qualität und Konsistenz zu testen und qualitativ hochwertige, gekennzeichnete Datensätze zu erstellen, um unsere Systeme auf dem neuesten Stand zu halten. Sie helfen dabei, neue Umgangssprachen und Abkürzungen in allen 16 von uns unterstützten Sprachen zu identifizieren und häufig auftretende Fälle zu kennzeichnen, damit das System darauf trainiert werden kann, sie zu erkennen. 

Wir wissen, dass selbst hochwertige ML-Systeme Fehler machen können, deshalb haben wir menschliche Moderatoren in unserem Berufungsverfahren. Unsere Moderatoren helfen uns dabei, es für die Person, die die Beschwerde eingereicht hat, richtig zu machen, und können auf die Notwendigkeit weiterer Schulungen zu den Arten von Fällen hinweisen, in denen Fehler gemacht wurden. Dadurch wird unser System mit der Zeit immer genauer und lernt im Wesentlichen aus seinen Fehlern.Am wichtigsten ist, dass bei allen kritischen Ermittlungen zu Hochrisikofällen wie Extremismus oder Kindesgefährdung immer Menschen beteiligt sind. Für diese Fälle verfügen wir über ein spezielles internes Team, das daran arbeitet, böswillige Akteure proaktiv zu identifizieren und zu entfernen und schwierige Fälle in unseren kritischsten Bereichen zu untersuchen. Dieses Team arbeitet auch mit unserem Produktteam zusammen und teilt Erkenntnisse aus der Arbeit, die es leistet, um die Sicherheit unserer Plattform und Produkte kontinuierlich zu verbessern.

Kommunikation moderieren

Unser Textfilter wurde auf Roblox-spezifische Sprache trainiert, einschließlich Slang und Abkürzungen. Die 2.5 Milliarden Chat-Nachrichten, die täglich auf Roblox gesendet werden, durchlaufen diesen Filter, der in der Lage ist, richtlinienverletzende Sprache zu erkennen. Dieser Filter erkennt Verstöße in allen von uns unterstützten Sprachen, was jetzt besonders wichtig ist, da wir ihn in Echtzeit veröffentlicht haben KI-Chat-Übersetzungen. 

Wir haben zuvor mitgeteilt, wie wir mäßige Sprachkommunikation in Echtzeit über ein hauseigenes, maßgeschneidertes Spracherkennungssystem. Die Innovation hier ist die Möglichkeit, vom Live-Audio direkt dazu überzugehen, dass das KI-System das Audio als richtlinienverletzend oder nicht kennzeichnen lässt – und das in Sekundenschnelle. Als wir begannen, unser Sprachmoderationssystem zu testen, stellten wir fest, dass Menschen in vielen Fällen unbeabsichtigt gegen unsere Richtlinien verstießen, weil sie mit unseren Regeln nicht vertraut waren. Wir haben ein Echtzeit-Sicherheitssystem entwickelt, um Menschen zu benachrichtigen, wenn ihre Äußerungen gegen eine unserer Richtlinien verstoßen.

Bei diesen Benachrichtigungen handelt es sich um eine frühe, milde Warnung, vergleichbar mit der höflichen Aufforderung, in einem öffentlichen Park mit kleinen Kindern auf Ihre Sprache zu achten. In Tests haben sich diese Interventionen als erfolgreich erwiesen, da sie die Menschen daran erinnern, respektvoll zu sein, und sie auf unsere Richtlinien verweisen, um mehr zu erfahren. Im Vergleich zu den Interaktionsdaten sind die Ergebnisse unserer Tests ermutigend und deuten darauf hin, dass diese Tools böswillige Akteure effektiv von der Plattform fernhalten und wirklich engagierte Benutzer dazu ermutigen können, ihr Verhalten auf Roblox zu verbessern. Seit der Einführung der Echtzeitsicherheit für alle englischsprachigen Benutzer im Januar haben wir einen Rückgang der Missbrauchsmeldungen pro täglich aktivem Benutzer um 53 Prozent festgestellt, wenn es um Sprachkommunikation geht.

Moderation der Schöpfung

Für visuelle Assets, einschließlich Avatare und Avatar-Zubehör, verwenden wir Computer Vision (CV). Eine Technik besteht darin, den Gegenstand aus mehreren Blickwinkeln zu fotografieren. Das System überprüft dann diese Fotos, um den nächsten Schritt zu bestimmen. Wenn nichts fehlerhaft erscheint, wird der Artikel genehmigt. Wenn etwas eindeutig gegen eine Richtlinie verstößt, wird der Artikel blockiert und wir teilen dem Ersteller mit, was unserer Meinung nach falsch ist. Wenn sich das System nicht sicher ist, wird das Element an einen menschlichen Moderator gesendet, der es sich genauer ansieht und die endgültige Entscheidung trifft.

Wir führen eine Version desselben Prozesses für Avatare, Zubehör, Code und vollständige 3D-Modelle durch. Bei vollständigen Modellen gehen wir noch einen Schritt weiter und bewerten den gesamten Code und andere Elemente, aus denen das Modell besteht. Wenn wir ein Auto bewerten, zerlegen wir es in seine Bestandteile – das Lenkrad, die Sitze, die Reifen und den darunter liegenden Code –, um festzustellen, ob einige davon möglicherweise problematisch sind. Wenn es einen Avatar gibt, der wie ein Welpe aussieht, müssen wir beurteilen, ob die Ohren, die Nase und die Zunge problematisch sind. 

Wir müssen auch in die andere Richtung beurteilen können. Was ist, wenn die einzelnen Komponenten alle vollkommen in Ordnung sind, ihre Gesamtwirkung jedoch gegen unsere Richtlinien verstößt? Ein Schnurrbart, eine Khakijacke und eine rote Armbinde sind beispielsweise für sich genommen kein Problem. Aber stellen Sie sich vor, dass diese auf dem Avatar einer Person zusammengefügt sind, mit einem kreuzähnlichen Symbol auf der Armbinde und einem Arm, der zum Hitlergruß erhoben ist, und ein Problem wird deutlich. 

Hierin unterscheiden sich unsere hauseigenen Modelle von den verfügbaren handelsüblichen CV-Modellen. Diese werden im Allgemeinen an realen Gegenständen geschult. Sie können ein Auto oder einen Hund erkennen, aber nicht die Bestandteile dieser Dinge. Unsere Modelle wurden trainiert und optimiert, um Artikel bis hin zu den kleinsten Einzelteilen zu bewerten. 

Zusammenarbeit mit Partnern

Wir nutzen alle uns zur Verfügung stehenden Tools, um die Sicherheit aller auf Roblox zu gewährleisten – aber es liegt uns ebenso am Herzen, das zu teilen, was wir über Roblox hinaus lernen. Tatsächlich stellen wir unser erstes Open-Source-Modell, einen Sprachsicherheitsklassifizierer, zur Verfügung, um anderen dabei zu helfen, ihre eigenen Sprachsicherheitssysteme zu verbessern. Wir arbeiten auch mit Drittgruppen zusammen, um Wissen und Best Practices im Zuge der Weiterentwicklung der Branche auszutauschen. Wir bauen und pflegen enge Beziehungen zu einer Vielzahl von Organisationen, darunter Interessengruppen für Eltern, Organisationen für psychische Gesundheit, Regierungsbehörden und Strafverfolgungsbehörden. Sie geben uns wertvolle Einblicke in die Bedenken, die Eltern, politische Entscheidungsträger und andere Gruppen hinsichtlich der Online-Sicherheit haben. Im Gegenzug können wir unsere Erkenntnisse und die Technologie teilen, die wir verwenden, um die Plattform sicher und zivil zu halten.

Wir haben eine Erfolgsbilanz darin, die Sicherheit der jüngsten und am stärksten gefährdeten Menschen auf unserer Plattform an die erste Stelle zu setzen. Wir haben Programme etabliert, wie zum Beispiel unser Vertrauenswürdiges Flagger-Programm, um uns dabei zu helfen, unsere Reichweite zu vergrößern, während wir daran arbeiten, die Menschen auf unserer Plattform zu schützen. Wir arbeiten mit politischen Entscheidungsträgern bei wichtigen Initiativen, Gesetzen und anderen Maßnahmen zur Kindersicherheit zusammen. Wir waren beispielsweise das erste und eines der wenigen Unternehmen, das den California Age-Appropriate Design Code Act unterstützt hat, weil wir glauben, dass er im besten Interesse junger Menschen ist. Wenn wir glauben, dass etwas jungen Menschen hilft, möchten wir es allen vermitteln. Vor Kurzem haben wir einen Unterstützungsbrief für unterzeichnet Kalifornischer Gesetzentwurf SB 933, mit dem die Gesetze der Bundesstaaten aktualisiert werden, um KI-generiertes Material über sexuellen Kindesmissbrauch ausdrücklich zu verbieten. 

Auf dem Weg zu einer sichereren Zukunft

Diese Arbeit ist nie abgeschlossen. Wir arbeiten bereits an der nächsten Generation von Sicherheitstools und -funktionen, auch wenn wir es für jeden einfacher machen, auf Roblox zu erstellen. Während wir wachsen und neue Möglichkeiten zum Schaffen und Teilen bieten, werden wir weiterhin neue, bahnbrechende Lösungen entwickeln, um die Sicherheit und Zivilität aller auf Roblox – und darüber hinaus – zu gewährleisten. 

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/