Λογότυπο Zephyrnet

Scaling Safety and Civility στο Roblox – Roblox Blog

Ημερομηνία:

  • Το Roblox ήταν πάντα σχεδιασμένο για να προστατεύει τους νεότερους χρήστες μας. προσαρμοζόμαστε πλέον σε ένα αυξανόμενο κοινό ηλικιωμένων χρηστών.
  • Με κείμενο, φωνή, γραφικά, τρισδιάστατα μοντέλα και κώδικα, η Roblox βρίσκεται σε μοναδική θέση να πετύχει με πολυτροπικές λύσεις τεχνητής νοημοσύνης.
  • Βελτιώνουμε την ασφάλεια σε ολόκληρο τον κλάδο όπου μπορούμε, μέσω ανοιχτού κώδικα, συνεργασίας με συνεργάτες ή υποστήριξης για τη νομοθεσία.

Η ασφάλεια και η ευγένεια ήταν θεμελιώδεις για το Roblox από την έναρξή του πριν από σχεδόν δύο δεκαετίες. Την πρώτη μέρα, δεσμευτήκαμε να ενσωματώσουμε χαρακτηριστικά ασφαλείας, εργαλεία και δυνατότητες μετριοπάθειας στο σχεδιασμό των προϊόντων μας. Πριν κυκλοφορήσουμε οποιαδήποτε νέα λειτουργία, έχουμε ήδη αρχίσει να σκεφτόμαστε πώς να προστατεύσουμε την κοινότητα από πιθανές βλάβες. Αυτή η διαδικασία σχεδιασμού χαρακτηριστικών για ασφάλεια και ευγένεια από την αρχή, συμπεριλαμβανομένης της έγκαιρης δοκιμής για να δούμε πώς μπορεί να γίνει κακή χρήση μιας νέας δυνατότητας, μας βοηθά να καινοτομούμε. Αξιολογούμε συνεχώς την πιο πρόσφατη διαθέσιμη έρευνα και τεχνολογία για να διατηρήσουμε τις πολιτικές, τα εργαλεία και τα συστήματά μας όσο το δυνατόν ακριβέστερα και αποτελεσματικά.

Όσον αφορά την ασφάλεια, το Roblox είναι μοναδικά τοποθετημένο. Οι περισσότερες πλατφόρμες ξεκίνησαν ως χώρος για ενήλικες και τώρα εργάζονται αναδρομικά για να δημιουργήσουν προστατευτικά για εφήβους και παιδιά. Αλλά η πλατφόρμα μας αναπτύχθηκε από την αρχή ως ένας ασφαλής, προστατευτικός χώρος για τη δημιουργία και τη μάθηση των παιδιών, και τώρα προσαρμοζόμαστε σε ένα ταχέως αναπτυσσόμενο κοινό που γερνάει. Επιπλέον, ο όγκος του περιεχομένου που εποπτεύουμε έχει αυξηθεί εκθετικά, χάρη στις συναρπαστικές νέες δυνατότητες παραγωγής τεχνητής νοημοσύνης και τα εργαλεία που δίνουν τη δυνατότητα σε ακόμη περισσότερους ανθρώπους να δημιουργούν και να επικοινωνούν εύκολα στο Roblox. Αυτές δεν είναι απροσδόκητες προκλήσεις—η αποστολή μας είναι να συνδέσουμε ένα δισεκατομμύριο ανθρώπους με αισιοδοξία και ευγένεια. Κοιτάμε πάντα το μέλλον για να κατανοήσουμε ποιες νέες πολιτικές και εργαλεία ασφάλειας θα χρειαστούμε καθώς μεγαλώνουμε και προσαρμοζόμαστε. 

Πολλά από τα χαρακτηριστικά και τα εργαλεία ασφαλείας μας βασίζονται σε καινοτόμες λύσεις τεχνητής νοημοσύνης που λειτουργούν μαζί με μια ομάδα ειδικών χιλιάδων που είναι αφοσιωμένη στην ασφάλεια. Αυτός ο στρατηγικός συνδυασμός έμπειρων ανθρώπων και ευφυούς αυτοματισμού είναι επιτακτική ανάγκη καθώς εργαζόμαστε για να κλιμακώσουμε τον όγκο του περιεχομένου που μετριάζουμε 24/7. Πιστεύουμε επίσης στην καλλιέργεια συνεργασιών με οργανισμούς που επικεντρώνονται στην ασφάλεια στο διαδίκτυο και, όπου χρειάζεται, υποστηρίζουμε νομοθεσία που πιστεύουμε ακράδαντα ότι θα βελτιώσει τον κλάδο συνολικά. 

Οδηγώντας με την τεχνητή νοημοσύνη στην ασφαλή κλίμακα 

Η τεράστια κλίμακα της πλατφόρμας μας απαιτεί συστήματα τεχνητής νοημοσύνης που πληρούν ή κορυφαία σημεία αναφοράς στον κλάδο όσον αφορά την ακρίβεια και την αποτελεσματικότητα, επιτρέποντάς μας να ανταποκρινόμαστε γρήγορα καθώς η κοινότητα μεγαλώνει, οι πολιτικές και οι απαιτήσεις εξελίσσονται και προκύπτουν νέες προκλήσεις. Σήμερα, περισσότεροι από 71 εκατομμύρια ενεργοί χρήστες καθημερινά σε 190 χώρες επικοινωνούν και μοιράζονται περιεχόμενο στο Roblox. Κάθε μέρα, οι άνθρωποι στέλνουν δισεκατομμύρια μηνύματα συνομιλίας στους φίλους τους στο Roblox. Μας Κατάστημα δημιουργών έχει εκατομμύρια αντικείμενα προς πώληση—και οι δημιουργοί προσθέτουν νέα avatar και αντικείμενα Αγορά κάθε μέρα. Και αυτό θα γίνει μόνο μεγαλύτερο καθώς συνεχίζουμε να μεγαλώνουμε και να επιτρέπουμε νέους τρόπους στους ανθρώπους να δημιουργούν και να επικοινωνούν στο Roblox.

Καθώς η ευρύτερη βιομηχανία κάνει μεγάλα άλματα στη μηχανική εκμάθηση (ML), στα μεγάλα γλωσσικά μοντέλα (LLM) και στην πολυτροπική τεχνητή νοημοσύνη, επενδύουμε πολλά σε τρόπους αξιοποίησης αυτών των νέων λύσεων για να κάνουμε το Roblox ακόμα πιο ασφαλές. Οι λύσεις τεχνητής νοημοσύνης μας βοηθούν ήδη να εποπτεύουμε τη συνομιλία κειμένου, καθηλωτική φωνητική επικοινωνία, εικόνες και τρισδιάστατα μοντέλα και πλέγματα. Τώρα χρησιμοποιούμε πολλές από αυτές τις ίδιες τεχνολογίες για να δημιουργήσουμε στο Roblox πιο γρήγορα και πιο εύκολα για την κοινότητά μας. 

Καινοτομία με πολυτροπικά συστήματα AI

Από τη φύση της, η πλατφόρμα μας συνδυάζει κείμενο, φωνή, εικόνες, τρισδιάστατα μοντέλα και κώδικα. Η πολυτροπική τεχνητή νοημοσύνη, στην οποία τα συστήματα εκπαιδεύονται σε πολλούς τύπους δεδομένων μαζί για να παράγουν πιο ακριβή, εξελιγμένα αποτελέσματα από ένα μονοτροπικό σύστημα, αποτελεί μια μοναδική ευκαιρία για το Roblox. Τα πολυτροπικά συστήματα είναι ικανά να ανιχνεύουν συνδυασμούς τύπων περιεχομένου (όπως εικόνες και κείμενο) που μπορεί να είναι προβληματικοί με τρόπους που δεν είναι τα επιμέρους στοιχεία. Για να φανταστούμε πώς μπορεί να λειτουργήσει αυτό, ας υποθέσουμε ότι ένα παιδί χρησιμοποιεί ένα άβαταρ που μοιάζει με γουρούνι — πολύ καλά, σωστά; Τώρα φανταστείτε ότι κάποιος άλλος στέλνει ένα μήνυμα συνομιλίας που λέει «Μοιάζει ακριβώς με εσένα! Αυτό το μήνυμα ενδέχεται να παραβιάζει τις πολιτικές μας σχετικά με τον εκφοβισμό. 

Ένα μοντέλο εκπαιδευμένο μόνο σε τρισδιάστατα μοντέλα θα εγκρίνει το avatar. Και ένα μοντέλο εκπαιδευμένο μόνο σε κείμενο θα ενέκρινε το κείμενο και θα αγνοούσε το πλαίσιο του avatar. Μόνο κάτι που είναι εκπαιδευμένο σε μοντέλα κειμένου και 3D θα μπορούσε να εντοπίσει γρήγορα και να επισημάνει το πρόβλημα σε αυτό το παράδειγμα. Είμαστε στις πρώτες μέρες για αυτά τα πολυτροπικά μοντέλα, αλλά βλέπουμε έναν κόσμο, στο όχι και τόσο μακρινό μέλλον, όπου το σύστημά μας ανταποκρίνεται σε μια αναφορά κατάχρησης εξετάζοντας μια ολόκληρη εμπειρία. Θα μπορούσε να επεξεργαστεί τον κώδικα, τα γραφικά, τα είδωλα και τις επικοινωνίες μέσα σε αυτό ως δεδομένα και να καθορίσει εάν απαιτείται περαιτέρω διερεύνηση ή συνέπεια. 

Έχουμε ήδη σημειώσει σημαντικές προόδους χρησιμοποιώντας πολυτροπικές τεχνικές, όπως το μοντέλο μας που εντοπίζει παραβιάσεις πολιτικής στις φωνητικές επικοινωνίες σε σχεδόν πραγματικό χρόνο. Σκοπεύουμε να μοιραστούμε τέτοιες προόδους όταν δούμε την ευκαιρία να αυξήσουμε την ασφάλεια και την ευγένεια όχι μόνο στο Roblox αλλά σε ολόκληρο τον κλάδο. Στην πραγματικότητα, μοιραζόμαστε το πρώτο μας μοντέλο ανοιχτού κώδικα, έναν ταξινομητή φωνητικής ασφάλειας, με τη βιομηχανία. 

Εποπτεία περιεχομένου σε κλίμακα

Στη Roblox, εξετάζουμε τους περισσότερους τύπους περιεχομένου για να εντοπίσουμε σημαντικές παραβιάσεις πολιτικής πριν εμφανίζονται στην πλατφόρμα. Για να το κάνετε αυτό χωρίς να προκαλέσετε αξιοσημείωτες καθυστερήσεις στα άτομα που δημοσιεύουν το περιεχόμενό τους απαιτείται ταχύτητα καθώς και ακρίβεια. Πρωτοποριακές λύσεις τεχνητής νοημοσύνης μάς βοηθούν να λαμβάνουμε καλύτερες αποφάσεις σε πραγματικό χρόνο για να κρατήσουμε το προβληματικό περιεχόμενο μακριά από το Roblox—και αν κάτι φτάσει στην πλατφόρμα, έχουμε συστήματα για τον εντοπισμό και την κατάργηση αυτού του περιεχομένου, συμπεριλαμβανομένου του ισχυρού μας συστήματα αναφοράς χρηστών

Έχουμε δει την ακρίβεια των αυτοματοποιημένων εργαλείων εποπτείας μας να ξεπερνά την ακρίβεια των ανθρώπινων συντονιστών όταν πρόκειται για επαναλαμβανόμενες, απλές εργασίες. Αυτοματοποιώντας αυτές τις απλούστερες περιπτώσεις, ελευθερώνουμε τους ανθρώπινους συντονιστές μας να ξοδεύουν τον μεγαλύτερο μέρος του χρόνου τους σε αυτό που κάνουν καλύτερα—τις πιο σύνθετες εργασίες που απαιτούν κριτική σκέψη και βαθύτερη έρευνα. Όσον αφορά την ασφάλεια, ωστόσο, γνωρίζουμε ότι η αυτοματοποίηση δεν μπορεί να αντικαταστήσει πλήρως την ανθρώπινη κριτική. Οι ανθρώπινοι συντονιστές μας είναι ανεκτίμητοι γιατί μας βοηθούν να επιβλέπουμε και να δοκιμάζουμε συνεχώς τα μοντέλα ML για ποιότητα και συνέπεια, καθώς και για τη δημιουργία συνόλων δεδομένων υψηλής ποιότητας με ετικέτα για να διατηρούμε τα συστήματά μας ενημερωμένα. Βοηθούν στον εντοπισμό νέων αργκό και συντομογραφιών και στις 16 γλώσσες που υποστηρίζουμε και επισημαίνουν περιπτώσεις που εμφανίζονται συχνά, ώστε το σύστημα να μπορεί να εκπαιδευτεί να τις αναγνωρίζει. 

Γνωρίζουμε ότι ακόμη και συστήματα ML υψηλής ποιότητας μπορούν να κάνουν λάθη, επομένως έχουμε ανθρώπινους συντονιστές στη διαδικασία προσφυγών. Οι συντονιστές μας μάς βοηθούν να το κάνουμε σωστά για το άτομο που υπέβαλε την ένσταση και μπορούν να επισημάνουν την ανάγκη για περαιτέρω εκπαίδευση σχετικά με τους τύπους περιπτώσεων όπου έγιναν λάθη. Με αυτό, το σύστημά μας γίνεται όλο και πιο ακριβές με την πάροδο του χρόνου, μαθαίνοντας ουσιαστικά από τα λάθη του.Το πιο σημαντικό είναι ότι οι άνθρωποι εμπλέκονται πάντα σε οποιεσδήποτε κρίσιμες έρευνες που αφορούν περιπτώσεις υψηλού κινδύνου, όπως εξτρεμισμός ή κίνδυνος παιδικού κινδύνου. Για αυτές τις περιπτώσεις, έχουμε μια αποκλειστική εσωτερική ομάδα που εργάζεται για τον προληπτικό εντοπισμό και την αφαίρεση κακόβουλων παραγόντων και για τη διερεύνηση δύσκολων υποθέσεων στις πιο κρίσιμες περιοχές μας. Αυτή η ομάδα συνεργάζεται επίσης με την ομάδα προϊόντων μας, μοιράζοντας πληροφορίες από το έργο που κάνουν για να βελτιώνουν συνεχώς την ασφάλεια της πλατφόρμας και των προϊόντων μας.

Συντονισμός Επικοινωνίας

Το φίλτρο κειμένου μας έχει εκπαιδευτεί σε γλώσσα συγκεκριμένη για το Roblox, συμπεριλαμβανομένων της αργκό και των συντομογραφιών. Τα 2.5 δισεκατομμύρια μηνύματα συνομιλίας που αποστέλλονται καθημερινά στο Roblox περνούν από αυτό το φίλτρο, το οποίο είναι ικανό να εντοπίζει γλώσσα που παραβιάζει την πολιτική. Αυτό το φίλτρο εντοπίζει παραβιάσεις σε όλες τις γλώσσες που υποστηρίζουμε, κάτι που είναι ιδιαίτερα σημαντικό τώρα που έχουμε κυκλοφορήσει σε πραγματικό χρόνο Μεταφράσεις συνομιλίας AI

Έχουμε μοιραστεί προηγουμένως πώς μέτρια φωνητική επικοινωνία σε πραγματικό χρόνο μέσω ενός εσωτερικού συστήματος προσαρμοσμένης ανίχνευσης φωνής. Η καινοτομία εδώ είναι η δυνατότητα να μεταβείτε απευθείας από τον ζωντανό ήχο στο σύστημα τεχνητής νοημοσύνης να χαρακτηρίζει τον ήχο ως παραβιάζει ή όχι πολιτική — μέσα σε λίγα δευτερόλεπτα. Καθώς ξεκινήσαμε να δοκιμάζουμε το σύστημα φωνητικής εποπτείας, διαπιστώσαμε ότι, σε πολλές περιπτώσεις, οι άνθρωποι παραβίαζαν ακούσια τις πολιτικές μας επειδή δεν ήταν εξοικειωμένοι με τους κανόνες μας. Αναπτύξαμε ένα σύστημα ασφαλείας σε πραγματικό χρόνο για να βοηθάμε να ειδοποιούμε τους ανθρώπους όταν η ομιλία τους παραβιάζει μία από τις πολιτικές μας.

Αυτές οι ειδοποιήσεις είναι μια έγκαιρη, ήπια προειδοποίηση, σαν να σας ζητούν ευγενικά να παρακολουθήσετε τη γλώσσα σας σε ένα δημόσιο πάρκο με μικρά παιδιά τριγύρω. Σε δοκιμές, αυτές οι παρεμβάσεις έχουν αποδειχθεί επιτυχείς στο να υπενθυμίζουν στους ανθρώπους να σέβονται και να τους κατευθύνουν στις πολιτικές μας για να μάθουν περισσότερα. Σε σύγκριση με τα δεδομένα αφοσίωσης, τα αποτελέσματα των δοκιμών μας είναι ενθαρρυντικά και υποδεικνύουν ότι αυτά τα εργαλεία μπορεί να κρατήσουν αποτελεσματικά κακούς ηθοποιούς εκτός πλατφόρμας, ενώ ενθαρρύνουν τους πραγματικά αφοσιωμένους χρήστες να βελτιώσουν τη συμπεριφορά τους στο Roblox. Από την κυκλοφορία της ασφάλειας σε πραγματικό χρόνο σε όλους τους αγγλόφωνους χρήστες τον Ιανουάριο, έχουμε δει μείωση 53 τοις εκατό στις αναφορές κατάχρησης ανά ημερήσιο ενεργό χρήστη, όταν σχετίζεται με φωνητική επικοινωνία.

Συντονισμός Δημιουργίας

Για οπτικά στοιχεία, συμπεριλαμβανομένων avatar και αξεσουάρ avatar, χρησιμοποιούμε την όραση υπολογιστή (CV). Μια τεχνική περιλαμβάνει τη λήψη φωτογραφιών του αντικειμένου από πολλές γωνίες. Στη συνέχεια, το σύστημα εξετάζει αυτές τις φωτογραφίες για να καθορίσει ποιο θα πρέπει να είναι το επόμενο βήμα. Εάν τίποτα δεν φαίνεται να πηγαίνει καλά, το στοιχείο εγκρίνεται. Εάν κάτι παραβιάζει σαφώς μια πολιτική, το στοιχείο αποκλείεται και λέμε στον δημιουργό τι πιστεύουμε ότι είναι λάθος. Εάν το σύστημα δεν είναι σίγουρο, το αντικείμενο αποστέλλεται σε έναν ανθρώπινο επόπτη για να ρίξει μια πιο προσεκτική ματιά και να λάβει την τελική απόφαση.

Κάνουμε μια έκδοση αυτής της ίδιας διαδικασίας για avatar, αξεσουάρ, κώδικα και πλήρως τρισδιάστατα μοντέλα. Για τα πλήρη μοντέλα, προχωράμε ένα βήμα παραπέρα και αξιολογούμε όλο τον κώδικα και άλλα στοιχεία που απαρτίζουν το μοντέλο. Εάν αξιολογούμε ένα αυτοκίνητο, το αναλύουμε στα εξαρτήματά του—το τιμόνι, τα καθίσματα, τα ελαστικά και τον κωδικό κάτω από όλα—για να προσδιορίσουμε εάν κάποιο μπορεί να είναι προβληματικό. Εάν υπάρχει ένα avatar που μοιάζει με κουτάβι, πρέπει να αξιολογήσουμε εάν τα αυτιά, η μύτη και η γλώσσα είναι προβληματικά. 

Πρέπει να μπορούμε να αξιολογούμε και προς την άλλη κατεύθυνση. Τι γίνεται αν τα μεμονωμένα στοιχεία είναι όλα τέλεια, αλλά η συνολική τους επίδραση παραβιάζει τις πολιτικές μας; Ένα μουστάκι, ένα χακί σακάκι και ένα κόκκινο περιβραχιόνιο, για παράδειγμα, δεν είναι προβληματικά από μόνα τους. Φανταστείτε όμως αυτά συναρμολογημένα στο avatar κάποιου, με ένα σύμβολο που μοιάζει με σταυρό στο περιβραχιόνιο και ένα χέρι σηκωμένο σε ναζιστικό χαιρετισμό, και ένα πρόβλημα γίνεται ξεκάθαρο. 

Σε αυτό το σημείο διαφέρουν τα εσωτερικά μας μοντέλα από τα διαθέσιμα μοντέλα βιογραφικών. Αυτά είναι γενικά εκπαιδευμένα σε αντικείμενα πραγματικού κόσμου. Μπορούν να αναγνωρίσουν ένα αυτοκίνητο ή έναν σκύλο αλλά όχι τα συστατικά μέρη αυτών των πραγμάτων. Τα μοντέλα μας έχουν εκπαιδευτεί και βελτιστοποιηθεί ώστε να αξιολογούν αντικείμενα μέχρι τα μικρότερα εξαρτήματα. 

Συνεργασία με Συνεργάτες

Χρησιμοποιούμε όλα τα εργαλεία που έχουμε στη διάθεσή μας για να κρατάμε όλους ασφαλείς στο Roblox—αλλά αισθανόμαστε εξίσου έντονα να μοιραζόμαστε αυτά που μαθαίνουμε πέρα ​​από το Roblox. Στην πραγματικότητα, μοιραζόμαστε το πρώτο μας μοντέλο ανοιχτού κώδικα, έναν ταξινομητή φωνητικής ασφάλειας, για να βοηθήσουμε άλλους να βελτιώσουν τα δικά τους συστήματα φωνητικής ασφάλειας. Συνεργαζόμαστε επίσης με ομάδες τρίτων για την ανταλλαγή γνώσεων και βέλτιστων πρακτικών καθώς ο κλάδος εξελίσσεται. Χτίζουμε και διατηρούμε στενές σχέσεις με ένα ευρύ φάσμα οργανισμών, συμπεριλαμβανομένων των ομάδων υπεράσπισης των γονέων, των οργανισμών ψυχικής υγείας, των κυβερνητικών υπηρεσιών και των υπηρεσιών επιβολής του νόμου. Μας δίνουν πολύτιμες πληροφορίες σχετικά με τις ανησυχίες που έχουν οι γονείς, οι υπεύθυνοι χάραξης πολιτικής και άλλες ομάδες σχετικά με την ασφάλεια στο διαδίκτυο. Σε αντάλλαγμα, είμαστε σε θέση να μοιραζόμαστε τις γνώσεις μας και την τεχνολογία που χρησιμοποιούμε για να διατηρήσουμε την πλατφόρμα ασφαλή και πολιτική.

Έχουμε ιστορικό στο να βάζουμε πρώτα την ασφάλεια των νεότερων και πιο ευάλωτων ατόμων στην πλατφόρμα μας. Έχουμε καθιερώσει προγράμματα, όπως το δικό μας Πρόγραμμα αξιόπιστης επισήμανσης, για να μας βοηθήσει να κλιμακώσουμε την προσέγγισή μας καθώς εργαζόμαστε για την προστασία των ανθρώπων στην πλατφόρμα μας. Συνεργαζόμαστε με φορείς χάραξης πολιτικής σε βασικές πρωτοβουλίες για την ασφάλεια των παιδιών, νομοθεσία και άλλες προσπάθειες. Για παράδειγμα, ήμασταν η πρώτη και μία από τις μοναδικές εταιρείες που υποστήριξαν τον νόμο για τον κώδικα σχεδίασης της Καλιφόρνια κατά ηλικία, επειδή πιστεύουμε ότι είναι προς το συμφέρον των νέων. Όταν πιστεύουμε ότι κάτι θα βοηθήσει τους νέους, θέλουμε να το προπαγανδίσουμε σε όλους. Πιο πρόσφατα, υπογράψαμε μια επιστολή υποστήριξης για Καλιφόρνια Bill SB 933, το οποίο ενημερώνει τους νόμους της πολιτείας για να απαγορεύσει ρητά το υλικό σεξουαλικής κακοποίησης παιδιών που δημιουργείται από AI. 

Εργασία προς ένα ασφαλέστερο μέλλον

Αυτό το έργο δεν τελειώνει ποτέ. Εργαζόμαστε ήδη για την επόμενη γενιά εργαλείων και λειτουργιών ασφαλείας, παρόλο που διευκολύνουμε οποιονδήποτε να δημιουργήσει στο Roblox. Καθώς μεγαλώνουμε και παρέχουμε νέους τρόπους δημιουργίας και κοινής χρήσης, θα συνεχίσουμε να αναπτύσσουμε νέες, πρωτοποριακές λύσεις για να κρατάμε όλους ασφαλείς και πολιτικούς στο Roblox—και όχι μόνο. 

spot_img

Τελευταία Νοημοσύνη

spot_img