• Roblox luôn được thiết kế để bảo vệ những người dùng nhỏ tuổi nhất của chúng tôi; chúng tôi hiện đang thích ứng với lượng người dùng lớn tuổi ngày càng tăng.
• Với văn bản, giọng nói, hình ảnh, mô hình 3D và mã, Roblox có vị trí độc nhất để thành công với các giải pháp AI đa phương thức.
• Chúng tôi cải thiện sự an toàn trong toàn ngành ở bất cứ nơi nào có thể, thông qua nguồn mở, cộng tác với các đối tác hoặc hỗ trợ pháp lý.

An toàn và lịch sự là nền tảng của Roblox kể từ khi thành lập gần hai thập kỷ trước. Ngay từ ngày đầu tiên, chúng tôi đã cam kết đưa các tính năng, công cụ và khả năng kiểm duyệt an toàn vào thiết kế sản phẩm của mình. Trước khi ra mắt bất kỳ tính năng mới nào, chúng tôi đã bắt đầu suy nghĩ về cách giữ cho cộng đồng được an toàn trước những tổn hại tiềm ẩn. Quá trình thiết kế các tính năng đảm bảo an toàn và văn minh ngay từ đầu, bao gồm cả việc thử nghiệm sớm để xem tính năng mới có thể bị lạm dụng như thế nào, giúp chúng tôi đổi mới. Chúng tôi liên tục đánh giá các nghiên cứu và công nghệ mới nhất hiện có để đảm bảo các chính sách, công cụ và hệ thống của chúng tôi luôn chính xác và hiệu quả nhất có thể.

Khi nói đến sự an toàn, Roblox có vị trí độc nhất. Hầu hết các nền tảng đều bắt đầu là nơi dành cho người lớn và hiện đang hoạt động trở lại để xây dựng các biện pháp bảo vệ cho thanh thiếu niên và trẻ em. Nhưng nền tảng của chúng tôi đã được phát triển ngay từ đầu như một không gian an toàn, bảo vệ để trẻ em sáng tạo và học hỏi, đồng thời chúng tôi hiện đang thích ứng với lượng khán giả ngày càng tăng nhanh và đang già đi. Ngoài ra, khối lượng nội dung chúng tôi kiểm duyệt đã tăng theo cấp số nhân nhờ các tính năng và công cụ AI tổng hợp mới thú vị giúp nhiều người hơn nữa có thể dễ dàng tạo và giao tiếp trên Roblox. Đây không phải là những thách thức bất ngờ—sứ mệnh của chúng tôi là kết nối một tỷ người với sự lạc quan và văn minh. Chúng tôi luôn nhìn về tương lai để hiểu những chính sách và công cụ an toàn mới mà chúng tôi sẽ cần khi phát triển và thích nghi. 

Nhiều tính năng và công cụ an toàn của chúng tôi dựa trên các giải pháp AI cải tiến hoạt động cùng với đội ngũ chuyên gia gồm hàng nghìn người luôn tận tâm vì an toàn. Sự kết hợp mang tính chiến lược giữa con người có kinh nghiệm và tính năng tự động hóa thông minh này là bắt buộc khi chúng tôi nỗ lực mở rộng quy mô nội dung mà chúng tôi kiểm duyệt 24/7. Chúng tôi cũng tin tưởng vào việc nuôi dưỡng mối quan hệ đối tác với các tổ chức tập trung vào an toàn trực tuyến và khi phù hợp, chúng tôi ủng hộ luật pháp mà chúng tôi tin tưởng chắc chắn sẽ cải thiện toàn bộ ngành. 

Dẫn đầu với AI để mở rộng quy mô một cách an toàn 

Quy mô tuyệt đối của nền tảng của chúng tôi yêu cầu các hệ thống AI đáp ứng hoặc đạt các tiêu chuẩn hàng đầu trong ngành về độ chính xác và hiệu quả, cho phép chúng tôi phản hồi nhanh chóng khi cộng đồng phát triển, các chính sách và yêu cầu phát triển cũng như những thách thức mới nảy sinh. Ngày nay, hơn 71 triệu người dùng hoạt động hàng ngày ở 190 quốc gia giao tiếp và chia sẻ nội dung trên Roblox. Mỗi ngày, mọi người gửi hàng tỷ tin nhắn trò chuyện cho bạn bè của họ trên Roblox. Của chúng tôi Cửa hàng người sáng tạo có hàng triệu mặt hàng để bán—và người sáng tạo thêm hình đại diện và mặt hàng mới vào Chợ Hằng ngày. Và điều này sẽ chỉ trở nên lớn hơn khi chúng tôi tiếp tục phát triển và tạo ra những cách thức mới để mọi người sáng tạo và giao tiếp trên Roblox.

Khi ngành công nghiệp rộng lớn hơn đạt được những bước nhảy vọt về học máy (ML), mô hình ngôn ngữ lớn (LLM) và AI đa phương thức, chúng tôi đầu tư rất nhiều vào các cách tận dụng các giải pháp mới này để giúp Roblox an toàn hơn nữa. Các giải pháp AI đã giúp chúng ta kiểm duyệt việc trò chuyện bằng văn bản, giao tiếp bằng giọng nói sâu sắc, hình ảnh, mô hình 3D và mắt lưới. Chúng tôi hiện đang sử dụng nhiều công nghệ tương tự để tạo ra sự sáng tạo trên Roblox nhanh hơn và dễ dàng hơn cho cộng đồng của chúng tôi. 

Đổi mới với hệ thống AI đa phương thức

Về bản chất, nền tảng của chúng tôi kết hợp văn bản, giọng nói, hình ảnh, mô hình 3D và mã. AI đa phương thức, trong đó các hệ thống được đào tạo trên nhiều loại dữ liệu cùng nhau để tạo ra kết quả phức tạp, chính xác hơn so với hệ thống đơn phương thức, mang đến cơ hội duy nhất cho Roblox. Hệ thống đa phương thức có khả năng phát hiện sự kết hợp của các loại nội dung (chẳng hạn như hình ảnh và văn bản) có thể gây ra vấn đề theo cách mà các thành phần riêng lẻ không gặp phải. Để tưởng tượng điều này có thể hoạt động như thế nào, giả sử một đứa trẻ đang sử dụng hình đại diện trông giống một con lợn—hoàn toàn ổn, phải không? Bây giờ hãy tưởng tượng người khác gửi tin nhắn trò chuyện có nội dung “Cái này trông giống bạn quá! ” Thông báo đó có thể vi phạm chính sách của chúng tôi về vấn đề bắt nạt. 

Một mô hình chỉ được đào tạo trên mô hình 3D sẽ phê duyệt hình đại diện. Và một mô hình chỉ được đào tạo về văn bản sẽ phê duyệt văn bản và bỏ qua bối cảnh của hình đại diện. Chỉ thứ gì đó được đào tạo trên văn bản và mô hình 3D mới có thể nhanh chóng phát hiện và gắn cờ sự cố trong ví dụ này. Chúng tôi đang ở những ngày đầu của các mô hình đa phương thức này, nhưng chúng tôi nhìn thấy một thế giới, trong tương lai không xa, nơi hệ thống của chúng tôi phản hồi báo cáo lạm dụng bằng cách xem xét toàn bộ trải nghiệm. Nó có thể xử lý mã, hình ảnh, hình đại diện và thông tin liên lạc bên trong nó làm đầu vào và xác định xem có cần điều tra thêm hoặc đưa ra hậu quả hay không. 

Chúng tôi đã đạt được những tiến bộ đáng kể khi sử dụng các kỹ thuật đa phương thức, chẳng hạn như mô hình của chúng tôi có thể phát hiện các vi phạm chính sách trong giao tiếp bằng giọng nói trong thời gian gần như thực. Chúng tôi dự định chia sẻ những tiến bộ như thế này khi chúng tôi nhận thấy cơ hội tăng cường sự an toàn và lịch sự không chỉ trên Roblox mà trên toàn ngành. Trên thực tế, chúng tôi đang chia sẻ mô hình nguồn mở đầu tiên của mình, bộ phân loại an toàn giọng nói, với toàn ngành. 

Kiểm duyệt nội dung ở quy mô

Tại Roblox, chúng tôi xem xét hầu hết các loại nội dung để phát hiện các vi phạm chính sách nghiêm trọng trước chúng xuất hiện trên nền tảng. Làm điều này mà không gây ra sự chậm trễ đáng chú ý cho những người xuất bản nội dung của họ đòi hỏi tốc độ cũng như độ chính xác. Các giải pháp AI đột phá giúp chúng tôi đưa ra quyết định tốt hơn trong thời gian thực để giúp loại bỏ nội dung có vấn đề khỏi Roblox—và nếu có bất kỳ điều gì xảy ra với nền tảng, chúng tôi có sẵn các hệ thống để xác định và xóa nội dung đó, bao gồm cả các giải pháp mạnh mẽ của chúng tôi. hệ thống báo cáo người dùng. 

Chúng tôi nhận thấy độ chính xác của các công cụ kiểm duyệt tự động của chúng tôi vượt xa độ chính xác của người kiểm duyệt con người khi thực hiện các tác vụ đơn giản, có thể lặp lại. Bằng cách tự động hóa những trường hợp đơn giản hơn này, chúng tôi cho phép người điều hành của chúng tôi dành phần lớn thời gian cho những gì họ làm tốt nhất—những nhiệm vụ phức tạp hơn đòi hỏi tư duy phản biện và điều tra sâu hơn. Tuy nhiên, khi nói đến vấn đề an toàn, chúng tôi biết rằng tự động hóa không thể thay thế hoàn toàn việc đánh giá của con người. Người kiểm duyệt của chúng tôi rất có giá trị trong việc giúp chúng tôi liên tục giám sát và kiểm tra chất lượng và tính nhất quán của các mô hình ML, đồng thời tạo ra các tập dữ liệu được gắn nhãn chất lượng cao để giữ cho hệ thống của chúng tôi luôn cập nhật. Chúng giúp xác định những tiếng lóng và từ viết tắt mới trong tất cả 16 ngôn ngữ mà chúng tôi hỗ trợ và gắn cờ các trường hợp xuất hiện thường xuyên để hệ thống có thể được đào tạo để nhận dạng chúng. 

Chúng tôi biết rằng ngay cả hệ thống ML chất lượng cao cũng có thể mắc lỗi, vì vậy, chúng tôi có người kiểm duyệt trong quá trình kháng nghị. Người điều hành của chúng tôi giúp chúng tôi giải quyết vấn đề phù hợp với cá nhân đã nộp đơn khiếu nại và có thể đánh dấu nhu cầu đào tạo thêm về các loại trường hợp đã xảy ra sai sót. Với điều này, hệ thống của chúng tôi ngày càng phát triển chính xác hơn theo thời gian, về cơ bản là học hỏi từ những sai lầm của nó.Quan trọng nhất, con người luôn tham gia vào bất kỳ cuộc điều tra quan trọng nào liên quan đến các trường hợp có nguy cơ cao, chẳng hạn như chủ nghĩa cực đoan hoặc gây nguy hiểm cho trẻ em. Đối với những trường hợp này, chúng tôi có một nhóm nội bộ tận tâm làm việc để chủ động xác định và loại bỏ các tác nhân độc hại cũng như điều tra các trường hợp khó trong các lĩnh vực quan trọng nhất của chúng tôi. Nhóm này cũng hợp tác với nhóm sản phẩm của chúng tôi, chia sẻ những hiểu biết sâu sắc về công việc họ đang làm để liên tục cải thiện tính an toàn của nền tảng và sản phẩm của chúng tôi.

Kiểm duyệt truyền thông

Bộ lọc văn bản của chúng tôi đã được đào tạo về ngôn ngữ dành riêng cho Roblox, bao gồm cả tiếng lóng và chữ viết tắt. 2.5 tỷ tin nhắn trò chuyện được gửi mỗi ngày trên Roblox đều đi qua bộ lọc này, bộ lọc này có khả năng phát hiện ngôn ngữ vi phạm chính sách rất tốt. Bộ lọc này phát hiện các vi phạm trong tất cả các ngôn ngữ mà chúng tôi hỗ trợ. Điều này đặc biệt quan trọng vì hiện tại chúng tôi đã phát hành theo thời gian thực. Bản dịch trò chuyện AI. 

Trước đây chúng tôi đã chia sẻ cách chúng tôi giao tiếp bằng giọng nói vừa phải trong thời gian thực thông qua hệ thống phát hiện giọng nói tùy chỉnh nội bộ. Sự đổi mới ở đây là khả năng chuyển trực tiếp từ âm thanh trực tiếp sang yêu cầu hệ thống AI gắn nhãn âm thanh đó là vi phạm chính sách hay không chỉ trong vài giây. Khi bắt đầu thử nghiệm hệ thống kiểm duyệt giọng nói, chúng tôi nhận thấy rằng, trong nhiều trường hợp, mọi người đã vô tình vi phạm chính sách của chúng tôi vì họ không quen với các quy tắc của chúng tôi. Chúng tôi đã phát triển một hệ thống an toàn theo thời gian thực để giúp thông báo cho mọi người khi lời nói của họ vi phạm một trong các chính sách của chúng tôi.

Những thông báo này là một cảnh báo sớm, nhẹ nhàng, giống như việc được yêu cầu lịch sự xem xét ngôn ngữ của bạn trong công viên công cộng có trẻ nhỏ xung quanh. Trong quá trình thử nghiệm, những biện pháp can thiệp này đã tỏ ra thành công trong việc nhắc nhở mọi người tôn trọng và hướng họ đến các chính sách của chúng tôi để tìm hiểu thêm. Khi so sánh với dữ liệu tương tác, kết quả thử nghiệm của chúng tôi rất đáng khích lệ và chỉ ra rằng những công cụ này có thể ngăn chặn các tác nhân xấu khỏi nền tảng một cách hiệu quả đồng thời khuyến khích người dùng thực sự tương tác cải thiện hành vi của họ trên Roblox. Kể từ khi triển khai tính năng an toàn theo thời gian thực cho tất cả người dùng nói tiếng Anh vào tháng 53, chúng tôi đã thấy báo cáo lạm dụng trên mỗi người dùng hoạt động hàng ngày đã giảm XNUMX% khi liên quan đến giao tiếp bằng giọng nói.

Kiểm duyệt sáng tạo

Đối với nội dung trực quan, bao gồm hình đại diện và phụ kiện hình đại diện, chúng tôi sử dụng thị giác máy tính (CV). Một kỹ thuật liên quan đến việc chụp ảnh vật phẩm từ nhiều góc độ. Sau đó, hệ thống sẽ xem xét những bức ảnh đó để xác định bước tiếp theo là gì. Nếu không có gì sai sót, mặt hàng đó sẽ được phê duyệt. Nếu nội dung nào đó rõ ràng vi phạm chính sách thì mục đó sẽ bị chặn và chúng tôi sẽ thông báo cho người sáng tạo điều mà chúng tôi cho là sai. Nếu hệ thống không chắc chắn, mục sẽ được gửi đến người điều hành để xem xét kỹ hơn và đưa ra quyết định cuối cùng.

Chúng tôi thực hiện một phiên bản của quy trình tương tự cho hình đại diện, phụ kiện, mã và mô hình 3D đầy đủ. Đối với mô hình đầy đủ, chúng tôi tiến thêm một bước nữa và đánh giá tất cả mã cũng như các yếu tố khác tạo nên mô hình. Nếu chúng tôi đang đánh giá một chiếc ô tô, chúng tôi chia nó thành các bộ phận—vô lăng, ghế ngồi, lốp xe và mã bên dưới tất cả—để xác định xem có bộ phận nào có thể có vấn đề hay không. Nếu có một avatar trông giống một chú cún con, chúng ta cần đánh giá xem tai, mũi và lưỡi có vấn đề hay không. 

Chúng ta cũng cần có khả năng đánh giá theo hướng khác. Điều gì sẽ xảy ra nếu các thành phần riêng lẻ hoàn toàn ổn nhưng tác động tổng thể của chúng vi phạm chính sách của chúng tôi? Ví dụ, bộ ria mép, áo khoác kaki và băng tay màu đỏ không phải là vấn đề. Nhưng hãy tưởng tượng những thứ này được tập hợp lại với nhau trên hình đại diện của ai đó, với biểu tượng giống chữ thập trên băng tay và một cánh tay giơ lên ​​chào Đức Quốc xã, và một vấn đề sẽ trở nên rõ ràng. 

Đây là điểm khác biệt giữa các mẫu CV nội bộ của chúng tôi với các mẫu CV có sẵn. Những người này thường được đào tạo về các vật phẩm trong thế giới thực. Họ có thể nhận ra một chiếc ô tô hoặc một con chó nhưng không thể nhận ra các bộ phận cấu thành của những thứ đó. Các mô hình của chúng tôi đã được đào tạo và tối ưu hóa để đánh giá các hạng mục đến từng bộ phận nhỏ nhất. 

Hợp tác với đối tác

Chúng tôi sử dụng tất cả các công cụ có sẵn để giữ an toàn cho mọi người trên Roblox—nhưng chúng tôi cũng cảm thấy mạnh mẽ về việc chia sẻ những gì chúng tôi học được ngoài Roblox. Trên thực tế, chúng tôi đang chia sẻ mô hình nguồn mở đầu tiên của mình, một bộ phân loại an toàn giọng nói, để giúp những người khác cải thiện hệ thống an toàn giọng nói của chính họ. Chúng tôi cũng hợp tác với các nhóm bên thứ ba để chia sẻ kiến ​​thức và phương pháp hay nhất khi ngành này phát triển. Chúng tôi xây dựng và duy trì mối quan hệ chặt chẽ với nhiều tổ chức, bao gồm các nhóm vận động phụ huynh, tổ chức sức khỏe tâm thần, cơ quan chính phủ và cơ quan thực thi pháp luật. Chúng cung cấp cho chúng tôi những hiểu biết có giá trị về mối quan tâm của phụ huynh, các nhà hoạch định chính sách và các nhóm khác về an toàn trực tuyến. Đổi lại, chúng tôi có thể chia sẻ những kiến ​​thức đã học được và công nghệ mà chúng tôi sử dụng để giữ cho nền tảng này an toàn và văn minh.

Chúng tôi có thành tích đặt sự an toàn của những người trẻ nhất và dễ bị tổn thương nhất lên nền tảng của chúng tôi lên hàng đầu. Chúng tôi đã thiết lập các chương trình, chẳng hạn như Chương trình người gắn cờ đáng tin cậy, để giúp chúng tôi mở rộng phạm vi tiếp cận khi nỗ lực bảo vệ mọi người trên nền tảng của mình. Chúng tôi hợp tác với các nhà hoạch định chính sách về các sáng kiến, luật pháp quan trọng về an toàn cho trẻ em và các nỗ lực khác. Ví dụ: chúng tôi là công ty đầu tiên và duy nhất ủng hộ Đạo luật Quy tắc Thiết kế Phù hợp với lứa tuổi của California vì chúng tôi tin rằng đó là lợi ích tốt nhất của giới trẻ. Khi chúng tôi tin điều gì đó sẽ giúp ích được cho giới trẻ, chúng tôi muốn truyền bá điều đó đến mọi người. Gần đây hơn, chúng tôi đã ký một lá thư hỗ trợ cho Dự luật California SB 933, cập nhật luật tiểu bang để nghiêm cấm rõ ràng tài liệu lạm dụng tình dục trẻ em do AI tạo ra. 

Hướng tới một tương lai an toàn hơn

Công việc này không bao giờ kết thúc. Chúng tôi đang nghiên cứu thế hệ tiếp theo của các công cụ và tính năng an toàn, ngay cả khi chúng tôi giúp mọi người tạo ra trên Roblox dễ dàng hơn. Khi chúng tôi phát triển và cung cấp những cách mới để sáng tạo cũng như chia sẻ, chúng tôi sẽ tiếp tục phát triển các giải pháp mới, đột phá để giữ cho mọi người được an toàn và văn minh trên Roblox—và hơn thế nữa. 

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/