- Roblox 始终旨在保护我们最年轻的用户；我们现在正在适应越来越多的老年用户。
- 凭借文本、语音、视觉效果、3D 模型和代码，Roblox 处于独特的地位，能够在多模式 AI 解决方案方面取得成功。
- 我们尽可能通过开源、与合作伙伴的合作或对立法的支持来提高整个行业的安全性。
自近二十年前成立以来，安全和文明一直是 Roblox 的基础。从第一天起，我们就致力于将安全功能、工具和审核功能融入到我们产品的设计中。在推出任何新功能之前，我们已经开始考虑如何保护社区免受潜在危害。从一开始就设计安全和文明功能的过程（包括早期测试以了解新功能可能如何被滥用）有助于我们创新。我们不断评估可用的最新研究和技术，以保持我们的政策、工具和系统尽可能准确和高效。
在安全性方面，Roblox 具有独特的地位。大多数平台最初都是为成年人提供的，现在正在追溯努力为青少年和儿童建立保护。但我们的平台从一开始就是作为一个供儿童创造和学习的安全、受保护的空间而开发的，现在我们正在适应快速增长的老龄化受众。此外，由于令人兴奋的新生成式人工智能功能和工具使更多人能够在 Roblox 上轻松创建和交流，我们审核的内容量呈指数级增长。这些并不是意外的挑战——我们的使命是以乐观和文明的态度将十亿人联系起来。我们始终着眼于未来，以了解随着我们的成长和适应，我们将需要哪些新的安全政策和工具。
我们的许多安全功能和工具都基于创新的人工智能解决方案，这些解决方案与数千名致力于安全的专家团队一起运行。当我们努力扩大我们 24/7 审核的内容量时，经验丰富的人员和智能自动化的战略融合势在必行。我们还主张与专注于在线安全的组织建立合作伙伴关系，并且在相关时，我们支持我们坚信将改善整个行业的立法。
以人工智能引领安全扩展
我们平台的庞大规模要求人工智能系统能够达到或超过行业领先的准确性和效率基准，使我们能够随着社区的发展、政策和要求的发展以及新挑战的出现而快速做出响应。如今，来自 71 个国家/地区的超过 190 万日活跃用户在 Roblox 上交流和分享内容。每天，人们在 Roblox 上向朋友发送数十亿条聊天消息。我们的 创作者商店 有数百万件商品待售，创作者添加新的头像和商品 市场 每天。随着我们不断发展并为人们在 Roblox 上创造和交流提供新的方式，这个数字只会变得更大。
随着更广泛的行业在机器学习 (ML)、大型语言模型 (LLM) 和多模式 AI 方面取得巨大飞跃，我们大力投资于利用这些新解决方案的方法，使 Roblox 变得更加安全。人工智能解决方案已经帮助我们调节文本聊天， 沉浸式语音通信、图像以及 3D 模型和网格。我们现在正在使用许多相同的技术在 Roblox 上进行创作 更快更容易 为我们的社区。
利用多模式人工智能系统进行创新
就其本质而言，我们的平台结合了文本、语音、图像、3D 模型和代码。多模态 AI 系统对多种类型的数据进行一起训练，以产生比单模态系统更准确、更复杂的结果，这为 Roblox 提供了独特的机会。多模式系统能够检测可能存在问题的内容类型（例如图像和文本）的组合，而单个元素则不会。想象一下这是如何运作的，假设一个孩子正在使用一个看起来像猪的化身——完全没问题，对吧？现在想象一下其他人发送一条聊天消息说“这看起来就像你！ ” 该信息可能违反我们关于欺凌行为的政策。
仅接受过 3D 模型训练的模型会批准该化身。仅接受文本训练的模型会批准文本并忽略头像的上下文。只有经过文本和 3D 模型训练的东西才能快速检测并标记此示例中的问题。我们还处于这些多模式模型的早期阶段，但我们看到了一个世界，在不久的将来，我们的系统通过审查整个体验来响应滥用报告。它可以处理其中的代码、视觉效果、化身和通信作为输入，并确定是否需要进一步调查或后果。
我们已经利用多模式技术取得了重大进展，例如我们的模型可以近乎实时地检测语音通信中的策略违规行为。当我们看到不仅在 Roblox 上而且在整个行业提高安全性和文明性的机会时，我们打算分享这些进步。事实上，我们正在与业界分享我们的第一个开源模型，即语音安全分类器。
大规模调节内容
在 Roblox，我们会审查大多数内容类型以发现严重的政策违规行为 before 他们出现在平台上。要做到这一点而不会对发布内容的人造成明显的延迟，需要速度和准确性。突破性的人工智能解决方案帮助我们实时做出更好的决策，帮助防止有问题的内容出现在 Roblox 上——如果有任何内容确实进入了平台，我们拥有适当的系统来识别和删除该内容，包括我们强大的系统 用户报告系统.
我们已经看到，在可重复的简单任务方面，我们的自动审核工具的准确性超过了人工审核员。通过自动化这些更简单的案例，我们可以解放人类主持人，将大部分时间花在他们最擅长的事情上——需要批判性思维和更深入调查的更复杂的任务。然而，在安全方面，我们知道自动化无法完全取代人工审查。我们的人工审核员对于帮助我们持续监督和测试 ML 模型的质量和一致性，以及创建高质量的标记数据集以保持我们的系统最新状态而言非常宝贵。它们帮助识别我们支持的所有 16 种语言中的新俚语和缩写，并标记经常出现的案例，以便训练系统识别它们。
我们知道，即使是高质量的机器学习系统也可能会犯错误，因此我们的申诉流程中有人工审核员。我们的主持人帮助我们为提出上诉的个人做出正确的决定，并可以指出是否需要针对所犯错误的案件类型进行进一步培训。有了这个，我们的系统随着时间的推移变得越来越准确，本质上是从错误中学习。最重要的是，人类总是参与任何涉及高风险案件的关键调查，例如极端主义或儿童危害。对于这些案件，我们有一个专门的内部团队致力于主动识别和消除恶意行为者，并调查我们最关键领域的疑难案件。该团队还与我们的产品团队合作，分享他们所做工作的见解，以不断提高我们平台和产品的安全性。
调节沟通
我们的文本过滤器已经过 Roblox 特定语言的训练，包括俚语和缩写。 Roblox 每天发送的 2.5 亿条聊天消息都会经过此过滤器，该过滤器擅长检测违反策略的语言。该过滤器可以检测我们支持的所有语言中的违规行为，这在我们已经发布了实时功能后尤为重要 AI聊天翻译.
我们之前分享过我们如何 适度的语音交流 通过内部定制语音检测系统实时进行。这里的创新在于能够直接从现场音频到让人工智能系统在几秒钟内将音频标记为违反或不违反政策。当我们开始测试我们的语音审核系统时，我们发现，在许多情况下，人们无意中违反了我们的政策，因为他们不熟悉我们的规则。我们开发了一个实时安全系统，当人们的言论违反我们的政策时，可以帮助通知他们。
这些通知是一种早期、温和的警告，类似于被礼貌地要求在有小孩的公园里注意自己的语言。在测试中，这些干预措施已证明成功地提醒人们尊重并引导他们了解我们的政策以了解更多信息。与参与度数据相比，我们的测试结果令人鼓舞，表明这些工具可以有效地将不良行为者拒之门外，同时鼓励真正参与的用户改善他们在 Roblox 上的行为。自从 53 月份向所有英语用户推出实时安全功能以来，我们发现每个每日活跃用户的与语音通信相关的滥用报告减少了 XNUMX%。
调节创作
对于视觉资产，包括头像和头像配件，我们使用计算机视觉（CV）。一种技术涉及从多个角度拍摄物品的照片。然后系统会审查这些照片以确定下一步应该做什么。如果没有任何问题，则该项目获得批准。如果某些内容明显违反了政策，该项目将被阻止，我们会告诉创建者我们认为错误的地方。如果系统不确定，该项目将被发送给人工审核员进行仔细检查并做出最终决定。
我们对化身、配件、代码和完整 3D 模型执行相同流程的一个版本。对于完整模型，我们更进一步评估构成模型的所有代码和其他元素。如果我们正在评估一辆汽车，我们会将其分解为多个组件——方向盘、座椅、轮胎以及所有这些组件下面的代码——以确定是否有任何可能存在问题。如果有一个头像看起来像小狗，我们需要评估耳朵、鼻子和舌头是否有问题。
我们还需要能够从另一个方向进行评估。如果各个组件都完全正常，但它们的整体效果违反了我们的政策怎么办？例如，小胡子、卡其色夹克和红色臂章本身并没有问题。但想象一下，这些东西聚集在某个人的化身上，臂章上有一个十字形的符号，一只手臂举起行纳粹礼，问题就变得很明显了。
这就是我们的内部模型与现成的 CV 模型的不同之处。这些通常接受过现实世界物品的培训。他们可以识别汽车或狗，但不能识别这些东西的组成部分。我们的模型经过训练和优化，可以评估小至最小零部件的物品。
与合作伙伴合作
我们使用所有可用的工具来保证 Roblox 上每个人的安全，但我们同样强烈地希望分享我们在 Roblox 之外学到的知识。事实上，我们正在分享我们的第一个开源模型，即语音安全分类器，以帮助其他人改进自己的语音安全系统。我们还与第三方团体合作，随着行业的发展分享知识和最佳实践。我们与广泛的组织建立并保持密切的关系，包括家长倡导团体、心理健康组织、政府机构和执法机构。它们为我们提供了宝贵的见解，让我们了解家长、政策制定者和其他团体对网络安全的担忧。作为回报，我们能够分享我们的经验和我们用来保持平台安全和文明的技术。
我们有着将平台上最年轻和最脆弱人群的安全放在首位的记录。我们已经制定了计划，例如我们的 值得信赖的举报者计划，帮助我们扩大影响范围，努力保护平台上的用户。我们与政策制定者就关键的儿童安全举措、立法和其他工作进行合作。例如，我们是第一家也是唯一一家支持《加州适龄设计规范法案》的公司，因为我们相信这符合年轻人的最大利益。当我们相信某件事会对年轻人有所帮助时，我们希望将其传播给每个人。最近，我们签署了一封支持信 加州法案 SB 933，更新了州法律，明确禁止人工智能生成的儿童性虐待材料。
努力创造更安全的未来
这项工作永远不会完成。我们已经在开发下一代安全工具和功能，同时我们也让任何人都可以更轻松地在 Roblox 上进行创作。随着我们的成长并提供新的创造和分享方式，我们将继续开发新的、突破性的解决方案，以确保 Roblox 及其他地区的每个人的安全和文明。
