• Roblox는 항상 가장 어린 사용자를 보호하도록 설계되었습니다. 우리는 이제 점점 늘어나는 노년층 사용자에 적응하고 있습니다.
• 텍스트, 음성, 시각 자료, 3D 모델, 코드를 갖춘 Roblox는 다중 모드 AI 솔루션으로 성공할 수 있는 독보적인 위치에 있습니다.
• 우리는 오픈 소스, 파트너와의 협력 또는 법률 지원을 통해 가능한 한 업계 전반에 걸쳐 안전을 개선합니다.

약 20년 전 Roblox가 창립된 이래로 안전과 정중함은 Roblox의 근간이었습니다. 첫 번째 날, 우리는 제품 설계에 안전 기능, 도구 및 조정 기능을 구축하기 위해 노력했습니다. 새로운 기능을 출시하기 전에 우리는 잠재적인 위험으로부터 커뮤니티를 안전하게 보호하는 방법에 대해 이미 생각하기 시작했습니다. 새로운 기능이 어떻게 오용될 수 있는지 확인하기 위한 초기 테스트를 포함하여 처음부터 안전과 정중함을 위한 기능을 설계하는 프로세스는 혁신에 도움이 됩니다. 우리는 정책, 도구, 시스템을 최대한 정확하고 효율적으로 유지하기 위해 최신 연구와 기술을 지속적으로 평가합니다.

안전과 관련하여 Roblox는 독보적인 위치에 있습니다. 대부분의 플랫폼은 성인을 위한 장소로 시작되었으며 현재는 청소년과 어린이를 위한 보호 기능을 구축하기 위해 소급하여 노력하고 있습니다. 하지만 우리 플랫폼은 처음부터 아이들이 만들고 배울 수 있는 안전하고 보호적인 공간으로 개발되었으며, 이제 우리는 빠르게 증가하는 연령층의 청중에 적응하고 있습니다. 또한 더 많은 사람들이 Roblox에서 쉽게 만들고 소통할 수 있도록 지원하는 새롭고 흥미로운 생성 AI 기능과 도구 덕분에 우리가 관리하는 콘텐츠의 양이 기하급수적으로 늘어났습니다. 이는 예상치 못한 도전이 아닙니다. 우리의 임무는 10억 명의 사람들을 낙관주의와 정중함으로 연결하는 것입니다. 우리는 성장하고 적응하는 데 필요한 새로운 안전 정책과 도구가 무엇인지 이해하기 위해 항상 미래를 바라보고 있습니다. 

당사의 많은 안전 기능과 도구는 안전을 전담하는 수천 명의 전문가 팀과 함께 실행되는 혁신적인 AI 솔루션을 기반으로 합니다. 숙련된 인력과 지능형 자동화의 전략적 조화는 우리가 연중무휴 24시간 조정하는 콘텐츠의 양을 늘리기 위해 필수적입니다. 또한 우리는 온라인 안전에 중점을 둔 조직과의 파트너십 육성을 믿으며, 관련이 있는 경우 업계 전체를 개선할 것이라고 강력하게 믿는 법안을 지지합니다. 

안전한 확장을 위해 AI를 선도하다 

우리 플랫폼의 엄청난 규모로 인해 정확성과 효율성에 대한 업계 최고의 벤치마크를 충족하거나 최고 수준을 달성하는 AI 시스템이 필요합니다. 이를 통해 커뮤니티가 성장하고 정책과 요구 사항이 발전하며 새로운 과제가 발생함에 따라 신속하게 대응할 수 있습니다. 현재 71개국에서 190만 명이 넘는 일일 활성 사용자가 Roblox에서 소통하고 콘텐츠를 공유하고 있습니다. 매일 사람들은 Roblox에서 친구들에게 수십억 개의 채팅 메시지를 보냅니다. 우리의 크리에이터 스토어 수백만 개의 아이템이 판매되고 있으며 제작자는 새로운 아바타와 아이템을 추가합니다. 온라인마켓 매일. 그리고 우리가 계속해서 성장하고 사람들이 Roblox에서 창작하고 소통할 수 있는 새로운 방법을 제공함에 따라 이는 더욱 커질 것입니다.

더 넓은 산업이 기계 학습(ML), 대규모 언어 모델(LLM) 및 다중 모달 AI 분야에서 큰 도약을 함에 따라 Roblox는 이러한 새로운 솔루션을 활용하여 Roblox를 더욱 안전하게 만드는 방법에 막대한 투자를 하고 있습니다. AI 솔루션은 이미 문자 채팅을 관리하는 데 도움을 주고 있습니다. 몰입형 음성 커뮤니케이션, 이미지, 3D 모델 및 메시. 우리는 이제 Roblox에서 창작물을 만들기 위해 이와 동일한 기술을 많이 사용하고 있습니다. 더 빠르고 쉽게 우리 커뮤니티를 위해. 

멀티모달 AI 시스템을 통한 혁신

본질적으로 우리 플랫폼은 텍스트, 음성, 이미지, 3D 모델 및 코드를 결합합니다. 시스템이 여러 유형의 데이터에 대해 함께 훈련되어 단일 모드 시스템보다 더 정확하고 정교한 결과를 생성하는 다중 모드 AI는 Roblox에 독특한 기회를 제공합니다. 다중 모드 시스템은 개별 요소가 아닌 방식으로 문제가 될 수 있는 콘텐츠 유형(예: 이미지 및 텍스트)의 조합을 감지할 수 있습니다. 이것이 어떻게 작동할지 상상하기 위해 어린이가 돼지처럼 생긴 아바타를 사용하고 있다고 가정해 보겠습니다. 전혀 괜찮죠? 이제 다른 사람이 "이 사람은 당신과 꼭 닮았네요!"라는 채팅 메시지를 보낸다고 상상해 보세요. ” 그 메시지는 괴롭힘에 관한 우리의 정책을 위반할 수도 있습니다. 

3D 모델로만 훈련된 모델은 아바타를 승인합니다. 그리고 텍스트에 대해서만 훈련된 모델은 텍스트를 승인하고 아바타의 컨텍스트를 무시합니다. 이 예에서는 텍스트와 3D ​​모델을 통해 훈련된 것만이 문제를 신속하게 감지하고 플래그를 지정할 수 있습니다. 우리는 이러한 다중 모드 모델의 초기 단계에 있지만 머지않은 미래에 우리 시스템이 전체 경험을 검토하여 남용 신고에 대응하는 세상을 보게 될 것입니다. 코드, 시각적 요소, 아바타 및 내부 통신을 입력으로 처리하고 추가 조사 또는 결과가 필요한지 여부를 결정할 수 있습니다. 

우리는 거의 실시간으로 음성 통신의 정책 위반을 감지하는 모델과 같은 다중 모드 기술을 사용하여 이미 상당한 발전을 이루었습니다. 우리는 Roblox뿐만 아니라 업계 전반에 걸쳐 안전과 예의를 높일 수 있는 기회가 생기면 이러한 발전을 공유할 계획입니다. 실제로 우리는 최초의 오픈 소스 모델인 음성 안전 분류기를 업계와 공유하고 있습니다. 

대규모 콘텐츠 조정

Roblox에서는 심각한 정책 위반을 파악하기 위해 대부분의 콘텐츠 유형을 검토합니다. 전에 그들은 플랫폼에 나타납니다. 콘텐츠를 게시하는 사람들에게 눈에 띄는 지연을 초래하지 않고 이를 수행하려면 속도와 정확성이 필요합니다. 획기적인 AI 솔루션은 Roblox에서 문제가 있는 콘텐츠를 차단할 수 있도록 실시간으로 더 나은 결정을 내리는 데 도움이 됩니다. 그리고 문제가 있는 콘텐츠가 플랫폼에 유입되는 경우 강력한 콘텐츠를 포함하여 해당 콘텐츠를 식별하고 제거할 수 있는 시스템을 갖추고 있습니다. 사용자 보고 시스템. 

우리는 반복 가능하고 간단한 작업에 있어서 자동화된 조정 도구의 정확성이 인간 조정자의 정확도를 능가하는 것을 확인했습니다. 이러한 간단한 사례를 자동화함으로써 우리는 인간 조정자가 자신이 가장 잘하는 일, 즉 비판적 사고와 심층적인 조사가 필요한 더 복잡한 작업에 대부분의 시간을 할애할 수 있도록 합니다. 그러나 안전과 관련하여 우리는 자동화가 사람의 검토를 완전히 대체할 수 없다는 것을 알고 있습니다. 인간 조정자는 ML 모델의 품질과 일관성을 지속적으로 감독 및 테스트하고 시스템을 최신 상태로 유지하기 위해 고품질 레이블이 지정된 데이터 세트를 생성하는 데 매우 중요합니다. 이는 우리가 지원하는 16개 언어 모두에서 새로운 속어와 약어를 식별하는 데 도움이 되며 자주 나타나는 사례에 플래그를 지정하여 시스템이 이를 인식하도록 훈련할 수 있습니다. 

우리는 고품질 ML 시스템도 실수할 수 있다는 것을 알고 있으므로 항소 프로세스에 인간 조정자가 있습니다. 중재자는 항소를 제출한 개인이 올바른 결정을 내릴 수 있도록 돕고 실수가 발생한 사례 유형에 대한 추가 교육의 필요성을 알려줄 수 있습니다. 이를 통해 우리 시스템은 시간이 지남에 따라 점점 더 정확해지며 본질적으로 실수로부터 학습합니다.가장 중요한 점은 극단주의나 아동 학대 등 고위험 사건과 관련된 중요한 조사에는 항상 인간이 참여한다는 것입니다. 이러한 경우, 당사는 악의적인 행위자를 사전에 식별 및 제거하고 가장 중요한 영역에서 어려운 사례를 조사하기 위해 노력하는 전담 내부 팀을 보유하고 있습니다. 또한 이 팀은 제품팀과 협력하여 플랫폼과 제품의 안전을 지속적으로 개선하기 위해 수행하는 작업에서 얻은 통찰력을 공유합니다.

의사소통 조정

우리의 텍스트 필터는 속어와 약어를 포함한 Roblox 관련 언어에 대해 훈련되었습니다. Roblox에서 매일 전송되는 2.5억 개의 채팅 메시지는 정책을 위반하는 언어를 탐지하는 데 능숙한 이 필터를 거칩니다. 이 필터는 우리가 지원하는 모든 언어에서 위반 사항을 감지합니다. 이는 우리가 실시간으로 출시한 지금 특히 중요합니다. AI 채팅 번역. 

우리는 이전에 방법을 공유한 적이 있습니다. 적당한 음성 의사소통 사내 맞춤형 음성감지 시스템을 통해 실시간으로 여기서 혁신은 라이브 오디오에서 AI 시스템이 오디오에 정책 위반 여부를 단 몇 초 만에 표시하도록 하는 기능입니다. 음성 조정 시스템을 테스트하기 시작하면서 많은 경우 사람들이 우리 규칙에 익숙하지 않기 때문에 의도치 않게 정책을 위반하고 있다는 사실을 발견했습니다. 우리는 발언이 우리 정책 중 하나를 위반할 때 사람들에게 알리는 데 도움이 되는 실시간 안전 시스템을 개발했습니다.

이러한 알림은 공공 공원에서 어린 아이들이 있는 곳에서 언어를 조심하라고 정중하게 요청하는 것과 유사한 조기의 가벼운 경고입니다. 테스트에서 이러한 개입은 사람들에게 존중심을 상기시키고 더 많은 것을 배울 수 있도록 우리의 정책을 안내하는 데 성공적인 것으로 입증되었습니다. 참여 데이터와 비교할 때 테스트 결과는 고무적이며 이러한 도구는 실제로 참여하는 사용자가 Roblox에서의 행동을 개선하도록 장려하는 동시에 악의적인 행위자를 플랫폼에서 효과적으로 차단할 수 있음을 나타냅니다. 53월에 모든 영어권 사용자에게 실시간 안전 기능을 제공한 이후 음성 통신과 관련하여 일일 활성 사용자당 남용 신고 건수가 XNUMX% 감소했습니다.

창작 조정

아바타, 아바타 액세서리 등 시각적 자산의 경우 컴퓨터 비전(CV)을 사용합니다. 한 가지 기술은 여러 각도에서 항목의 사진을 찍는 것입니다. 그런 다음 시스템은 해당 사진을 검토하여 다음 단계가 무엇인지 결정합니다. 이상이 없으면 해당 항목이 승인됩니다. 정책을 명백히 위반하는 항목이 있으면 해당 항목이 차단되고 우리는 무엇이 잘못되었다고 생각하는지 작성자에게 알립니다. 시스템이 확실하지 않은 경우 항목을 인간 조정자에게 보내 자세히 살펴보고 최종 결정을 내립니다.

우리는 아바타, 액세서리, 코드 및 전체 3D 모델에 대해 이와 동일한 프로세스 버전을 수행합니다. 전체 모델의 경우 한 단계 더 나아가 모델을 구성하는 모든 코드와 기타 요소를 평가합니다. 자동차를 평가할 때 우리는 자동차를 스티어링 휠, 시트, 타이어, 그 아래의 코드 등 구성 요소로 나누어 문제가 있는지 판단합니다. 강아지처럼 생긴 아바타가 있다면 귀, 코, 혀에 문제가 있는지 평가해야 합니다. 

다른 방향으로도 평가할 수 있어야 합니다. 개별 구성요소는 모두 완벽하지만 전체적인 효과가 정책을 위반하는 경우에는 어떻게 되나요? 예를 들어 콧수염, 카키색 재킷, 빨간색 완장 등은 그 자체로는 문제가 되지 않습니다. 그러나 완장에 십자가 모양의 상징이 있고 나치 경례에서 한 팔을 들고 있는 누군가의 아바타에 이러한 것들이 함께 조립되어 있다고 상상해 보십시오. 그러면 문제가 분명해집니다. 

이것이 바로 당사 내부 모델이 기성품 CV 모델과 다른 점입니다. 이들은 일반적으로 실제 항목에 대해 교육을 받습니다. 그들은 자동차나 개를 인식할 수 있지만 그 구성 요소는 인식하지 못합니다. 우리의 모델은 품목을 가장 작은 구성 부품까지 평가할 수 있도록 훈련되고 최적화되었습니다. 

파트너와의 협업

우리는 Roblox에 있는 모든 사람을 안전하게 보호하기 위해 사용할 수 있는 모든 도구를 사용합니다. 하지만 우리가 배운 내용을 Roblox 외부와 공유하는 것에 대해서도 마찬가지로 강한 의지를 갖고 있습니다. 실제로 우리는 다른 사람들이 자신의 음성 안전 시스템을 개선할 수 있도록 돕기 위해 첫 번째 오픈 소스 모델인 음성 안전 분류기를 공유하고 있습니다. 또한 우리는 업계가 발전함에 따라 제3자 그룹과 협력하여 지식과 모범 사례를 공유합니다. 우리는 부모 옹호 단체, 정신 건강 단체, 정부 기관, 법 집행 기관을 포함한 광범위한 조직과 긴밀한 관계를 구축하고 유지합니다. 이는 부모, 정책 입안자 및 기타 그룹이 온라인 안전에 대해 갖고 있는 우려 사항에 대한 귀중한 통찰력을 제공합니다. 그 대가로 우리는 플랫폼을 안전하고 정중하게 유지하기 위해 사용하는 기술과 학습 내용을 공유할 수 있습니다.

우리는 우리 플랫폼에서 가장 어리고 가장 취약한 사람들의 안전을 최우선으로 생각한 기록을 가지고 있습니다. 우리는 다음과 같은 프로그램을 확립했습니다. 신뢰 기반 신고자 프로그램, 우리 플랫폼의 사람들을 보호하기 위해 노력하면서 우리의 영향력을 확장하는 데 도움이 됩니다. 우리는 주요 아동 안전 이니셔티브, 법률 및 기타 노력에 관해 정책 입안자들과 협력합니다. 예를 들어, 우리는 캘리포니아 연령 적합 디자인법(California Age-Appropriate Design Code Act)을 지지하는 최초이자 유일한 회사 중 하나입니다. 왜냐하면 그것이 젊은이들에게 가장 큰 이익이 된다고 믿기 때문입니다. 어떤 것이 젊은이들에게 도움이 될 것이라고 믿을 때, 우리는 그것을 모든 사람에게 전파하고 싶습니다. 최근에는 다음과 같은 지지 서한을 체결했습니다. 캘리포니아 법안 SB 933, 이는 AI가 생성한 아동 성적 학대 자료를 명시적으로 금지하도록 주법을 업데이트합니다. 

보다 안전한 미래를 향한 노력

이 작업은 결코 끝나지 않습니다. Roblox에서는 누구나 쉽게 제작할 수 있도록 하는 동시에 차세대 안전 도구 및 기능을 개발하기 위해 이미 노력하고 있습니다. 우리는 성장하고 창작과 공유를 위한 새로운 방법을 제공하면서 Roblox와 그 이상에서 모든 사람을 안전하고 정중하게 보호할 수 있는 새롭고 획기적인 솔루션을 계속 개발할 것입니다. 

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/