- لقد تم تصميم Roblox دائمًا لحماية مستخدمينا الصغار؛ نحن الآن نتكيف مع جمهور متزايد من المستخدمين الأكبر سنا.
- بفضل النصوص والصوت والمرئيات والنماذج ثلاثية الأبعاد والأكواد، تتمتع Roblox بموقع فريد لتحقيق النجاح مع حلول الذكاء الاصطناعي متعددة الوسائط.
- نحن نعمل على تحسين السلامة في جميع أنحاء الصناعة حيثما نستطيع، من خلال المصادر المفتوحة، أو التعاون مع الشركاء، أو دعم التشريعات.
لقد كانت السلامة والكياسة أساسًا لـ Roblox منذ إنشائها قبل ما يقرب من عقدين من الزمن. في اليوم الأول، التزمنا ببناء ميزات السلامة والأدوات وقدرات الإشراف في تصميم منتجاتنا. قبل أن نطلق أي ميزة جديدة، لقد بدأنا بالفعل في التفكير في كيفية الحفاظ على المجتمع آمنًا من الأضرار المحتملة. تساعدنا عملية تصميم ميزات السلامة والكياسة منذ البداية، بما في ذلك الاختبار المبكر لمعرفة كيفية إساءة استخدام ميزة جديدة، على الابتكار. نحن نقوم باستمرار بتقييم أحدث الأبحاث والتكنولوجيا المتاحة للحفاظ على دقة وكفاءة سياساتنا وأدواتنا وأنظمتنا قدر الإمكان.
عندما يتعلق الأمر بالسلامة، فإن Roblox في موقع فريد. بدأت معظم المنصات كمكان للبالغين، وهي تعمل الآن بأثر رجعي لتوفير الحماية للمراهقين والأطفال. ولكن تم تطوير منصتنا منذ البداية لتكون بمثابة مساحة آمنة وواقية للأطفال للإبداع والتعلم، ونحن الآن نتكيف مع جمهور سريع النمو يتقدم في العمر. بالإضافة إلى ذلك، زاد حجم المحتوى الذي نقوم بإدارته بشكل كبير، وذلك بفضل ميزات وأدوات الذكاء الاصطناعي الجديدة والمثيرة التي تمكن المزيد من الأشخاص من الإنشاء والتواصل بسهولة على Roblox. هذه ليست تحديات غير متوقعة، فمهمتنا هي ربط مليار شخص بالتفاؤل والكياسة. نحن نتطلع دائمًا إلى المستقبل لفهم سياسات وأدوات السلامة الجديدة التي سنحتاجها أثناء نمونا وتكيفنا.
تعتمد العديد من ميزات وأدوات السلامة لدينا على حلول الذكاء الاصطناعي المبتكرة التي تعمل جنبًا إلى جنب مع فريق من الخبراء يضم الآلاف من الأشخاص الذين يكرسون جهودهم للسلامة. يعد هذا المزيج الاستراتيجي من البشر ذوي الخبرة والأتمتة الذكية أمرًا ضروريًا لأننا نعمل على توسيع حجم المحتوى الذي نديره على مدار الساعة طوال أيام الأسبوع. نحن نؤمن أيضًا بتعزيز الشراكات مع المنظمات التي تركز على السلامة عبر الإنترنت، وعندما يكون ذلك مناسبًا، فإننا ندعم التشريعات التي نعتقد بقوة أنها ستحسن الصناعة ككل.
القيادة باستخدام الذكاء الاصطناعي للتوسع بأمان
يتطلب الحجم الهائل لمنصتنا أنظمة ذكاء اصطناعي تلبي أو تتفوق على المعايير الرائدة في الصناعة من حيث الدقة والكفاءة، مما يسمح لنا بالاستجابة السريعة مع نمو المجتمع، وتطور السياسات والمتطلبات، وظهور تحديات جديدة. واليوم، يتواصل أكثر من 71 مليون مستخدم نشط يوميًا في 190 دولة ويشاركون المحتوى على Roblox. يرسل الأشخاص يوميًا مليارات رسائل الدردشة إلى أصدقائهم على Roblox. ملكنا متجر المبدعين يحتوي على ملايين العناصر المعروضة للبيع، ويضيف منشئو المحتوى صورًا رمزية وعناصر جديدة إليها السوق المفتوح كل يوم. وسيزداد هذا مع استمرارنا في النمو وتمكين طرق جديدة للأشخاص للإبداع والتواصل على Roblox.
نظرًا لأن الصناعة الأوسع تحقق قفزات كبيرة في التعلم الآلي (ML)، ونماذج اللغات الكبيرة (LLMs)، والذكاء الاصطناعي متعدد الوسائط، فإننا نستثمر بكثافة في طرق الاستفادة من هذه الحلول الجديدة لجعل Roblox أكثر أمانًا. تساعدنا حلول الذكاء الاصطناعي بالفعل في إدارة الدردشة النصية، الاتصالات الصوتية غامرةوالصور والنماذج والشبكات ثلاثية الأبعاد. نحن نستخدم الآن العديد من هذه التقنيات نفسها لإنشاء المحتوى على Roblox أسرع وأسهل لمجتمعنا.
الابتكار باستخدام أنظمة الذكاء الاصطناعي المتعددة الوسائط
بحكم طبيعتها، تجمع منصتنا بين النص والصوت والصور والنماذج ثلاثية الأبعاد والرمز. يمثل الذكاء الاصطناعي متعدد الوسائط، حيث يتم تدريب الأنظمة على أنواع متعددة من البيانات معًا لإنتاج نتائج أكثر دقة وتطورًا من النظام الأحادي الوسائط، فرصة فريدة لـ Roblox. الأنظمة متعددة الوسائط قادرة على اكتشاف مجموعات من أنواع المحتوى (مثل الصور والنصوص) التي قد تسبب مشاكل بطرق لا تسببها العناصر الفردية. لتخيل كيفية عمل ذلك، لنفترض أن طفلًا يستخدم صورة رمزية تبدو كالخنزير - هذا جيد تمامًا، أليس كذلك؟ الآن تخيل أن شخصًا آخر يرسل رسالة دردشة تقول "هذا يبدو مثلك تمامًا! " قد تنتهك هذه الرسالة سياساتنا المتعلقة بالتنمر.
النموذج الذي تم تدريبه على النماذج ثلاثية الأبعاد فقط سيوافق على الصورة الرمزية. والنموذج الذي يتم تدريبه على النص فقط سيوافق على النص ويتجاهل سياق الصورة الرمزية. لن يتمكن سوى شيء تم تدريبه عبر النماذج النصية والنماذج ثلاثية الأبعاد من اكتشاف المشكلة والإبلاغ عنها بسرعة في هذا المثال. نحن في الأيام الأولى لهذه النماذج متعددة الوسائط، ولكننا نرى عالمًا، في المستقبل غير البعيد، حيث يستجيب نظامنا لبلاغ إساءة الاستخدام من خلال مراجعة التجربة بأكملها. يمكنه معالجة التعليمات البرمجية، والمرئيات، والصور الرمزية، والاتصالات داخلها كمدخلات وتحديد ما إذا كان هناك ما يبرر إجراء مزيد من التحقيق أو العواقب.
لقد حققنا بالفعل تقدمًا كبيرًا باستخدام تقنيات الوسائط المتعددة، مثل نموذجنا الذي يكتشف انتهاكات السياسة في الاتصالات الصوتية في الوقت الفعلي تقريبًا. نعتزم مشاركة مثل هذه التطورات عندما نرى فرصة لزيادة السلامة والكياسة ليس فقط على Roblox ولكن عبر الصناعة أيضًا. في الواقع، نحن نشارك أول نموذج مفتوح المصدر لدينا، وهو مصنف أمان الصوت، مع الصناعة.
الإشراف على المحتوى على نطاق واسع
في Roblox، نقوم بمراجعة معظم أنواع المحتوى لاكتشاف انتهاكات السياسة الخطيرة قبل تظهر على المنصة. إن القيام بذلك دون التسبب في تأخير ملحوظ للأشخاص الذين ينشرون المحتوى الخاص بهم يتطلب السرعة والدقة. تساعدنا حلول الذكاء الاصطناعي الرائدة على اتخاذ قرارات أفضل في الوقت الفعلي للمساعدة في إبعاد المحتوى الإشكالي عن Roblox، وإذا وصل أي شيء إلى النظام الأساسي، فلدينا أنظمة قائمة لتحديد هذا المحتوى وإزالته، بما في ذلك نظامنا القوي أنظمة تقارير المستخدم.
لقد رأينا أن دقة أدوات الإشراف الآلية لدينا تفوق دقة المشرفين البشريين عندما يتعلق الأمر بالمهام البسيطة والمتكررة. من خلال أتمتة هذه الحالات الأبسط، فإننا نحرر المشرفين البشريين لدينا لقضاء الجزء الأكبر من وقتهم في ما يجيدونه - المهام الأكثر تعقيدًا التي تتطلب تفكيرًا نقديًا وتحقيقًا أعمق. ولكن عندما يتعلق الأمر بالسلامة، فإننا نعلم أن الأتمتة لا يمكن أن تحل محل المراجعة البشرية بشكل كامل. إن المشرفين البشريين لدينا لا يقدرون بثمن لمساعدتنا في الإشراف المستمر على نماذج تعلم الآلة واختبارها من حيث الجودة والاتساق، ولإنشاء مجموعات بيانات مصنفة عالية الجودة للحفاظ على أنظمتنا محدثة. فهي تساعد في تحديد اللغات العامية والاختصارات الجديدة في جميع اللغات الـ 16 التي ندعمها، كما أنها تساعد في تحديد الحالات التي تظهر بشكل متكرر حتى يمكن تدريب النظام على التعرف عليها.
نحن نعلم أنه حتى أنظمة تعلم الآلة عالية الجودة يمكن أن ترتكب أخطاء، لذلك لدينا مشرفون بشريون في عملية الطعون لدينا. يساعدنا المشرفون لدينا على تصحيح الأمر بالنسبة للفرد الذي قدم الاستئناف، ويمكنهم الإشارة إلى الحاجة إلى مزيد من التدريب على أنواع الحالات التي تم ارتكاب الأخطاء فيها. وبهذا، تزداد دقة نظامنا بمرور الوقت، ويتعلم بشكل أساسي من أخطائه.والأهم من ذلك، أن البشر يشاركون دائمًا في أي تحقيقات حاسمة تتعلق بحالات عالية الخطورة، مثل التطرف أو تعريض الأطفال للخطر. بالنسبة لهذه الحالات، لدينا فريق داخلي متخصص يعمل على تحديد العناصر الضارة وإزالتها بشكل استباقي والتحقيق في الحالات الصعبة في المجالات الأكثر أهمية لدينا. يتعاون هذا الفريق أيضًا مع فريق المنتجات لدينا، ويشاركون الأفكار من العمل الذي يقومون به لتحسين سلامة نظامنا الأساسي ومنتجاتنا باستمرار.
اعتدال الاتصالات
لقد تم تدريب مرشح النص الخاص بنا على لغة Roblox الخاصة، بما في ذلك اللغة العامية والاختصارات. تمر 2.5 مليار رسالة دردشة يتم إرسالها يوميًا على Roblox عبر هذا الفلتر، وهو ماهر في اكتشاف اللغة التي تنتهك السياسة. يكتشف هذا الفلتر الانتهاكات في جميع اللغات التي ندعمها، وهو أمر مهم بشكل خاص الآن بعد أن قمنا بإصدارها في الوقت الفعلي ترجمات الدردشة بالذكاء الاصطناعي.
لقد شاركنا سابقًا كيف نفعل ذلك التواصل الصوتي المعتدل في الوقت الحقيقي عبر نظام داخلي مخصص للكشف عن الصوت. الابتكار هنا هو القدرة على الانتقال مباشرة من الصوت المباشر إلى جعل نظام الذكاء الاصطناعي يصنف الصوت على أنه ينتهك السياسة أم لا، في غضون ثوانٍ. عندما بدأنا في اختبار نظام التحكم الصوتي لدينا، وجدنا أنه في كثير من الحالات، كان الأشخاص ينتهكون سياساتنا عن غير قصد لأنهم لم يكونوا على دراية بقواعدنا. لقد قمنا بتطوير نظام أمان في الوقت الفعلي للمساعدة في إخطار الأشخاص عندما ينتهك كلامهم إحدى سياساتنا.
تعد هذه الإشعارات بمثابة تحذير مبكر ومعتدل، يشبه أن يُطلب منك بأدب مراقبة لغتك في حديقة عامة مع وجود أطفال صغار حولك. وفي الاختبار، أثبتت هذه التدخلات نجاحها في تذكير الناس بضرورة الاحترام وتوجيههم إلى سياساتنا لمعرفة المزيد. عند مقارنتها ببيانات التفاعل، فإن نتائج اختباراتنا مشجعة وتشير إلى أن هذه الأدوات قد تبقي الجهات الفاعلة السيئة خارج المنصة بشكل فعال بينما تشجع المستخدمين المشاركين حقًا على تحسين سلوكهم على Roblox. منذ طرح الأمان في الوقت الفعلي لجميع المستخدمين الناطقين باللغة الإنجليزية في يناير، شهدنا انخفاضًا بنسبة 53 بالمائة في تقارير إساءة الاستخدام لكل مستخدم نشط يوميًا، عندما يتعلق الأمر بالاتصالات الصوتية.
اعتدال الخلق
بالنسبة للأصول المرئية، بما في ذلك الصور الرمزية وملحقاتها، نستخدم رؤية الكمبيوتر (CV). تتضمن إحدى التقنيات التقاط صور للعنصر من زوايا متعددة. يقوم النظام بعد ذلك بمراجعة تلك الصور لتحديد الخطوة التالية. إذا لم يكن هناك شيء خاطئ، تتم الموافقة على العنصر. إذا كان هناك شيء ينتهك السياسة بشكل واضح، فسيتم حظر العنصر ونخبر المنشئ بالخطأ الذي نعتقد أنه خطأ. إذا لم يكن النظام متأكدًا، فسيتم إرسال العنصر إلى وسيط بشري لإلقاء نظرة فاحصة واتخاذ القرار النهائي.
نقوم بتنفيذ نسخة من هذه العملية نفسها للصور الرمزية والملحقات والأكواد والنماذج ثلاثية الأبعاد الكاملة. بالنسبة للنماذج الكاملة، فإننا نخطو خطوة أبعد ونقوم بتقييم جميع التعليمات البرمجية والعناصر الأخرى التي تشكل النموذج. إذا كنا نقوم بتقييم سيارة، فإننا نقوم بتقسيمها إلى مكوناتها - عجلة القيادة، والمقاعد، والإطارات، والرمز الموجود تحتها كلها - لتحديد ما إذا كان أي منها قد يمثل مشكلة. إذا كان هناك صورة رمزية تشبه الجرو، فنحن بحاجة إلى تقييم ما إذا كانت الأذنين والأنف واللسان تمثل مشكلة.
نحن بحاجة إلى أن نكون قادرين على التقييم في الاتجاه الآخر أيضًا. ماذا لو كانت المكونات الفردية جميعها جيدة تمامًا ولكن تأثيرها الإجمالي ينتهك سياساتنا؟ على سبيل المثال، لا يمثل الشارب والسترة الكاكي وشارة اليد الحمراء مشكلة في حد ذاتها. لكن تخيل أن هذه الأشياء مجمعة معًا على الصورة الرمزية لشخص ما، مع رمز يشبه الصليب على شارة القيادة وذراع مرفوعة في التحية النازية، وستصبح المشكلة واضحة.
هذا هو المكان الذي تختلف فيه نماذجنا الداخلية عن نماذج السيرة الذاتية المتوفرة في الأسواق. يتم تدريبهم بشكل عام على عناصر العالم الحقيقي. يمكنهم التعرف على سيارة أو كلب ولكن ليس الأجزاء المكونة لتلك الأشياء. لقد تم تدريب نماذجنا وتحسينها لتقييم العناصر وصولاً إلى أصغر الأجزاء المكونة لها.
التعاون مع الشركاء
نحن نستخدم جميع الأدوات المتاحة لنا للحفاظ على أمان الجميع في Roblox، ولكننا نشعر بنفس القدر من القوة تجاه مشاركة ما نتعلمه خارج Roblox. في الواقع، نحن نشارك أول نموذج مفتوح المصدر لدينا، وهو مصنف أمان الصوت، لمساعدة الآخرين على تحسين أنظمة أمان الصوت الخاصة بهم. نحن أيضًا نتشارك مع مجموعات خارجية لمشاركة المعرفة وأفضل الممارسات مع تطور الصناعة. نحن نبني ونحافظ على علاقات وثيقة مع مجموعة واسعة من المنظمات، بما في ذلك مجموعات الدفاع عن الوالدين، ومنظمات الصحة العقلية، والوكالات الحكومية، ووكالات إنفاذ القانون. فهي تقدم لنا رؤى قيمة حول المخاوف التي تساور الآباء وصانعي السياسات والمجموعات الأخرى بشأن السلامة عبر الإنترنت. وفي المقابل، يمكننا مشاركة ما تعلمناه والتكنولوجيا التي نستخدمها للحفاظ على النظام الأساسي آمنًا ومتحضرًا.
لدينا سجل حافل في وضع سلامة الأشخاص الأصغر سنًا والأكثر ضعفًا على منصتنا أولاً. لقد أنشأنا برامج مثل برنامجنا برنامج المُخبر الموثوق به، لمساعدتنا على توسيع نطاق وصولنا بينما نعمل على حماية الأشخاص على منصتنا. نحن نتعاون مع صانعي السياسات بشأن المبادرات والتشريعات والجهود الأخرى المتعلقة بسلامة الأطفال. على سبيل المثال، كنا الشركة الأولى والوحيدة التي دعمت قانون قانون التصميم المناسب للعمر في كاليفورنيا، لأننا نعتقد أنه في مصلحة الشباب. عندما نعتقد أن شيئًا ما سيساعد الشباب، فإننا نريد نشره للجميع. في الآونة الأخيرة، وقعنا على خطاب دعم لـ كاليفورنيا بيل SB 933، الذي يقوم بتحديث قوانين الولاية لتحظر بشكل صريح مواد الاعتداء الجنسي على الأطفال التي ينشئها الذكاء الاصطناعي.
العمل نحو مستقبل أكثر أمانًا
هذا العمل لم ينته أبدا نحن نعمل بالفعل على الجيل التالي من أدوات وميزات الأمان، حتى ونحن نسهل على أي شخص الإنشاء على Roblox. بينما ننمو ونوفر طرقًا جديدة للإبداع والمشاركة، سنستمر في تطوير حلول جديدة ومبتكرة للحفاظ على سلامة الجميع وتحضرهم في Roblox - وخارجها.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/
