• Roblox her zaman en genç kullanıcılarımızı korumak için tasarlandı; artık daha yaşlı kullanıcılardan oluşan büyüyen bir kitleye uyum sağlıyoruz.
• Metin, ses, görseller, 3D modeller ve kod ile Roblox, çok modlu yapay zeka çözümlerinde başarılı olmak için benzersiz bir konumdadır.
• Açık kaynak, ortaklarla işbirliği veya mevzuat desteği yoluyla mümkün olan her yerde sektör genelinde güvenliği artırıyoruz.

Güvenlik ve nezaket, neredeyse yirmi yıl önceki başlangıcından bu yana Roblox'un temelini oluşturuyor. İlk gün, ürünlerimizin tasarımına güvenlik özellikleri, araçlar ve denetleme yetenekleri eklemeye karar verdik. Herhangi bir yeni özelliği kullanıma sunmadan önce, topluluğu olası zararlardan nasıl koruyacağımızı düşünmeye başladık. Yeni bir özelliğin nasıl kötüye kullanılabileceğini görmek için erken testler de dahil olmak üzere, güvenlik ve nezaket için özelliklerin en başından itibaren tasarlandığı bu süreç, yenilik yapmamıza yardımcı olur. Politikalarımızı, araçlarımızı ve sistemlerimizi mümkün olduğunca doğru ve verimli tutmak için mevcut en son araştırmaları ve teknolojileri sürekli olarak değerlendiriyoruz.

Güvenlik söz konusu olduğunda Roblox benzersiz bir konuma sahiptir. Çoğu platform, yetişkinlere yönelik bir yer olarak başladı ve şimdi geriye dönük olarak gençler ve çocuklara yönelik korumalar geliştirmek için çalışıyor. Ancak platformumuz en başından beri çocukların yaratıp öğrenmesi için güvenli, koruyucu bir alan olarak geliştirildi ve artık hızla büyüyen ve yaşlanan bir kitleye uyum sağlıyoruz. Buna ek olarak, daha fazla insanın Roblox'ta kolayca içerik oluşturmasına ve iletişim kurmasına olanak tanıyan heyecan verici yeni üretken yapay zeka özellikleri ve araçları sayesinde, denetlediğimiz içeriğin hacmi katlanarak arttı. Bunlar beklenmedik zorluklar değil; misyonumuz bir milyar insanı iyimserlik ve nezaketle buluşturmaktır. Büyüyüp uyum sağladıkça hangi yeni güvenlik politikalarına ve araçlarına ihtiyaç duyacağımızı anlamak için her zaman geleceğe bakıyoruz. 

Güvenlik özelliklerimizin ve araçlarımızın çoğu, kendilerini güvenliğe adamış binlerce kişilik uzman bir ekiple birlikte çalışan yenilikçi yapay zeka çözümlerine dayanmaktadır. 24/7 denetlediğimiz içeriğin hacmini ölçeklendirmeye çalışırken, deneyimli insanlar ile akıllı otomasyonun bu stratejik karışımı zorunludur. Ayrıca çevrimiçi güvenliğe odaklanan kuruluşlarla ortaklıkların geliştirilmesine inanıyoruz ve gerektiğinde sektörü bir bütün olarak iyileştireceğine kuvvetle inandığımız mevzuatı destekliyoruz. 

Güvenle Ölçeklendirmek için Yapay Zekayla Liderlik Edin 

Platformumuzun büyük ölçeği, doğruluk ve verimlilik açısından endüstri lideri kriterleri karşılayan veya en üst düzeyde olan yapay zeka sistemlerini talep ediyor; bu da topluluk büyüdükçe, politikalar ve gereksinimler geliştikçe ve yeni zorluklar ortaya çıktıkça hızlı bir şekilde yanıt vermemize olanak tanıyor. Bugün 71 ülkede 190 milyondan fazla günlük aktif kullanıcı Roblox'ta iletişim kuruyor ve içerik paylaşıyor. İnsanlar her gün Roblox'taki arkadaşlarına milyarlarca sohbet mesajı gönderiyor. Bizim İçerik Oluşturucu Mağazası milyonlarca satılık öğe var ve yaratıcılar bunlara yeni avatarlar ve öğeler ekliyor Pazar Yeri Her gün. Ve biz büyümeye devam ettikçe ve insanların Roblox'ta yaratması ve iletişim kurması için yeni yollar sağladıkça bu daha da büyüyecek.

Daha geniş bir sektör, makine öğrenimi (ML), büyük dil modelleri (LLM'ler) ve çok modlu yapay zeka konularında büyük atılımlar yaptıkça, Roblox'u daha da güvenli hale getirmek için bu yeni çözümlerden yararlanma yollarına büyük yatırımlar yapıyoruz. Yapay zeka çözümleri zaten yazılı sohbeti denetlememize yardımcı oluyor. sürükleyici sesli iletişim, görüntüler ve 3B modeller ve kafesler. Artık Roblox'ta yaratım yapmak için aynı teknolojilerin çoğunu kullanıyoruz daha hızlı ve daha kolay topluluğumuz için. 

Çok Modlu Yapay Zeka Sistemleriyle İnovasyon

Platformumuz doğası gereği metin, ses, görseller, 3D modeller ve kodu birleştirir. Tek modlu bir sistemden daha doğru, karmaşık sonuçlar üretmek için sistemlerin birden fazla veri türü üzerinde birlikte eğitildiği çok modlu yapay zeka, Roblox için benzersiz bir fırsat sunuyor. Multimodal sistemler, tek tek öğelerin sorun yaratmayacağı şekilde sorunlu olabilecek içerik türü kombinasyonlarını (resimler ve metin gibi) tespit etme kapasitesine sahiptir. Bunun nasıl işe yarayacağını hayal etmek için, diyelim ki bir çocuk domuza benzeyen bir avatar kullanıyor; gayet iyi, değil mi? Şimdi başka birisinin “Bu tıpkı sana benziyor! ” Bu mesaj zorbalığa ilişkin politikalarımızı ihlal ediyor olabilir. 

Yalnızca 3D modellerle eğitilmiş bir model, avatarı onaylayacaktır. Ve yalnızca metin üzerinde eğitilmiş bir model, metni onaylayacak ve avatarın bağlamını göz ardı edecektir. Bu örnekte yalnızca metin ve 3D modeller üzerinden eğitilen bir şey sorunu hızlı bir şekilde tespit edip işaretleyebilir. Bu çok modlu modellerin ilk günlerindeyiz, ancak çok da uzak olmayan bir gelecekte sistemimizin bir kötüye kullanım raporuna tüm deneyimi gözden geçirerek yanıt vereceği bir dünya görüyoruz. Kodu, görselleri, avatarları ve içindeki iletişimleri girdi olarak işleyebilir ve daha fazla araştırma veya sonuç gerekip gerekmediğini belirleyebilir. 

Sesli iletişimlerdeki politika ihlallerini neredeyse gerçek zamanlı olarak tespit eden modelimiz gibi çok modlu teknikleri kullanarak zaten önemli ilerlemeler kaydettik. Yalnızca Roblox'ta değil, sektör genelinde güvenliği ve nezaketi artırma fırsatını gördüğümüzde bunun gibi ilerlemeleri paylaşmayı amaçlıyoruz. Hatta ilk açık kaynak modelimiz olan ses güvenliği sınıflandırıcısını sektörle paylaşıyoruz. 

İçeriği Geniş Ölçekte Denetleme

Roblox'ta kritik politika ihlallerini tespit etmek için çoğu içerik türünü inceliyoruz önce platformda görünürler. Bunu, içeriklerini yayınlayan kişilerde gözle görülür gecikmelere neden olmadan yapmak, hız ve doğruluk gerektirir. Çığır açan yapay zeka çözümleri, sorunlu içeriği Roblox'tan uzak tutmaya yardımcı olmak için gerçek zamanlı olarak daha iyi kararlar almamıza yardımcı oluyor. Platforma herhangi bir şey ulaşırsa, bu içeriği tanımlayıp kaldıracak sistemlerimiz var. kullanıcı raporlama sistemleri. 

Tekrarlanabilir, basit görevler söz konusu olduğunda, otomatik denetleme araçlarımızın doğruluğunun insan moderatörlerinkini aştığını gördük. Bu basit vakaları otomatikleştirerek, insan moderatörlerimize zamanlarının çoğunu en iyi yaptıkları işe, yani eleştirel düşünme ve daha derin araştırma gerektiren daha karmaşık görevlere harcamaları için zaman kazandırıyoruz. Ancak güvenlik söz konusu olduğunda otomasyonun tamamen insan incelemesinin yerini alamayacağını biliyoruz. İnsan moderatörlerimiz, ML modellerimizi kalite ve tutarlılık açısından sürekli olarak denetlememize ve test etmemize ve sistemlerimizi güncel tutmak için yüksek kaliteli etiketli veri kümeleri oluşturmamıza yardımcı oldukları için çok değerlidir. Desteklediğimiz 16 dilin tamamında yeni argo ve kısaltmaların belirlenmesine yardımcı olur ve sistemin bunları tanıyacak şekilde eğitilebilmesi için sık sık karşılaşılan durumları işaretler. 

Yüksek kaliteli makine öğrenimi sistemlerinin bile hata yapabileceğini biliyoruz, bu nedenle itiraz sürecimizde insan moderatörlerimiz var. Moderatörlerimiz, itirazda bulunan kişi için durumu doğru bir şekilde belirlememize yardımcı olur ve hataların yapıldığı vaka türleri hakkında daha fazla eğitim ihtiyacını işaretleyebilir. Bununla birlikte, sistemimiz zaman içinde giderek daha doğru hale gelir ve esas olarak hatalarından ders alır.En önemlisi, aşırılıkçılık veya çocukları tehlikeye atma gibi yüksek riskli vakaları içeren kritik soruşturmalarda insanlar her zaman yer almaktadır. Bu vakalar için, kötü niyetli aktörleri proaktif bir şekilde tespit edip ortadan kaldırmak ve en kritik alanlarımızdaki zor vakaları araştırmak için çalışan özel bir dahili ekibimiz var. Bu ekip aynı zamanda ürün ekibimizle de ortaklaşa çalışarak platformumuzun ve ürünlerimizin güvenliğini sürekli olarak iyileştirmek için yaptıkları çalışmalardan elde edilen bilgileri paylaşıyor.

İletişimi Yönetmek

Metin filtremiz, argo ve kısaltmalar da dahil olmak üzere Roblox'a özgü dil konusunda eğitilmiştir. Roblox'ta her gün gönderilen 2.5 milyar sohbet mesajı, politikaları ihlal eden dili tespit etmekte usta olan bu filtreden geçer. Bu filtre, desteklediğimiz tüm dillerdeki ihlalleri tespit eder; bu, gerçek zamanlı olarak yayınladığımız için özellikle önemlidir. Yapay zeka sohbet çevirileri. 

Nasıl yapacağımızı daha önce paylaşmıştık. orta düzeyde sesli iletişim Şirket içi özel bir ses algılama sistemi aracılığıyla gerçek zamanlı olarak. Buradaki yenilik, birkaç saniye içinde canlı sesten yapay zeka sisteminin sesi politikayı ihlal eden veya etmeyen olarak etiketlemesine doğrudan geçebilme yeteneğidir. Ses denetleme sistemimizi test etmeye başladığımızda, birçok durumda insanların kurallarımıza aşina olmadıkları için istemeden politikalarımızı ihlal ettiklerini gördük. Konuşmaları politikalarımızdan birini ihlal ettiğinde insanları bilgilendirmeye yardımcı olmak için gerçek zamanlı bir güvenlik sistemi geliştirdik.

Bu bildirimler, halka açık bir parkta etrafta küçük çocuklar varken kibarca dilinize dikkat etmenizin istenmesine benzer, erken ve hafif bir uyarıdır. Testlerde, bu müdahalelerin insanlara saygılı olmaları gerektiğini hatırlatma ve onları daha fazla bilgi edinmeleri için politikalarımıza yönlendirme konusunda başarılı olduğu kanıtlandı. Etkileşim verileriyle karşılaştırıldığında, testlerimizin sonuçları cesaret vericidir ve bu araçların kötü aktörleri etkili bir şekilde platformdan uzak tutabildiğini ve gerçekten ilgili kullanıcıları Roblox'taki davranışlarını iyileştirmeye teşvik edebildiğini göstermektedir. Ocak ayında gerçek zamanlı güvenliğin tüm İngilizce konuşan kullanıcılara sunulmasından bu yana, sesli iletişimle ilgili olarak günlük aktif kullanıcı başına kötüye kullanım raporlarında yüzde 53'lük bir azalma gördük.

Yaratıcılığı Yönetmek

Avatarlar ve avatar aksesuarları da dahil olmak üzere görsel varlıklar için bilgisayarlı görüntü (CV) kullanıyoruz. Tekniklerden biri, öğenin fotoğraflarını birden çok açıdan çekmeyi içerir. Sistem daha sonra bir sonraki adımın ne olması gerektiğini belirlemek için bu fotoğrafları inceler. Hiçbir sorun görünmüyorsa öğe onaylanır. Bir şeyin politikayı açıkça ihlal etmesi durumunda öğe engellenir ve içerik oluşturucuya neyin yanlış olduğunu düşündüğümüzü bildiririz. Sistem emin değilse öğe daha yakından incelemek ve nihai kararı vermek için bir insan moderatöre gönderilir.

Aynı sürecin bir versiyonunu avatarlar, aksesuarlar, kod ve tam 3D modeller için de yapıyoruz. Tam modeller için bir adım daha ileri giderek modeli oluşturan tüm kodu ve diğer unsurları değerlendiriyoruz. Bir arabayı değerlendiriyorsak, herhangi birinin sorunlu olup olmadığını belirlemek için onu bileşenlerine (direksiyon simidi, koltuklar, lastikler ve hepsinin altındaki kod) ayırırız. Eğer köpek yavrusuna benzeyen bir avatar varsa kulakların, burnun ve dilin sorunlu olup olmadığını değerlendirmemiz gerekiyor. 

Diğer taraftan da değerlendirebilmemiz lazım. Ya tek tek bileşenlerin hepsi mükemmel durumdaysa ancak genel etkileri politikalarımızı ihlal ediyorsa? Örneğin bıyık, haki ceket ve kırmızı kol bandı tek başına sorun oluşturmaz. Ancak bunların bir kişinin avatarında bir araya getirildiğini, kol bandında haç benzeri bir sembol olduğunu ve bir kolun Nazi selamı verecek şekilde kaldırıldığını hayal ettiğinizde, sorun netleşiyor. 

Şirket içi modellerimizin mevcut kullanıma hazır CV modellerinden farklı olduğu nokta burasıdır. Bunlar genellikle gerçek dünyadaki öğeler üzerinde eğitilir. Bir arabayı ya da köpeği tanıyabilirler ama bunların bileşenlerini tanıyamazlar. Modellerimiz, öğeleri en küçük bileşen parçalarına kadar değerlendirmek üzere eğitilmiş ve optimize edilmiştir. 

Ortaklarla İşbirliği Yapmak

Herkesi Roblox'ta güvende tutmak için elimizdeki tüm araçları kullanıyoruz, ancak öğrendiklerimizi Roblox'un ötesinde paylaşma konusunda da aynı derecede güçlü hissediyoruz. Aslında başkalarının kendi ses güvenliği sistemlerini geliştirmelerine yardımcı olmak için ilk açık kaynak modelimiz olan ses güvenliği sınıflandırıcısını paylaşıyoruz. Ayrıca sektör geliştikçe bilgi ve en iyi uygulamaları paylaşmak için üçüncü taraf gruplarla da ortaklık yapıyoruz. Ebeveyn savunuculuk grupları, akıl sağlığı kuruluşları, devlet kurumları ve kolluk kuvvetleri dahil olmak üzere çok çeşitli kuruluşlarla yakın ilişkiler kuruyor ve sürdürüyoruz. Ebeveynlerin, politika yapıcıların ve diğer grupların çevrimiçi güvenlikle ilgili endişeleri hakkında bize değerli bilgiler veriyorlar. Karşılığında öğrendiklerimizi ve platformu güvenli ve sivil tutmak için kullandığımız teknolojiyi paylaşabiliyoruz.

Platformumuzda en genç ve en savunmasız kişilerin güvenliğine öncelik verme konusunda bir geçmişimiz var. Bizim gibi programlar kurduk. Güvenilir İşaretleyici Programı, platformumuzdaki insanları korumaya çalışırken erişimimizi genişletmemize yardımcı olmak için. Temel çocuk güvenliği girişimleri, mevzuat ve diğer çabalar konusunda politika yapıcılarla işbirliği yapıyoruz. Örneğin, Kaliforniya Yaşa Uygun Tasarım Kodu Yasasını destekleyen ilk ve tek şirketlerden biriyiz çünkü bunun gençlerin yararına olduğuna inanıyoruz. Bir şeyin gençlere faydası olacağına inandığımızda bunu herkese yaymak isteriz. Yakın zamanda bir destek mektubu imzaladık. Kaliforniya Yasa Tasarısı SB 933AI tarafından oluşturulan çocukların cinsel istismarı materyallerini açıkça yasaklamak için eyalet yasalarını güncelleyen. 

Daha Güvenli Bir Geleceğe Doğru Çalışmak

Bu çalışma asla bitmez. Herkesin Roblox'ta içerik oluşturmasını kolaylaştırsak da, yeni nesil güvenlik araçları ve özellikleri üzerinde zaten çalışıyoruz. Büyüdükçe ve yaratmanın ve paylaşmanın yeni yollarını sundukça, Roblox'ta ve ötesinde herkesi güvende ve uygar tutmak için yeni, çığır açan çözümler geliştirmeye devam edeceğiz. 

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/