Zephyrnet Logosu

Teknolojinin İçinde – Çok Dilli ve Semantik Arama Çözümleri

Tarih:

Inside the Tech, bizim yayınımıza eşlik eden bir blog serisidir. Teknoloji Konuşmaları Podcast'i. Podcast'in 19. bölümünde, UluslararasıRoblox CEO'su David Baszucki, Kıdemli Ürün Direktörü Zhen Fang ile Roblox'un Uluslararası stratejisi ve dünya çapında on milyonlarca insana yerelleştirilmiş bir deneyim sağlamak için çözdüğümüz teknik zorluklar hakkında konuştu. Inside the Tech'in bu sayısında, bu teknik zorluklardan biri, çok dilli ve anlamsal arama hakkında daha fazla bilgi edinmek ve Büyüme ekibinin çalışmasının dünya çapındaki Roblox kullanıcılarının arama yapmasına ve hızlı bir şekilde bulmasına nasıl yardımcı olduğunu öğrenmek için Mühendislik Müdürü Ravali Kandur ile konuştuk. platformumuzda istedikleri her şeyi.

Ekibinizin karşılaştığı en büyük teknik zorluk nedir?

Yaklaşık bir yıl öncesine kadar Roblox araması, sonuçları kullanıcıların aramalarıyla eşleştirmek için sözcüksel bir sistem kullanıyordu; bu, yalnızca metin eşleştirmeye odaklandığı anlamına geliyordu. Ancak arama davranışları hızla değişiyor ve bu yaklaşım artık kullanıcılara alakalı içerik sunmak için yeterli değil. Aynı zamanda bazı Roblox kullanıcıları sorgularında hatalı yazım kullanabiliyor. Bu nedenle, aradıkları şeyle eşleşen sonuçları önerebilmemiz gerekiyor, bu da onların niyetlerini anlamak anlamına geliyor.

Aramadaki bir diğer önemli sorun ise diller arası eğitim verilerinin eksikliğidir. Anlamsal aramadan önce ilk adımımız Roblox sistemi içindeki makine çevirilerinden yararlanmaktı. Çevirileri indeksledik ve ardından metin eşleştirmesi yaptık. Ancak bu, kullanıcılara her zaman alakalı içeriğin gösterilmesi için yeterli değildir. Bu nedenle, öğrenci-öğretmen modeli adı verilen daha gelişmiş bir makine öğrenimi tekniğini benimsedik: Öğretmen, herhangi bir özel senaryo için en büyük bağlam kaynağımızdan öğrenir. 

İngilizce, Roblox'ta en çok kullanılan dildir, bu nedenle İngilizce'de mümkün olduğunca çok anlamsal ilişki öğreniyoruz (öğretmen modeli) ve ardından bunu diğer dillere genişleterek öğrenci modeline damıtıyoruz. Bu, belirli dillerde çok fazla veriye sahip olmasak bile bu sorunu çözmemize yardımcı olur. Bu, Japonya'da arama kaynaklı oynatmalarda %15'lik bir artışa yol açtı. 

Son zamanlarda "đua xe (yarış)" gibi katalog sorgularımızı daha iyi desteklemek için çalışıyoruz. Ancak kullanıcılar daha sık olarak "Hey, bir ejderhanın ve bir kızın onunla kavga ettiği bir oyun oynadığımı hatırlıyorum" gibi uzun, serbest biçimli sorgular gönderiyor. Bunu bulmama yardım edebilir misin?” Bu, daha fazla teknik zorluk anlamına geliyor ve biz de sistemlerimizi bu doğrultuda geliştirmeye devam ediyoruz.

Daha fazla bağlam ve daha anlamsal aramayı birleştirmeye yönelik yenilikçi yaklaşımlardan bazıları nelerdir?

Sözcüksel aramayı alan ve bunu makine öğrenimi teknikleri ve anlamsal aramayı ve bir sorgunun amacının anlaşılmasını kullanan modellerle birleştiren hibrit bir arama sistemi oluşturduk. Bağlam anlayışı oluşturmak, karmaşık sorguları yönetmek ve ilgili içeriği döndürmek için sistemlerimizi sürekli olarak geliştiriyoruz.

Anlamsal aramanın büyüsü, Roblox'un her yerinden aldığımız çeşitli sinyallerin zengin temsilleri olan yerleştirmelerde gizlidir. Örneğin, kullanıcı demografisi, kullanıcının sorgusu, sorgunun süresi veya benzersiz yönlerinin neler olduğu gibi sinyalleri bir araya getiriyoruz. 

Ayrıca deneyimler, avatar öğeleri ve etkileşim gibi içerik sinyallerine de bakıyoruz; bu oyun ne sıklıkta oynandı veya kaç kullanıcısı vardı ve kaç ülkeden? Ayrıca para kazanma ve elde tutma gibi şeylerin yanı sıra deneyimin başlığı, açıklaması veya yaratıcısı gibi meta veriler de vardır. Bunların hepsini BERT tabanlı, trafo tabanlı bir mimariden geçiriyoruz ve Çok Katmanlı Algılayıcı sonunda hakikat kaynağımız haline gelen yerleştirmeler oluşturmak. 

Bir diğer yenilik ise kurum içi benzerlik arama sistemimizdir. Birisi bir arama sorgusu yaptığında, yakından alakalı yerleştirmeleri alırız ve kullanıcının aradığı şeyle alakalı olduklarından emin olmak için bunları sıralarız. Daha sonra sonuçları kullanıcılara iletiyoruz.

Bu teknik çalışmayı yaparken öğrendiğiniz bazı önemli şeyler nelerdir?

Her dil kendine özgü bir zorluk sunar. Özellikle aramayla, dünyanın farklı yerlerindeki kullanıcıların ne aradığını anlamamız gerekiyor, böylece onlara en alakalı sonuçları gösterebiliyoruz. Farklı dil unsurlarını anlamalıyız. Örneğin, önceden eğitilmiş dönüştürücüler, Japoncanın çeşitli lehçelerini anlamak için çok önemli olmuştur.

İkinci olarak, arama sorgusu kalıpları oldukça değişiyor ve buna ayak uydurabilmek için teknoloji yığınımızı sürekli olarak geliştirmemiz gerekiyor. Aynı zamanda kullanıcılarımızı farkında olmayabilecekleri için platformumuzda nelerin mümkün olduğu konusunda da bilgilendirmemiz gerekiyor. Örneğin, kullanıcılarımıza, aramanın serbest stil sorguları (yarış oyunları veya popüler yemek oyunları gibi) gibi şeyleri destekleyebileceğini ve insanların ne aradığını anladığını ve uygun sonuçları getirebileceğini söyleyebiliriz. 

Ekibiniz en çok hangi Roblox değerine uyuyor?

Uzun vadeli düşünmek ekibimizin temelini oluşturuyor ve Roblox'ta çalışmayı sevmemin nedenlerinden biri de bu.

Ekibimden bir örnek, makine öğrenimi ve NLP tabanlı arama sistemlerimizden (önceden eğitilmiş büyük modeller kullanılarak anlamsal arama, otomatik tamamlama ve yazım düzeltme) oluşan teknoloji yığınımızdır.

Bunu, on milyonlarca günlük aktif kullanıcımızın yaptığı farklı arama türlerinde yeniden kullanılabilirliği göz önünde bulundurarak geliştirdik. Bu, farklı türdeki verileri (örneğin, deneyimler yerine avatar öğeleri) ekleyebileceğimiz ve bunun çok az değişiklikle çalışması gerektiği anlamına gelir. 

Deneyimler için anlamsal aramayı dahil ettik ve bunu Marketplace gibi diğer sektörlerle paylaştık ve onlar da mevcut mimariye geçebildiler. Mükemmel bir şekilde tak ve çalıştır değil, ancak bazı ince ayarlarla onu farklı kullanım durumlarına uyarlayabiliriz.

Roblox ve ekibinizin nereye gittiği konusunda sizi en çok heyecanlandıran şey nedir?

Arama, kullanıcıların açık niyetlerini ifade ettikleri tek yüzeydir. Bu da onların ne istediklerini anlamamızın ve onlara en alakalı sonuçları vermemizin önemli olduğu anlamına geliyor. Bu nedenle, bu amacı anlamaya çalışmak ve kullanıcılarımızı neyin mümkün olduğu konusunda eğitmek, hatta bazen kullanıcı bunu fark etmeden önce çalışmak benim için gerçekten heyecan verici. 

Herhangi bir ülkedeki bir kullanıcı bir şey sorabilir ve biz de onlara tam olarak istediklerini verebiliriz ve bu onları en çok ilgilendiren şeydir. Bu güven oluşturur ve bu da elde tutmayı artırır. Bu güveni oluşturmak ve Roblox'un bir milyar kullanıcıya sahip olma hedefimize ulaşmasına yardımcı olmak için aramayı iyileştirme zorluğunu üstlenmek benim için heyecan verici.

spot_img

En Son İstihbarat

spot_img