Çin ile ABD arasındaki yeni bir araştırma işbirliği, rakipleri baltalamak veya bu tür incelemecilerin imza davranışlarından yararlanarak şantajı kolaylaştırmak için tasarlanmış kötü niyetli e-ticaret incelemelerini tespit etmenin bir yolunu sunuyor.

Makine öğrenimi algoritması PMU'ları tespit etmeyi başardı

Makalede, kötü niyetli kullanıcı tespit modeli (MMD) adı verilen bir sistemin, bu tür kullanıcıların çıktılarını nasıl analiz ederek onları Profesyonel Kötü Amaçlı Kullanıcılar (PMU'lar) olarak belirleyip etiketlemesi anlatılmaktadır. Sistem, bilgisayarla görme ve öneri sistemlerinde kullanılan bir yöntem olan Metrik Öğrenmeyi ve Tekrarlayan Sinir Ağı'nı (RNN) kullanarak, bu eleştirmenlerin çıktılarını tanımlar ve sınıflandırır.

Kullanıcı deneyimi, genellikle tipik bir senaryoda anlamlı olan yıldız derecelendirmeleri (veya on üzerinden bir puan) ve metin tabanlı yorumlar kullanılarak değerlendirilebilir. Öte yandan PYB'ler, yüksek derecelendirmeyle olumsuz bir metin değerlendirmesi veya iyi bir incelemeyle birlikte kötü bir derecelendirme sunarak sıklıkla bu düşünceye karşı çıkıyor.

Çok daha zararlıdır çünkü e-ticaret sitelerinin kötü niyetli kötü yorumları tespit etmek ve ele almak için oldukça basit filtrelerini devreye sokmadan kullanıcının incelemesinin itibara zarar vermesine olanak tanır. Bir NLP filtresi bir incelemede hakaret tespit ederse, PMU tarafından atanan yüksek yıldız (veya ondalık) derecelendirmesi, olumsuz içeriği etkili bir şekilde iptal eder ve istatistiksel olarak konuşursak 'nötr' görünmesini sağlar.

Yeni çalışma, PMU'ların genellikle olumsuz yorumları düzeltmek ve daha fazla kötü yorum yayınlamama sözü vermek karşılığında internet perakendecilerinden para talep etmek için kullanıldığını belirtiyor. İndirim arayan bazı kişiler bazen mağdurun rakipleri tarafından istihdam ediliyor, ancak çoğu zaman PYB mağdurun rakipleri tarafından etik olmayan bir şekilde kullanılıyor.

Bu tür incelemeler için en yeni otomatik dedektör çeşitleri, İçerik Tabanlı Filtreleme veya İşbirlikçi Filtreleme yaklaşımını kullanarak kesin 'aykırı değerleri' arar. Bunlar, her iki geri bildirim modunda da kasvetli olumsuz yorumlardır ve genel inceleme duyarlılığı ve derecelendirme eğiliminden önemli ölçüde farklıdır.

Yüksek paylaşım sıklığı, bu tür filtrelerin aradığı tipik bir işarettir. Buna karşılık, bir PYB stratejik olarak yayınlayacaktır ancak nadiren, çünkü her bir inceleme ayrı bir komisyon olabilir veya 'frekans' istatistiğini gizlemeye yönelik daha uzun bir planın parçası olabilir.

Bu nedenle, makalenin araştırmacıları, kötü niyetli uzman yorumlarının olağandışı kutupsallığını ayrı bir algoritmaya dahil ederek, sahte incelemeleri tespit etmede insan incelemecininkine neredeyse aynı yetenekleri kazandırdı.

Önceki çalışmalar

Yazarlara göre, MMD'yi karşılaştırabilecek daha önce karşılaştırılabilir bir çalışma yok çünkü bu, PMU'ları şizofrenik gönderme tarzlarına göre tespit etmeye çalışan ilk teknolojidir. Sonuç olarak araştırmacılar, yöntemlerini daha önce geleneksel otomatik filtreler tarafından kullanılan çeşitli bileşen algoritmalarıyla karşılaştırdılar; hysad; yarı üzgün; İstatistik Aykırı Değer Algılama (SOD); K-++ anlamına gelir Kümeleme; CNN-üzücü; Ve İftiracı Kullanıcı Algılama Öneri Sistemi (SDRS).

"Dört veri kümesinin tamamında, önerdiğimiz MMD modelimiz (MLC+MUP), F-puanı açısından tüm temel çizgilerden daha iyi performans gösteriyor. MMD'nin, denetlenen ve denetlenmeyen modellere göre üstünlüğünü sağlayan MLC ve MUP'un bir birleşimi olduğunu unutmayın" dedi araştırmacılar.

Makale ayrıca MMD'nin standart otomatik filtreleme sistemleri için bir ön işleme yöntemi olarak kullanılabileceğini belirtiyor ve aşağıdakiler gibi çeşitli veri kümeleri üzerinde deneysel sonuçlar sunuyor: Kullanıcı Tabanlı İşbirliğine Dayalı Filtreleme (UBCF), Öğe Tabanlı İşbirliğine Dayalı Filtreleme (IBCF), Matris Ayrıştırması (MF-eALS), Bayesian Kişiselleştirilmiş Sıralaması (MF-BPR) ve Sinirsel İşbirlikçi Filtreleme (NCF).

Makalenin sonuçlarına göre yazarlar şunu söylüyor: İsabet Oranı (İK) ve Normalleştirilmiş İndirgenmiş Kümülatif Kazanç (NDCG), araştırılan bu büyütmeler daha iyi sonuçlarla sonuçlandı:

“MMD, dört veri kümesi arasında HR ve NDCG açısından öneri modellerini geliştiriyor. Özellikle MMD, İK performansını ortalama %28.7, HDCG performansını ise ortalama %17.3 artırabilir. MMD, profesyonel kötü niyetli kullanıcıları silerek veri kümelerinin kalitesini artırabilir. Bu profesyonel kötü niyetli kullanıcıların sahte [geri bildirimleri] olmazsa, veri kümesi daha [sezgisel] hale gelir.”

Kağıdın adı Metrik Öğrenme Öneri Sistemlerinde Profesyonel Kötü Amaçlı Kullanıcı Tespiti Jilin Üniversitesi Bilgisayar Bilimi ve Teknolojisi Bölümü'ndeki araştırmacılar tarafından yayınlandı; Pekin'deki Çin Bilimler Akademisi'nin Akıllı Bilgi İşleme Anahtar Laboratuvarı; ve Rutgers Üniversitesi İşletme Fakültesi.

Yöntem

İki eşdeğer olmayan parametrenin (sayısal değerli yıldız/ondalık derecelendirme ve metin tabanlı inceleme) dikkate alınması gerektiğinden PMU'ları tespit etmek zordur. Yeni makalenin yazarlarına göre daha önce benzer bir araştırma yapılmadı.

İnceleme konusu, bir yöntem kullanılarak içerik parçalarına bölünür. Hiyerarşik Çift Dikkat tekrarlayan Sinir ağı (HDAN). HDAN, her kelimeye ve her cümleye ağırlık atamak için vurguyu kullanır. Yukarıdaki resimde yazarlar, incelemede “daha ​​fakir” tabirine diğer kelimelerden daha fazla önem verilmesi gerektiğini belirtmektedirler.

MMD algoritması, verilerdeki tüm bağlantı kümesini karakterize etmek amacıyla öğeler arasındaki kesin mesafeyi tahmin etmek için Metrik Öğrenmeyi kullanır.

MMD, kullanıcıyı ve öğeyi seçmek için bir Temel derecelendirme puanı alan Gizli Faktör Modeli (LFM) kullanır. Öte yandan HDAN, değerlendirmeleri ek bilgi olarak duyarlılık puanına dahil ediyor.

MUP modeli, incelemenin metin içeriğinin derecelendirmesi ile tahmin edilen duyarlılık puanı arasındaki fark olan duyarlılık boşluğu vektörünü oluşturur. İlk defa bu yöntemle PMU'ları tespit etmek mümkün oldu.

Çıktı etiketleri, Kümeleme için Metrik Öğrenme'de (MLC), bir kullanıcı incelemesinin kötü amaçlı olma olasılığının hesaplandığı bir ölçüm oluşturmak için kullanılır.

Araştırmacılar ayrıca sistemin kötü amaçlı yorumları yalnızca içeriklerine ve yıldız derecelendirmelerine göre ne kadar etkili bir şekilde tespit ettiğini görmek için bir kullanıcı araştırması da gerçekleştirdi. Katılımcılardan değerlendirmelere 0 (sıradan kullanıcılar için) veya 1 (deneyimli kötü niyetli kullanıcı için) puanı vermeleri istendi.

Öğrenciler ortalama olarak 24/24 iyi ve kötü değerlendirme karışımından 50 doğru pozitif ve 50 yanlış negatif belirlediler. MMD, neredeyse insan seviyesinde çalışarak ortalama 23 gerçek pozitif kullanıcıyı ve 24 gerçek negatif kullanıcıyı etiketlemeyi başardı ve görevin temel oranlarını aştı.

"Aslında MMD, bu belgede incelenen profesyonel kötü niyetli kullanıcıları tespit edebilen ve kötü niyetli kullanıcı tespitleri için genel bir temel görevi gören genel bir çözümdür. Görüntü, video veya ses gibi daha fazla veriyle, MMD fikri, farklı uygulamalardaki farklı maskeleme stratejilerine karşı koymak için parlak bir geleceğe sahip olan başlık ve içerik arasındaki duyarlılık farkını tespit etme konusunda öğretici olabilir," diye açıkladı yazarlar. ML sistemleriyle ilgileniyorsanız, göz atın Makine Öğreniminin tarihi, 17. yüzyıla kadar uzanır..