Une nouvelle collaboration de recherche entre la Chine et les États-Unis offre un moyen de détecter les critiques de commerce électronique malveillantes conçues pour saper les concurrents ou faciliter le chantage en tirant parti du comportement de signature de ces critiques.
Table des matières
L'algorithme d'apprentissage automatique a réussi à détecter les PMU
L'article décrit comment un système appelé modèle de détection d'utilisateurs malveillants (MMD) analyse la sortie de ces utilisateurs pour les déterminer et les étiqueter comme utilisateurs professionnels malveillants (PMU). À l'aide de l'apprentissage métrique, une méthode utilisée dans les systèmes de vision et de recommandation par ordinateur, et d'un réseau neuronal récurrent (RNN), le système identifie et catégorise la sortie de ces critiques.
L'expérience utilisateur peut être évaluée à l'aide d'étoiles (ou d'une note sur dix) et de commentaires textuels, qui ont généralement du sens dans un scénario typique. Les PMU, en revanche, vont souvent à l'encontre de cette idée en soumettant une évaluation de texte négative avec une note élevée ou une mauvaise note avec une bonne critique.
C'est beaucoup plus pernicieux car cela permet à l'avis de l'utilisateur d'infliger des dommages à la réputation sans déclencher les filtres plutôt simples des sites de commerce électronique pour identifier et traiter les commentaires malveillants. Si un filtre NLP détecte une invective dans une critique, la note élevée (ou décimale) attribuée par le PMU annule efficacement le contenu négatif, le faisant paraître "neutre", statistiquement parlant.
La nouvelle étude indique que les PMU sont souvent utilisés pour exiger de l'argent des détaillants en ligne en échange de la modification des commentaires négatifs et d'une promesse de ne plus publier de mauvaises critiques. Certaines personnes à la recherche de rabais sont parfois employées par les rivaux de la victime, bien que la plupart du temps, le PMU soit utilisé de manière contraire à l'éthique par les concurrents de la victime.
La plus récente variété de détecteurs automatisés pour de tels examens utilise le filtrage basé sur le contenu ou une approche de filtrage collaboratif, recherchant des « valeurs aberrantes » sans équivoque. Ce sont des critiques négatives lamentables dans les deux modes de rétroaction et diffèrent considérablement de la tendance générale du sentiment et de la note des critiques.
Une fréquence de publication élevée est un signe typique que ces filtres recherchent. En revanche, une UGP affichera stratégiquement mais rarement puisque chaque examen peut être une commission individuelle ou un élément d'un plan plus long pour masquer la statistique de « fréquence ».
Pour cette raison, les chercheurs de l'article ont intégré la polarité inhabituelle des commentaires malveillants d'experts dans un algorithme distinct, lui donnant des capacités presque identiques à un examinateur humain pour détecter les avis frauduleux.
Études précédentes
Selon les auteurs, il n'y a pas de travaux antérieurs comparables auxquels comparer MMD car il s'agit de la première technologie à essayer de détecter les PMU en fonction de leur style de publication schizophrénique. En conséquence, les chercheurs ont comparé leur méthode à divers algorithmes de composants précédemment utilisés par les filtres automatiques conventionnels, notamment ; Hysad; Semi-triste; Détection des valeurs aberrantes statistiques (GAZON); K-signifie++ regroupement ; CNN-tristeEt Système de recommandation de détection d'utilisateurs calomnieux (SDRS).
"[Sur] les quatre ensembles de données, notre modèle proposé MMD (MLC + MUP) surpasse toutes les lignes de base en termes de score F. Notez que MMD est une combinaison de MLC et de MUP, ce qui assure sa supériorité sur les modèles supervisés et non supervisés », ont déclaré les chercheurs.
L'article indique en outre que MMD pourrait être utilisé comme méthode de prétraitement pour les systèmes de filtrage automatique standard, et il présente des résultats expérimentaux sur plusieurs ensembles de données tels que Filtrage collaboratif basé sur l'utilisateur (UBCF), Filtrage collaboratif basé sur les éléments (IBCF), Factorisation matricielle (MF-eALS), Classement bayésien personnalisé (MF-BPR), et Filtrage collaboratif neuronal (NCF).
Selon les conclusions de l'article, les auteurs disent qu'en termes de Taux de réussite (RH) et Gain cumulé actualisé normalisé (NDCG), ces augmentations étudiées ont permis d'améliorer les résultats :
« Parmi les quatre ensembles de données, MMD améliore les modèles de recommandation en termes de RH et de NDCG. Plus précisément, MMD peut améliorer les performances des RH de 28.7 % en moyenne et HDCG de 17.3 % en moyenne. En supprimant les utilisateurs professionnels malveillants, MMD peut améliorer la qualité des ensembles de données. Sans les faux [feedback] de ces utilisateurs professionnels malveillants, l'ensemble de données devient plus [intuitif].
Le papier s'appelle Détection professionnelle des utilisateurs malveillants dans les systèmes de recommandation d'apprentissage métrique et a été publié par des chercheurs du Département d'informatique et de technologie de l'Université de Jilin ; le laboratoire clé de traitement intelligent de l'information de l'Académie des sciences de Chine à Pékin ; et la School of Business de l'Université Rutgers.
Method
Il est difficile de détecter les PMU car deux paramètres non équivalents (une note numérique étoile/décimale et une évaluation textuelle) doivent être pris en compte. Selon les auteurs du nouvel article, aucune recherche similaire n'a été effectuée auparavant.
Le sujet de l'avis est divisé en morceaux de contenu à l'aide d'un Réseau de neurones récurrent à double attention hiérarchique (HDN). HDAN utilise l'emphase pour attribuer des poids à chaque mot et à chaque phrase. Dans l'image ci-dessus, les auteurs déclarent que le terme « plus pauvre » devrait avoir plus d'importance que d'autres mots dans l'examen.
L'algorithme MMD utilise Metric Learning pour estimer une distance exacte entre les éléments afin de caractériser l'ensemble des connexions dans les données.
MMD utilise un modèle de facteur latent (LFM) pour sélectionner l'utilisateur et l'élément, qui obtient un score d'évaluation de base. HDAN, d'autre part, intègre les avis dans le score de sentiment en tant qu'informations supplémentaires.
Le modèle MUP génère le vecteur d'écart de sentiment, qui est la différence entre la note et le score de sentiment prédit du contenu textuel de l'avis. Pour la première fois, il a été possible de détecter des UGP en utilisant cette méthode.
Les étiquettes de sortie sont utilisées dans Metric Learning for Clustering (MLC) pour établir une métrique par rapport à laquelle la probabilité qu'un avis d'utilisateur soit malveillant est calculée.
Les chercheurs ont également réalisé une étude auprès des utilisateurs pour voir dans quelle mesure le système identifiait efficacement les avis malveillants en se basant uniquement sur leur contenu et leur nombre d'étoiles. Les participants ont été invités à attribuer aux évaluations une note de 0 (pour les utilisateurs ordinaires) ou de 1 (pour un utilisateur malveillant expérimenté).
En moyenne, les étudiants ont identifié 24 vrais positifs et 24 faux négatifs sur un mélange 50/50 de bonnes et de mauvaises critiques. MMD a pu étiqueter en moyenne 23 véritables utilisateurs positifs et 24 véritables utilisateurs négatifs, opérant presque à des niveaux humains, dépassant les taux de base de la tâche.
« Essentiellement, MMD est une solution générique qui peut détecter les utilisateurs malveillants professionnels qui sont explorés dans ce document et servir de base générale pour les détections d'utilisateurs malveillants. Avec plus de données, telles que l'image, la vidéo ou le son, l'idée de MMD peut être instructive pour détecter l'écart de sentiment entre leur titre et leur contenu, qui a un bel avenir pour contrer différentes stratégies de masquage dans différentes applications », ont expliqué les auteurs. Si vous aimez les systèmes de ML, consultez l'histoire du Machine Learning, elle remonte au 17ème siècle.
