(Inlämnad 25 mars 2020)

Sammanfattning: Learning-to-rank (LTR) har blivit en nyckelteknologi inom e-handel
applikationer. Tidigare LTR-metoder följde paradigmet för övervakat lärande
så att inlärda modeller bör matcha de märkta data punktvis eller
parmässigt. Vi har dock märkt att global kontextinformation,
inklusive den totala ordningen av objekt på den visade webbsidan, kan spela en
viktig roll i interaktionen med kunderna. Därför att närma sig
bästa globala beställning, utforskning i ett stort kombinatoriskt utrymme av föremål
är nödvändigt, vilket kräver utvärdering av beställningar som kanske inte visas i
märkta data. I det här scenariot visar vi först att den klassiska databaserade
mätvärden kan vara oförenliga med onlineprestanda, eller till och med vilseledande. Vi
sedan föreslå att lära sig en utvärderare och söka den bästa modellen vägleds av
utvärderare, som utgör ramverket för utvärderare-generator för utbildning av
gruppvis LTR-modell. Utvärderaren lär sig av de märkta uppgifterna och är det
förbättras genom att införliva beställningskontextinformationen. Generatorn är
tränas med handledning av utvärderaren genom att förstärka lära sig att
skapa den bästa ordningen i det kombinatoriska rummet. Våra experiment i en av
världens största detaljhandelsplattformar avslöjar att den lärde utvärderaren är en
mycket bättre indikator än klassiska databaserade mätvärden. Dessutom har vår LTR
modellen uppnår en betydande förbättring ($textgreater2%$) från nuvarande
industrinivå parvisa modeller i termer av både konverteringsfrekvens (CR) och
Gross Merchandise Volume (GMV) i online A/B-tester.