개요
사람들은 관련성 때문이 아니라 상위에 있기 때문에 검색 및 추천에서 상위 항목을 더 자주 클릭합니다. ML 모델로 검색 결과를 주문하면 이러한 긍정적인 자체 강화 피드백 루프로 인해 결과적으로 품질이 저하될 수 있습니다. 이 문제를 어떻게 해결할 수 있습니까?
요즘 검색 순위 및 추천 시스템은 LTR(Learning-to-Rank) 모델과 같은 기계 학습 모델을 훈련하여 주어진 쿼리에 대한 결과 순위를 매기기 위해 많은 양의 데이터에 의존하며 암시적 사용자 피드백(예: 클릭 데이터)이 지배적이 되었습니다. 특히 주요 인터넷 회사의 경우 풍부하고 저렴한 비용으로 인해 데이터 수집 소스입니다. 그럼에도 불구하고 이 데이터 수집 방법의 한 가지 단점은 데이터가 크게 왜곡될 수 있다는 것입니다. 가장 눈에 띄는 편향 중 하나는 위치 편향으로, 사용자가 더 높은 순위의 결과를 클릭하는 경향이 있을 때 발생합니다.
이 기사에서는 다음 주제에 대해 논의할 것입니다.
- 어떤 유형의 편향이 존재하며 이를 측정하는 방법은 무엇입니까?
- 역 성향 가중치로 포지션 편향을 극복하고 이러한 접근 방식의 단점.
- 위치 인식 학습은 ML 모델이 훈련하는 동안 편향을 고려하도록 가르치는 방법입니다.
이 기사는 데이터 과학 Blogathon.
차례
순위 편향
검색 결과나 권장 사항(또는 자동 완성 제안 및 연락처 목록)과 같은 항목 목록을 사람에게 제시할 때마다 우리는 목록의 모든 항목을 공정하게 평가할 수 없습니다.
A 캐스케이드 클릭 모델 사람들이 관련 항목을 찾기 전에 목록의 모든 항목을 순차적으로 평가한다고 가정합니다. 그러나 하단에 있는 항목이 평가될 가능성이 더 적으므로 유기적으로 더 적은 클릭이 발생합니다.
상위 항목은 위치 때문에 더 많은 클릭을 받습니다. 이러한 동작을 위치 편향이라고 합니다. 그러나 위치 편향이 항목 목록의 유일한 편향은 아니며 주의해야 할 다른 위험한 사항이 많이 있습니다.
- 프리젠테이션 편향: 예를 들어, 3×3 그리드 레이아웃으로 인해 위치 4번(위쪽 1번 항목 바로 아래)의 항목이 모서리에 있는 항목 3번보다 더 많은 클릭을 받을 수 있습니다.
- 모델 편향: 동일한 모델에서 생성된 기록 데이터에 대해 ML 모델을 교육하는 경우.
- 클릭 베이트, 지속 시간, 인기도와 같은 좀 더 모호한 편향 - 자세한 내용은 이러한 편향에 대한 훌륭한 개요를 참조하세요.
실제로 위치 편향은 가장 강력한 편향이며 훈련 중에 이를 제거하면 모델 신뢰도가 향상될 수 있습니다.
실험: 위치 바이어스 측정
우리는 위치 편향에 대한 소규모 크라우드 소싱 연구를 수행했습니다. 로 순위렌즈 데이터 세트에서 Google 키워드 플래너 도구를 사용하여 특정 영화를 찾기 위한 일련의 쿼리를 생성했습니다.
일련의 영화와 그에 상응하는 실제 쿼리를 통해 우리는 완벽한 검색 평가 데이터 세트를 갖게 되었습니다. 모든 항목은 더 많은 청중에게 잘 알려져 있으며 올바른 레이블을 미리 알고 있습니다.
Amazon Mechanical Turk 및 Toloka.ai와 같은 모든 주요 크라우드 소싱 플랫폼에는 일반적인 검색 평가를 위한 기본 템플릿이 있습니다.
그러나 이러한 템플릿에는 위치 편향으로 발을 쏘는 것을 방지하는 멋진 트릭이 있습니다. 각 항목은 독립적으로 검사해야 합니다. 화면에 여러 항목이 표시되더라도 순서는 무작위입니다!
그러나 무작위 항목 순서는 사람들이 첫 번째 결과를 클릭하지 못하게 합니까?
실험에 대한 원시 데이터는 다음에서 사용할 수 있습니다. github.com/metarank/msrd, 그러나 주된 관찰은 사람들이 여전히 첫 번째 위치를 더 많이 클릭한다는 것입니다. 심지어 무작위로 순위가 매겨진 항목에서도 그렇습니다!
역 성향 가중치
그러나 클릭에서 얻는 암시적 피드백에 대한 위치의 영향을 어떻게 상쇄할 수 있습니까? 항목의 클릭 확률을 측정할 때마다 두 독립 변수의 조합을 관찰합니다.
- 편향: 목록의 특정 위치를 클릭할 확률입니다.
- 관련성: 현재 컨텍스트 내에서 항목의 중요성(예: BM25 점수는 탄성및 권장 사항의 코사인 유사성)
이전 단락에서 언급한 MSRD 데이터 세트에서 위치의 영향을 BM25 관련성과 독립적으로 구별하기는 어렵습니다. 함께 결합된 것을 관찰하기 때문입니다.
예를 들어 18%의 클릭이 게재순위 1위에서 발생합니다. 가장 관련성이 높은 항목이 거기에 제시되어 있기 때문에 이런 일이 발생합니까? 20번 위치에 있는 동일한 항목이 같은 양의 클릭수를 얻습니까?
역 성향 가중 접근 방식은 위치에서 관찰된 클릭 확률이 두 개의 독립 변수의 조합일 뿐임을 제안합니다.
그런 다음 각 위치(성향)에 대한 클릭 확률을 추정하면 모든 관련성 레이블에 가중치를 부여하고 편향되지 않은 실제 관련성을 얻을 수 있습니다.
그러나 실제로 어떻게 성향을 추정할 수 있습니까? 가장 일반적인 방법은 순위에 약간의 셔플링을 도입하여 동일한 컨텍스트(예: 검색 쿼리) 내의 동일한 항목이 다른 위치에서 평가되도록 하는 것입니다.
그러나 추가 셔플링을 추가하면 CTR 및 전환율과 같은 비즈니스 메트릭이 확실히 저하됩니다. 셔플링을 포함하지 않는 덜 침습적인 대안이 있습니까?
위치 인식 학습
순위에 대한 위치 인식 접근 방식은 다음과 같은 질문을 제안합니다. 머신러닝 모델 순위 관련성과 위치 영향을 동시에 최적화하려면:
- 교육 시간에 항목 위치를 입력 기능으로 사용합니다.
- 예측 단계에서 이를 상수 값으로 바꿉니다.
즉, 순위 ML 모델을 속여 훈련 중에 위치가 관련성에 어떤 영향을 미치는지 감지하지만 예측 중에는 이 기능을 XNUMX으로 만듭니다. 즉, 모든 항목이 동시에 동일한 위치에 표시됩니다.
그러나 어떤 상수 값을 선택해야 합니까? PAL 논문의 저자는 최적의 값을 선택하는 데 몇 가지 수치 실험을 했습니다. 경험상 너무 많은 노이즈가 있으므로 너무 높은 위치를 선택하지 않는 것이 원칙입니다.
실용적인 PAL
PAL 접근 방식은 이미 권장 사항 및 검색을 구축하기 위한 여러 오픈 소스 도구의 일부입니다.
- ToRecSys는 PAL을 교육에 대한 바이어스 제거 접근 방식으로 구현합니다. 추천 시스템 편향된 데이터에.
- Metarank는 편향되지 않은 LambdaMART Learn-to-Rank 모델을 교육하기 위해 PAL 기반 기능을 사용할 수 있습니다.
위치 인식 접근 방식은 해킹에 불과하므로 기능 엔지니어링, Metarank에서는 또 다른 위업을 추가하는 문제 일뿐입니다.
위에서 언급한 MSRD 데이터 세트에서 이러한 PAL에서 영감을 받은 순위 기능은 다른 순위 기능에 비해 상당히 높은 중요도 값을 갖습니다.
결론
위치 인식 학습 접근 방식은 순수한 순위 지정 작업 및 위치 편향 제거에만 국한되지 않습니다. 이 트릭을 사용하여 다른 유형의 편향을 극복할 수 있습니다.
- 그리드 레이아웃으로 인한 프리젠테이션 편향의 경우 훈련 중에 항목의 행 및 열 위치에 대한 한 쌍의 기능을 도입할 수 있습니다. 그러나 예측 중에 상수로 바꾸십시오.
- 모델 편향의 경우 더 자주 제시된 항목이 더 많은 클릭을 받으면 "클릭 수" 교육 기능을 도입하고 이를 예측 시간에 대한 상수 값으로 대체할 수 있습니다.
PAL 접근 방식으로 훈련된 ML 모델은 편향되지 않은 예측을 생성해야 합니다. PAL 접근 방식의 단순성을 고려하면 편향된 학습 데이터가 일반적인 ML의 다른 영역에도 적용할 수 있습니다.
이 연구를 수행하면서 다음과 같은 주요 관찰 사항을 확인했습니다.
- 편향되지 않은 데이터 세트에서도 위치 편향이 존재할 수 있습니다.
- IPW와 같은 셔플링 기반 접근 방식은 편향 문제를 극복할 수 있지만 예측에 추가 지터를 도입하면 CTR과 같은 비즈니스 메트릭을 낮추어 많은 비용이 발생할 수 있습니다.
- 위치 인식 학습 접근 방식은 ML 모델이 편향의 영향을 학습하여 예측 품질을 향상시킵니다.
이 기사에 표시된 미디어는 Analytics Vidhya의 소유가 아니며 작성자의 재량에 따라 사용됩니다.
관련
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 출처: https://www.analyticsvidhya.com/blog/2023/03/how-to-overcome-position-bias-in-recommendation-and-search/
