[30 년 2020 월 XNUMX 일 제출]

PDF 다운로드

요약 : 현재의 텍스트 질문 응답 모델은 다음과 같은 분야에서 강력한 성능을 발휘합니다.
도메인 내 테스트 세트이지만 종종 표면 수준 패턴을
데이터를 분산하지 않고 적대적인 데이터로 일반화하지 못합니다.
설정. 보다 강력하고 이해하기 쉬운 QA 시스템을 만들기 위해 우리는 질문을 모델링합니다.
정렬 문제로 대답합니다. 질문과 맥락을 모두 분해합니다.
기성 의미론적 표현을 기반으로 더 작은 단위로 분할합니다(여기서는
의미론적 역할), 하위 그래프 정렬 문제를 해결하여
질문과 일치하는 문맥. 우리 모델은 BERT를 사용하여 정렬을 계산합니다.
그리고 구조화된 SVM을 사용하면 복잡함에도 불구하고 엔드투엔드(end-to-end) 학습이 가능합니다.
추론. 정렬을 명시적으로 사용하면 일련의 정렬을 탐색할 수 있습니다.
특정 유형의 나쁜 행동을 금지할 수 있는 제약
도메인 간 설정에서 발생합니다. 또한, 차이점을 조사함으로써
다양한 잠재적 답변에 대해 점수를 매기면 우리는 무엇을 이해할 수 있는지 알아볼 수 있습니다.
입력의 특정 측면으로 인해 모델이 답변을 선택하게 되었습니다.
"로컬" 사후 설명 기술에 의존하지 않고. 우리는 모델을 훈련합니다.
SQuAD v1.1에서 여러 적대적 및 도메인 외부 데이터 세트에서 테스트합니다.
결과는 우리 모델이 표준보다 도메인 간 더 강력하다는 것을 보여줍니다.
BERT QA 모델과 정렬 점수에서 파생된 제약 조건을 통해 다음을 수행할 수 있습니다.
적용 범위와 정확성을 효과적으로 절충합니다.