유추는 상식적 추론에서 중요한 역할을합니다. "눈은 귀와 청각을 보는 것"과 같은 비유를 인식하는 능력은 때때로 유 추적 비율이라고도하며 인간이 지식을 구조화하고 언어를 이해하는 방식을 형성합니다. 새로운 공부 AI 모델이 유추를 이해할 수 있는지 여부를 살펴 보는 카디프 대학의 연구원들은 교육 벤치 마크와 더 일반적인 데이터 세트를 사용했습니다. 그들은 기성 모델이 일부 비유를 식별 할 수 있지만 때로는 복잡한 관계로 어려움을 겪으며 모델이 지식을 어느 정도까지 포착하는지에 대한 질문을 제기한다는 것을 발견했습니다.

대규모 언어 모델은 공개 웹에서 수십억 개의 예제를 내재화하여 인간과 유사한 텍스트를 작성하는 방법을 배웁니다. ebook, Wikipedia 및 Reddit과 같은 소셜 미디어 플랫폼과 같은 소스를 사용하여 문장과 전체 단락을 완성하기 위해 추론합니다. 그러나 연구 이 교육 방식의 함정을 보여줍니다. OpenAI와 같은 정교한 언어 모델도 GPT-3 뉘앙스와 싸우다 주제 도덕, 역사, 법과 같은 암기하다 교육받은 데이터에서 찾은 답변.

암기는 큰 언어 모델이 어려움을 겪는 유일한 도전이 아닙니다. 최근 연구에 따르면 최첨단 모델조차도 대부분의 수학 문제에 올바르게 답하는 데 어려움을 겪고 있습니다. 예를 들어, 종이 University of California의 연구원들이 발표 한 Berkeley는 다음과 같은 대규모 언어 모델을 발견했습니다. GPT-3 2.9 개 이상의 데이터 세트에서 문제의 6.9 % ~ 12,500 % 만 완료 할 수 있습니다.

유추 데이터 세트

카디프 대학의 연구원들은 언어 및인지 능력 평가의 유추 문제가 포함 된 교육 리소스의 테스트 데이터 세트를 사용했습니다. 문제의 한 부분은 미국 대학 입학 시험 인 SAT (Scholastic Aptitude Test)의 유추 문제와 동일하도록 설계되었으며, 다른 문제는 GRE (Graduate Record Examinations) 문제와 난이도가 비슷했습니다. 철저 함을 위해 공동 저자는 데이터 세트를 Google 및 BATS의 유추 코퍼스와 결합했습니다. 여기에는 사전, 백과 사전, 파생 형태 및 굴절 형태의 네 가지 범주로 분할 된 더 많은 개념과 관계가 포함됩니다.

비유 문제라는 단어는 도전적으로 설계되었습니다. 이를 해결하려면 동일한 관계에 속하는 단어 쌍 간의 미묘한 차이를 식별해야합니다.

실험에서 연구원들은 Google의 BERT, Facebook의 RoBERTa 및 GPT-2의 전신 인 GPT-3를 포함하여 변환기 아키텍처를 기반으로하는 세 가지 언어 모델을 테스트했습니다. 결과는 일반적으로 더 추상적이거나 모호한 단어 (예 : grouch, cantankerous, palace, ornate)를 포함하는 어려운 비유 문제가 주요 장벽을 제시한다는 것을 보여줍니다. 모델이 유추를 이해할 수 있었지만 모든 모델이 "의미있는 개선"을 달성 한 것은 아닙니다.

연구자들은 적절한 훈련 데이터가 주어지면 언어 모델이 유추 과제를 해결하는 방법을 배울 수있는 가능성을 열어 둡니다. “[우리의] 연구 결과는 변환기 기반 언어 모델이 관계형 지식을 의미있는 정도로 학습하는 반면, 그러한 지식이 어떻게 인코딩되고 어떻게 활용 될 수 있는지 이해하려면 더 많은 작업이 필요함을 시사합니다. " "조심스럽게 조정 된 일부 언어 모델은 최첨단 결과를 얻을 수 있습니다."