이 블로그 게시물은 UMass Lowell의 Text Machine Lab 연구원이 작성한 EMNLP 2019 논문 Revealing the Dark Secrets of BERT를 요약 한 것입니다. Olga Kovaleva (LinkedIn), Alexey Romanov (LinkedIn), Anna Rogers (Twitter : @annargrs), Anna Rumshisky (Twitter) : @arumshisky). 다루는 주제는 다음과 같습니다. BERT에 대한 간략한 소개 어떤 유형의 자기주의 패턴을 학습하고 각 유형의 수는? 미세 조정은 어떻게됩니까? 어떻게 […]
