paper : https://arxiv.org/abs/2002.08909github : https://github.com/google-research/language/blob/master/language/realm/README.md ICML 2020Google Research 대규모 텍스트 코퍼스를 활용한 언어 모델 사전학습(pre-training)은 별도의 라벨 없이도 세상에 대한 다양한 상식과 지식을 모델 내부에 담을 수 있는 방법으로 널리 사용되어 왔다.예를 들어, BERT와 같은 모델은 “The ___ is the currency of the United Kingdom”이라는 문장에서 빈칸에 “pound”를 자연스럽게 채워 넣을 수 있으며, 이를 통해 모델이 영국의 통화 단위에 대한 지식을 어느..