Google에서 만든 언어 모델 BERT에 관한 논문 Bert: Pre-training of deep bidirectional transformers for language understanding을 정리하였습니다. 해당 연구에서 제시한 BERT는 bidirectional하게 모델을 학습하며, 다양한 task에 적용하기 용이하다.

Abstract

1. Introduction

2. Related Work

2.1. Unsupervised Feature-based Approaches

2.2. Unsupervised Fine-tuning Approaches

2.3. Transfer Learning from Supervised Data

3. BERT