들어가기에 앞서

Deepmind에서 NIPS2019에 제출한 이 논문의 문제의식을 이해하려면 다음 내용을 이해하고 계시면 도움이 됩니다.

• Sprechmann et al.[2018] Memory-based Parameter Adaptation (이하 MbPA)
• Ramalho and Garnelo [2019] Adaptive Posterior Learning: few-shot learning with a surprise-based memory module
• Devlin et al. [2018] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

몰라도 이 논문을 이해하시는데는 큰 지장은 없으실 겁니다.

Lifelong Language Learning 이란?

그냥 Continual Learning이라고 해도 되는데, 좀더 멋진 제목을 붙였다. 그러나 그 제목에는 이 연구의 지향점이 드러나게 마련이다. [사람이 언어를 배우듯] 이라는 뉘앙스를 행간에 넣고 싶었던 모양이다.

딥러닝에서 Continual Learning이 잘 안되는 이유가 무엇인가? training distribution shift 때문이다. 딥러닝의 기본 가정인 i.i.d (Independent and identically distributed)가 무너지는 상황, 즉 시간이 지남에 따라 학습데이터의 분포가 달라지면서, 예전 분포에 따라 학습한 모델이 Catastrophic Forgetting을 경험하는 상황 때문이다. 딥러닝에서 학습데이터의 분포는 불변의 전제 같은 것이다. 그러나 세상에 그런게 어디있겠는가? 맥락(context)은 계속 변한다. 따라서 관측되는 데이터의 distribution도 계속 변한다. NLP분야야 말로 맥락의 변화가 가장 드라마틱하게 발생하는 분야 아니겠는가?

Sprechmann et al.[2018]은 Deepmind에서 나름 공들여 쓴 논문이다. 사실 본 논문의 핵심 아이디어는 Sprechmann et al.[2018]에 소개된 MbPA라는 모델에 다 들어있고, 이후 나온 BERT를 가지고 그 당시 할 수 없었던 개선을 더하여 MbPA++을 만들었다는게 이 논문의 내용 전부다.

Sprechmann et al.[2018]에서는 Continual Learning을 위해 2가지가 필요하다고 한다.

1. (Episodic) Memory Module (과거의 기억)

2. Local Adaptation (보관된 과거의 기억들 중 현재 상황과 가장 유사한 것들 찾아내어 현재상황 해석에 활용하기)

• 그런데 제목에 있는 Episodic Memory란 무얼까? 논문에 설명이 전혀 없다. 그래서 참고 논문인 David Lopez-Paz and Marc’Aurelio Ranzato[2017] Gradient Episodic Memory for Continual Learning(이하 GEM)을 참고해 보면, Episodic Memory는 기억의 중요도에 따라 개념적으로 저장하는 방식이 아니라 개별 episode를 그냥(그야말로 그냥. 아무런 기준없이) 저장하는 Experience Replay의 개념이다. Ramalho and Garnelo [2019]는 memory를 surprise 기준으로 저장하므로 중요도 개념이 있다. 그러나 본 논문에서는 그런 개념이 없다.
• 혹시, Continual Learning 이라면 새로운 클래스에 대한 유연한 적응 같은 요건이 필요한거 아니냐고 물으신다면? 예리하십니다. 이 논문의 약점이 이 부분에 주목하지 않는다는 것입니다.
• (참고) Continual Learning에는 Task-incremental Learning, Domain-incremental Learning, Class-incremental Learning 이 있다고 합니다.