지난번 다루었던 Dialogue System에서의 Continual Learning 의 주제를 더욱 폭넓게 다룬 논문으로서 흥미롭게 볼 수 있었다. 지난번 다룬 논문은 NLG(Natural Language Generation)에만 국한되어 있었다. 그러나 본 논문에서는 Dialogue System을 위해서 필요한 모듈구성을 아래와 같이 정리하고 있다.
본 논문의 1차적 의의는 Continual Learning 기반의 Dialogue System을 통합 구성하기 위한 문제정의, 데이터셋, Metric, SOTA approach를 체계적으로 정리했다는 데 있다. 이외에도 본 논문이 제시하는 AdapterCL이라는 Arhitectural approach가 있어서, 이것의 성능상 개선효과를 주의깊게 볼만하다.
본 논문의 Continual Learning 기반 (Task-oriented) Dialogue System의 개념은 Lee(2017) Toward continual learning for conversational agents 에서 제시된 것과 대동소이하다.
단, Lee(2017)은 3개의 task에 대해 EWC 기반의 CL 을 제시한다. 본 논문은 4개의 데이터셋에서 추출한 37개 데이터셋에 대해 그동안 연구된 모든 CL 기법을 적용하여 성능향상 정도를 분석해 본다. *여기서 주의할 점은 Continual Learning이란 여러 가지 task를 순차적으로 배우는 것을 의미한다.
특정 task를 학습하는 것은 GPT-2 모델의 LM을 학습시키는 일반적인 loss 와 같다.