들어가며


지난번 다루었던 Dialogue System에서의 Continual Learning 의 주제를 더욱 폭넓게 다룬 논문으로서 흥미롭게 볼 수 있었다. 지난번 다룬 논문은 NLG(Natural Language Generation)에만 국한되어 있었다. 그러나 본 논문에서는 Dialogue System을 위해서 필요한 모듈구성을 아래와 같이 정리하고 있다.

본 논문의 1차적 의의는 Continual Learning 기반의 Dialogue System을 통합 구성하기 위한 문제정의, 데이터셋, Metric, SOTA approach를 체계적으로 정리했다는 데 있다. 이외에도 본 논문이 제시하는 AdapterCL이라는 Arhitectural approach가 있어서, 이것의 성능상 개선효과를 주의깊게 볼만하다.

본 논문의 문제구성


본 논문의 Continual Learning 기반 (Task-oriented) Dialogue System의 개념은 Lee(2017) Toward continual learning for conversational agents 에서 제시된 것과 대동소이하다.

https://s3-us-west-2.amazonaws.com/secure.notion-static.com/3e5490b9-1f6d-426f-beb5-629990676996/Untitled.png

단, Lee(2017)은 3개의 task에 대해 EWC 기반의 CL 을 제시한다. 본 논문은 4개의 데이터셋에서 추출한 37개 데이터셋에 대해 그동안 연구된 모든 CL 기법을 적용하여 성능향상 정도를 분석해 본다. *여기서 주의할 점은 Continual Learning이란 여러 가지 task를 순차적으로 배우는 것을 의미한다.

특정 task를 학습하는 것은 GPT-2 모델의 LM을 학습시키는 일반적인 loss 와 같다.

https://s3-us-west-2.amazonaws.com/secure.notion-static.com/e4916a5d-decf-4d37-9804-c2dee5f8a871/Untitled.png