문제 정의

Baseline 성능 향상을 위한 SOTA Model 사용

해결 아이디어

• https://github.com/zengyan-97/Transformer-DST

  Transformer-DST 공식 Git에서 Git Clone에서 Baseline코드 수정

• MutliWOZ 데이터셋을 사용했기 때문에 Preprocessor를 WOS 데이터셋에 맞게 수정

• Tokenizer와 Encoder, Decoder를 모두 BERT_base에서 Koearn BERT로 수정

• TransformerDST 전용 Inference.py 코드 작성

진행 상황

1. Git Clone 및 구조

• 다음 git을 server에 clone한다.

  https://github.com/zengyan-97/Transformer-DST

• Transformer-DST 구조는 다음과 같은 구조를 가진다. (Baseline 삽입 기준)

  • TransformerDSTtrain.py
  • Transformer-DST model을 train
  • TransformerDSTmodel.py
  • Transformer-DST model을 저장
  • TransformerDSTinference.py
  • Transformer-DST model을 inference
  • TransformerDSTevaluation.py
  • domain-slot에 맞는 value를 generation하는 부분
  • generation된 value값과 ground-truth 값을 비교
  • 비교 후 Joint_Accuracy_slot과 turn_accuracy_slot의 점수를 산출
  • modeling_bert.py
  • huggingface의 여러 BERT 모델들이 모여있는 파일
  • 일반 BERT 형태에서 DST 구조에 맞게 Custom한 BERT 모델
  • utils
    • config 파일들 (Custom BERTConfig)
      • bert_base_multilingual_cased.json
      • bert_config_base_uncased.json
      • bert_ko_small_minimal.json
    • ckpt_utils.py
    • pretrained된 custom bert 모델을 download
    • Model을 Load
    • data_utils.py
    • preprocessor에 필요한 함수들을 저장
    • postprocessor에 필요한 함수들을 저장
    • eval_utils.py
    • evaluation을 실행하는데 필요한 함수들을 저장

2. Flowchart