목표

• 자연어처리 Task의 종류 학습 및 코드로서의 구현 과정 학습
• huggingface 라이브러리에 대한 이해
• 자연어 데이터에 대한 여러 가지 전처리 방법 및 문자열 처리 능력 향상시키기
• 논문을 읽고 적용해 볼 수 있는 부분은 적용시켜 모델을 학습해 보기(데이터 처리 부분, 모델 튜닝 등)

전체 진행 프로세스

1, EDA관점

2, NLP데이터 Augmentation 관점

3, 전처리 관점

4, hyperparameter, loss, optimizer, scheduler등의 관점

5, 외부데이터 관점

6, 모델 튜닝, input형식의 관점

7, multi task 관점

8, 앙상블 수행

1, EDA관점

1, 클래스가 어떠한 식으로 분포가 되어 있는지 확인해 보았습니다.

1-1, 42개의 클래스 개별적으로 어떠한 식으로 분포가 되어 있는지 확인