Abstract
- VR 등에 적용이 가능한 춤동작 합성 모델을 소개
- 춤 동작과 비트 사이에 자연스러운 춤 동작 생성
- 생성된 춤 동작이 자연스럽게 변화 차이가 있어야 한다.
- Seq2Seq에 Attention을 적용한 모델 사용
- Encoder - Decoder (+ attention)
- Cross domain에서 Seq2Seq 모델을 사용
- 평가에선 레퍼런스에 없는 기준으로 테스트셋 구성
- 춤 데이터셋은 음악과 연관된 춤 동작을 포함하고 있다.
Intro & Related work
- Audio to video 분석은 cross domain sequence analysis의 특별한 경우
- 기본적으로 Audio와 video의 상관 관계는 크지 않다.
- Music 과 Dance의 상관 관계는 큰편이다.
- Music beat와 춤동작의 beat는 관련이 깊다.
- 따라서 Cross domain 분석이 가능하다.
- 춤동작 생성(Dance movement generation)에는 HMM, LSTM 등을 이용한 접근법
- GrooveNet이 많은 역할을 한 것 같다. (아직 못찾아봄)
- Music beat 기반으로 춤 동작을 생성하는 모델인 듯
- GAN based Encoder, Decoder 모델
- Seq2Seq 모델에 대한 설명 (Attention이 추가된 후 좋은 성능 발휘)
Workflow