1. Intro

   1. https://github.com/ZZWaang/musebert( 현재 데이터셋 처리... )

      1. 정리중ㅠㅠ;

      

   2. MUSEBERT ← TimesFormer Video Feature label 추가 + RL ( 유저 피드백 반영 후처리 RL )

   • c - GAN으로 커버 이미지 생성 (https://towardsdatascience.com/album-covers-by-gans-c5c8ef48f50c)
   3. RL : 유저 별점(5점 만점에 몇점) 을 피드백으로 주면 박자, 음정 바꿔서 다시 작곡
   • Actor-Critic Model (최대한 간단한 모델 선택...)

2. GAN vs AAE vs Transformer?

   1. DataSet : LPD-5, LPD-17( 현재 데이터셋 다시 다운로드 중...) (LMD는 다운속도 너무 느림..) + YouTube 5M dataset
   2. 생성 모델 퀄리티 비교분석 중...(데이터셋 전처리 시간걸림..ㅠㅠ)
   3. 장르별 미디 음악 생성(Adversarial AutoEncoder Based Multi Track MIDI - label conditional)

• input : label - 장르, 분위기 추가...... (YouTube 5M dataset → TimesFormer로 동영상 라벨 분류)
• output : MIDI file & WAV file
• model : 적대적 오토인코더 생성 ( 인코더 ) 파트에 조건레이블 입력 추가(WGAN - GP + label) https://github.com/Andrea-V/MusAE/blob/master/train_gm.py
• 음악에서 코드 진행 추천 (오픈소스 없는것 같음, AutoEncoder, Transformer Model)

3~6주차 - 데이터 준비&모델링(04-24 ~ 05-30)

• 데이터셋준비
• 기존모델 + 조건부 라벨 입력 &BERT + RL
• BERT + RL 구현
• GAN vs AAE vs Transformer → Transformer, musicVAE 모델이 퀄이 좋음
• Multi-Track

https://magenta.tensorflow.org/2016/11/09/tuning-recurrent-networks-with-reinforcement-learning/ 생성 알고리즘 모음. https://arxiv.org/pdf/2011.06801.pdf https://magenta.tensorflow.org/gansynth 실험할 알고리즘 https://github.com/microsoft/muzic