내가 선택한 논문

0. Abstract

• 이 논문에서는 적대적 방식을 통해서 생성 모델을 추정하는 새로운 framework를 제안

• 이 framework에서는 두개의 model을 동시에 훈련한다.

  • $G$ : generative model
    • 기존에 있는 실제 데이터를 모방한다.
  • $D$ : discriminative model
    • $G$가 생성한 데이터가 실제 데이터랑 얼마나 비슷한지 확률을 추정한다.

• 이 framework의 목표는 $G$가 생성한 데이터를 $D$가 구분을 못하는 확률을 최대화 하는 것이다.

  • 즉 $D$의 역할은 실제와 가짜를 구분하는 역할인데, $G$가 만든 데이터가 실제라고 생각하는 확률을 최대화 하는 것이 목표이다.

• 해당 framework는 각각 두명의 사용자의 최대최소를 서로 확인하는 것과 연관되어있다.

  • $G$가 만든 가짜 데이터가 실제 데이터와의 차이를 최소화하는것과
  • $D$가 $G$가 만든 가짜 데이터를 실제라고 판별할 확률을 최대화하는것

  의 조합으로 이루어져 있다는 말이다.

• 임의의 함수 $G$, $D$에 대해서

  • $G$는 원래 training data의 분포를 완벽히 회복하고
  • $D$는 진짜와 가짜를 구분할 확률을 정확히 각각 $\frac{1}{2}$로 만들어야 한다.

• 만약 $G$와 $D$가 multilayer perceptron(딥러닝에 있는 여러 layer로 이루어진 단순 모델)이라면 전체 시스템은 backpropagation(역전파)로 훈련이 가능하다.

  • 단순 미분의 chain-rule을 통해서 훈련이 가능하다는 뜻.

• 모델을 생성하거나 훈련할 때 Markov chain이나 unrolled approximate inference가 필요없다.

<aside> 💡 Markov chain과 approximate inference에 대해서 알아봐야할듯.

</aside>

GAN: Generative Adversarial Networks (꼼꼼한 딥러닝 논문 리뷰와 코드 실습)

1. Introduction

• 지금까지 딥러닝 분야에서 가장 성공적인 부분은 Discriminative model 분야이다.

  • 고차원 데이터를 다루고, label 분류에 따라서 값이 매우 민감해진다.
  • 기본적으로 역전파와 dropout 알고리즘을 사용
  • gradient 계산에 유용한 piecewise-unit을 사용

• 기존의 생성 모델은 그렇게 큰 영향력을 미치지 못했다.

  • 최대 가능도 추정, 관련 방법을 구하기 위해서 필요한 각 변수간의 확률적인 계산을 추정하는 것이 어려움.
  • 생성의 관점에서 piecewise linear unit의 이점을 끌어 올리기 위하는 방법이 어려움.

  때문에.

• 해당 생성모델의 어려움 때문에 우리는 새로운 생성모델 추정 절차를 제안한다.

• 제안한 적대적인 nets 프레임워크에서 생성 모델은 서로 적대적으로 학습한다.

  • discriminative모델은 표본이 G에서 만들어진 것인지 기존 데이터에서 만들어진 것을 결정하면서 학습을 한다.
  • generative모델은 진짜와 거의 비슷하게 만들어서 판별 모델이 구별하지 못하는 데이터를 만든다.

  이러한 경쟁은 생성 모델이 만든 가짜가 진짜랑 구별이 안될정도로 정교한 데이터를 만들 때까지 각자 모델을 발전시킨다.

• 해당 논문에서는 G와 D모두 다층 퍼셉트론으로 이루어진 특수한 경우의 모델에 대해서 알아볼것이다.

  • 이러한 특수한 케이스를 우리는 앞으로 adversarial nets 라고 한다.