<Original Paper Link>

InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

0. Abstract

<aside> 💡 InfoGAN은 기존의 GAN에서 정보이론적인 확장을 추가하여 비지도 방식으로 disentangled representation (잠재 공간에서의 벡터 이동의 의미를 파악)을 학습하도록 한다.

이는 잠재 벡터의 변수와 실제 생성 output으로 관측할 수 있는 이미지 간의 상호정보량을 최대화 하는 방식으로 작동한다. 상호 정보량을 정확히 추정하는 것은 사후(posterior) 확률 때문에 쉽지 않으므로, 보조 분포를 활용해 근사한 뒤, 하한선을 정해 이를 높이는 방식으로 한다.

이를 통해 MNIST 데이터에서 숫자 클래스 뿐만 아니라, 회전, 글씨 두께 등에 대한 변환 벡터를 찾아낼 수 있고, SVHN, CelebA 데이터셋에서도 잠재 공간에 대한 벡터를 해석할 수 있는 형태로 변환 가능한 것을 보여, 현재 지도 학습 방식 대비 경쟁력 있음을 보임.

</aside>

1. Introduction

<aside> 💡 .

• 비지도학습은 일반적인 문제에서 많은 양의 라벨링되지 않은 데이터에서 값을 추출 하는 것, 유명한 framework로는 representation learning이 있는데, 라벨링 되지 않은 데이터에서 중요한 맥락을 가지는 feature factor를 뽑아내는 것. → 분류, 회귀, 시각화, 강화학습의 정책망 등에서 유용.
• 비지도학습의 어려운 점은 unknown task에 대해 데이터 측면에서, 연관성 있으면서 의미있는 feature를 뽑아내야 하는데, 데이터 셋에 대한 정보도 없고, 무슨 feature가 좋은지도 모르는 상황에서 이는 어려운 일.
• 비지도학습의 유망한 새로운 분야인 생성 모델에서는 원본 데이터셋의 데이터 분포를 최대한 잘 근사하는 분포를 만들어 이해를 하고 자동적으로 disentangled representaion을 학습하길 기대. 대표적으로 GAN, VAE 등이 있다. </aside>

이번 논문에서는 GAN 네트워크에 약간의 수정을 통해 학습목표에 해석 가능하고 의미있는 표현을 학습하도록 하는 방법을 보여줌. GAN의 잠재 벡터의 일부분과 이로 인해 출력된 결과물의 상호 정보량을 최대화.

→ 상호 정보량을 생성 모델에 포함하는 것이 disentagled representation에 있어 매우 의미있음을 제안.