Abstract

• Semantic mask를 photorealistic image로 변환하는 기존의 네트워크들에서 normalization layer가 semantic information을 소실시키는 문제가 있음을 보이고, 이를 해결하기 위한 spatially-adaptive normalization layer를 제안한다.
• COCO-Stuff, ADE20K, Cityscapes 등의 데이터셋에서 기존의 방법들보다 생성 결과가 좋았고, ablation study를 통해 spatially-adaptive normalization layer가 효과적임을 입증하였다.

Related Work

Unconditional Normalizations

Group Normalization : https://arxiv.org/abs/1803.08494

• 위 그림은 CNN에서의 몇가지 normalization 방법들이 동작하는 차원 축들을 비교한 것이며, 자세한 설명은 다음과 같다. (CNN이 아닌 다른 NN에서는 channel 축을 feature 축으로 보면 됨)
  • Batch Normalization
    • batch, width, height축에서 평균과 표준편차를 구해 각 채널별로 normalization을 수행
    • $\mu = \frac{1}{NWH} \sum\limits^N_{i=1} \sum\limits^W_{j=1} \sum\limits^H_{k=1} x_{iCjk}$
  • Layer Normalization
    • channel, width, height축에서 평균과 표준편차를 구해 각 샘플별로 normalization을 수행
    • $\mu = \frac{1}{CWH} \sum\limits^C_{i=1} \sum\limits^W_{j=1} \sum\limits^H_{k=1} x_{Nijk}$
  • Instance Normalization
    • width, height축에서 평균과 표준편차를 구해 각 채널 및 샘플별로 normalization을 수행
      • mini-batch size가 1인 경우의 Batch Norm과 동일
    • $\mu = \frac{1}{WH} \sum\limits^W_{i=1} \sum\limits^H_{j=1} x_{NCij}$
  • Group Normalization
    • 몇개의 channel들을 묶어서 group을 지은 후, width, height축에서 평균과 표준편차를 구해 각 그룹 및 샘플별로 normalization을 수행
      • Layer Norm(모든 채널이 하나의 그룹인 경우)과 Batch Norm(각 채널이 하나의 그룹인 경우)의 중간 형태
    • $\mu = \frac{1}{WH} \sum\limits^W_{i=1} \sum\limits^H_{j=1} x_{NGij}$
• 위 방법 모두 최적의 normalization 정도를 조절하기 위한 learnable parameters $\gamma, \beta$를 학습하는 과정이 포함된다.

Conditional Normalizations

• Conditional normalization 방법들은, $\gamma, \beta$를 찾는 과정에서 external data를 사용한다는 점이 기존의 normalization 방법들과 다르며, 다음과 같은 방법들이 있다.

  

  Conditional Batch Normalization : https://arxiv.org/pdf/1707.00683.pdf

  • Conditional Batch Normalization
    • Batch normalization과 동일하게 normalization 수행한 후, condition 정보를 추가로 사용해 denormalization 수행
    • 위 그림은 VQA task에서 question 정보를 condition으로 사용한 예시이다.

  

  AdaIN : https://arxiv.org/abs/1703.06868

  • Adaptive Instance Normalization (AdaIN)
    • Instance normalization과 동일하게 normalization 수행한 후, condition 정보를 추가로 사용해 denormalization 수행
    • 위 식은 style transfer task에서 style 정보(y)를 condition으로 사용한 예시이다.

Semantic Image Synthesis

Spatially-adaptive denormalization

• Figure 2는 본 논문에서 제안하는 SPatially-Adaptive (DE)normalization (SPADE)를 나타낸 것이며, 동작 방식은 다음과 같다.

  1. Activation에 대해 channel-wise normalization 수행 (batchnorm과 동일)
  2. Semantic map으로부터 2개의 conv layer를 사용해 1의 결과와 동일한 shape를 가지는 tensor 형태로 scaling, bias값($\gamma, \beta)$을 계산하고, 1의 결과에 element-wise 연산을 수행하여 activation을 조절 (denormalization)

• $i$번째 layer에서의 동작 과정은 식 (1)과 같이 나타낼 수 있다.

  $$ \gamma_{c, y, x}^{i}(\mathbf{m}) \frac{h_{n, c, y, x}^{i}-\mu_{c}^{i}}{\sigma_{c}^{i}}+\beta_{c, y, x}^{i}(\mathbf{m}) \tag{1} $$

  • $h^i_{n, c, y, x}$ : $i$번째 activation map (normalization 수행 전)
    • $n \in N, c \in C^i, y \in H^i, x \in W^i$
    • $N, C^i, H^i, W^i$ : batch size, channel, height, width
  • $\mu_c^i$, $\sigma_c^i$ : channel $c$에서 activation의 평균과 표준편차
    • $\mu_c^i = \frac{1}{NH^iW^i} \sum\limits_{n, y, x} h^i_{n, c, y, x}$
    • $\sigma_c^i = \sqrt{\frac{1}{NH^iW^i} \sum\limits_{n, y, x} \Big( (h^i_{n, c, y, x})^2 - (\mu_c^i)^2 \Big)}$
  • $\gamma^i_{c, y, x}(\mathbf{m})$, $\beta^i_{c, y x}(\mathbf{m})$ : learned modulation parameter
    • $\mathbf{m}$ : semantic mask
      • $\mathbf{m} \in \mathbb{L}^{H \times W}$
      • $H, W, \mathbb{L}$ : height, width, semantic label 정수 집합

SPADE generator

• Figure 4는 SPADE의 generator를 나타낸 것이며, encoder part가 없는 구조를 가진다.
  • 학습된 modulation parameters가 이미 label layout에 대한 인코딩된 정보를 가지고 있기 때문에 segmentation map이 입력으로 필요하지 않음
  • encoder가 없는 구조로 인해 네트워크가 가벼우며, random vector를 입력으로 받을 수 있으므로 multi-modal synthesis가 가능하다.
• SPADE는 SPADE Residual Block(ResBlk)과 upsampling layer들로 구성된다.
  • 각 residual block마다 다른 scale에서 동작하므로, 입력되는 semantic mask는 downsample해서 넣어준다.