Gatys et al. 이 발표한 Style transfer는 이미지 한장을 iterative 하게 optimize하기에 속도가 느립니다. feed-forward 뉴럴넷으로 빠르게 approximation 하는 방법이 나오면서 style transfer의 속도를 올릴 수 있게 되었습니다. 하지만 속도가 빨라진 대신 이 네트워크는 대체로 고정된 스타일 이외의 arbitrary 스타일에 대해선 적용 될 수 없었습니다.
이 논문에선 간단하면서 효과적으로 arbitrary 스타일을 (처음으로)real-time 으로 transfer 하는 방법을 소개합니다. 주요 방법은 adaptive instance normalization(AdaIN) layer로 content feature를 style feature로 normalize 하는 것입니다.
이 논문의 방법을 이용하면 유저가 content-style trade-off, style interpolation, color & spatial controls 등을 하나의 feed-forward neural network로 컨트롤 할수 있다고 합니다.
Batch Normalization(BN) layer는 뉴럴 네트워크를 학습시킬때 학습에 도움을 주는 테크닉 으로 알려져 있습니다. BN은 feature statistics를 normalize 하는것으로 image generating modeling에도 효과가 있다고 알려져 있습니다.
input batch 가 다음과 같을때,
$$ x \in \mathbb{R}^{N \times C \times H \times W} $$
(N : batch size, C : channel, H : 이미지 높이, W : 이미지 너비)
BN은 각각의 feature channel에 대해:
$$ \mathrm{BN}(x)=\gamma\left(\frac{x-\mu(x)}{\sigma(x)}\right)+\beta $$
평균과 표준표차로 normalize 합니다. (원문은 BN normalizes the mean and standard deviation for each individual feature channel:
$$ \gamma, \beta \in \mathbb{R}^{C} $$