• VGG 논문 2.1 ARCHITECTURE에 의하면 Local Response Normalisation(왜 s 일까)의 사용에 대한 언급이 있음.
• LRN은 성능에 큰 영향을 주지 않아 사용하지 않음.
• 논문에서는 BatchNorm의 언급이 없음
• 따라서 원래 VGG에는 BatchNorm이 없음
• CV강의 1강에서 소개하듯 최근에는 LRN의 위치에 BN을 사용하는 것으로 대체되었는데 vgg_bn 모델에도 이러한 변화가 적용된 것이라고 볼 수 있음.
• BatchNorm을 보면 gamma와 beta가 학습 가능한 parameter로 정의되어 있고 named_parameters()로 출력할 경우 weight, bias로 출력되는 것을 확인함.