Adagrad

• Per-parameter learning rate를 최초로 도입함. → Adaptive Gradient Method의 시작
• second moment를 이용한 bias-correction을 차용하여 보다 정확한 update를 가능하게 만듦

RMSProp

• RMSprop is an unpublished, adaptive learning rate method proposed by Geoff Hinton in Lecture 6e of his Coursera Class.

RMSprop with Momentum

• first moment를 이용해서 momentum을 계산함

Adam

• Adagrad와 RMSProp를 결합한 알고리즘
• RMSProp의 first moment를 차용하여 momentum을 계산함