https://youtu.be/mDcz8wD2a7Y

• RNN에 대해서 이전에 들었던 것에 더 상세한 부분이 있음. 아래 페이지 참조
  • 머신러닝 및 딥러닝 1/ Lecture 7. Sequential Data & Recurrent Neural Networks I
  • 머신러닝 및 딥러닝 1/ Lecture 8: Recurrent Neural Networks II (LSTMs & Seq2seq Models)

• Neural Network의 여러 종류
  • Input, Output이 모두 1개인 것도 있고
  • Input이 여러 개인데 Output이 1개인 것도 있고
  • Input이 여러 개이고 Ouptut도 여러 개인 것도 있다.
  • Input이 1개인데, Output이 여러 개인 것도 있다.
  • Input과 Output 모두 여러 개인 것도 있다. —3번째와는 다름

• RNN은 Input을 받을 때 자신의 상태를 업데이트하는 feedback loop를 돈다.

• 시퀀스를 펼치면 위와 같다.
  • input을 받아서 hidden state를 업데이트하고 output을 내보낸다. (output을 안 내보낼 수도 있음)

• 이전 hidden state($h_{t-1}$)와 현재 input($x_{t}$)을 받아 hidden state($h_{t}$)를 업데이트 한다.

• hidden state를 업데이트 할 때는 tanh를 사용한다.