Simplified Hypothesis

• Hypothesis : $H(x) = Wx$

  ⇒ b는 나중에 W가 매트릭스가 되면서 이 안으로 들어가게 됨.

• Cost : $cost(W)=\frac { 1 }{ m } \sum _{i=1}^{m}{ { (Wx_i}-y_i{ } })^{ 2 }$

Cost Function

• W = 0, cost(W) = 4.67

  $cost(W)=\frac { 1 }{ 3 } ( (0 * 1 - 1)^2 + (0 * 2 - 2)^2 + (0 * 3 - 3)^2)$

• W = 1, cost(W) = 0

  $cost(W)=\frac { 1 }{ 3 } ( (1 * 1 - 1)^2 + (1 * 2 - 2)^2 + (1 * 3 - 3)^2)$

이를 좌표로 나타내보면 아래와 같음.

좀 더 조밀한 간격으로 그려보면 이와 같음

결국 목표는 이 Cost가 최저점이 되는 W를 찾아가는 것

Gradient descent Algorithm

• 경사 하강 알고리즘 : 경사를 따라 내려가면서 최저점을 찾도록 설계된 알고리즘

• Cost를 최소화하는 방법으로 경사 하강 알고리즘을 씀

• 과정

  1. 최초 값 $W$를 정함

  2. $cost(W)$가 줄어들 수 있는 방향으로 조금씩 줄어들도록 $W$를 바꿈

  3. $W$를 업데이트할 때 기울기 값을 구해서 $cost(W)$가 최소화되는 방향으로 업데이트

  4. 최소점에 도달했다고 판단될 때까지 반복

     

• $W$값을 아무 곳에서나 시작을 해도 동일한 결과값을 나타냄

Gradient descent

• Gradient : 위의 그래프에서 어느 $W$에서 접하는 직선의 기울기

  • 즉, $W$에서의 미분 값

    $cost(W)=\frac { 1 }{ 2m } \sum _{i=1}^{m}{ { (W{ x }^{ i }-y^{ i } })^{ 2 } }$

    • m 혹은 2m 나누는 것이 cost 최소화에 영향 없음
    • 제곱을 미분할 때, 2가 앞으로 나오면서 공식이 단순하게 되는 효과
• $W:=W - \alpha\frac{ \partial } {\partial W } cost(W)$
  • W = W - 변화량
  • 변화량 = 현 위치(W)에서 비용곡선의 기울기(=미분값) X  $\alpha$
  • $\alpha$ : learning rate (시도 간격)
  • 얼마나 많이 빠르게 변할지는 이 $\alpha$값에 의해서 결정

Convex Function

• 기울기가 0이 되는 지점들을 local minimum