이전까지의 Logistic Regression 과정

• $H(x) = Wx \quad \rightarrow \quad z =H(x) \quad \rightarrow\quad g(z) = \frac 1 {(1 + e^{-z})}\quad \rightarrow \bar{Y} =0 \ or \ 1$

Multinomial classification

• Binary classification이 아닌 다양한 분류가 가능하도록 해보자

  

• 여러 개의 Binary classification 의 결과

  

• 하지만 독립된 여러 Binary classification을 구현하기엔 복잡하다.

  

• 위의 식을 하나로 합쳐 보자 ⇒ matrix multiplication (행렬 곱셉)을 생각!

  

• Sigmoid 함수는?

SoftMax Function

• 벡터 행렬의 값이 0과 1 사이로 나오도록

• 분류 클래스의 총 개수를 k라고 할 때, k차원의 벡터를 입력받아 각 클래스에 대한 확률을 추정

  $S(y_i) = \frac {e^{y_i}} {\sum ^k _{j =1} e^{y_j}} \quad (1 \leq i \leq k)$

  

• 전체의 합이 1 → 각각의 $p$값을 확률로 볼 수 있음

  

• ONE-HOT ENCODING → 가장 큰 확률을 가진 것이 답 ⇒ 답을 1로 나머지는 0으로

  

Cross-entropy cost function

• $S(y)$는 softmax 함수 예측 값, $L$은 실제 값 ⇒ 2개 사이의 차이가 cost

• $D(S, L) = - \sum _i L_i log(S_i) = \sum _i (L _i) *(-log(S_i))$
  • $0 \leq (S_i) \leq 1$의 값을 가짐 → softmax 함수의 결과이기에