Page :

학습 페이지

알고리즘

1. kNN (k-nearest neighbors) 최근접 이웃 알고리즘

• 액션인지 로맨스인지 헷갈리는 어떠한 장르가 있을 때, k(홀수)개의 값을 반경 내로 가지고 있는 원을 그려서 경향성을 비교하는 것

2. 의사결정트리 (Decision Tree)

• data들을 split 하면서 entropy가 점점 줄어든다

  ⇒ extract training data -> build a decision Tree

ex) 겨울가족사진을 찾고 싶다! 7개의 아닌사진, 1개의 겨울가족사진 → Entropy([1+,7-]) = -(8분의 1)*log(8분의1) - (8분의7)*log(8분의7)

• 2-1. information gain(base entropy - new entropy)

  [기존 어질러진 개수 - 처리 이후에 어질러진 개수] = [질서적인 것들 = information gain)

  → information gain 값이 높을수록 더 효율적임

ex) attribute = cartoon ⇒ (원래 엔트로피 - ((전체 중 cartoon 확률 * E([0+,4-])-(전체 중 cartoon 아닌것 확률 )*E([1+,3-]) ) )

3. 나이브베이스 이론(Naive Bayes)

• [기본 이론 - 조건부 확률]

probability(조건부확률)

case 1 - 서로 상관없을 경우 >> P(AnB) = P(A)*P(B)

case 2 - 서로 영향끼치는 경우 >> P(Anb) = P(A)P(B|A) = P(A)(P(AnB)/P(B))