기계학습에서 수학의 역할

• 확률 및 통계 가정 : 데이터 수집
• 선형대수 : 데이터 특징 공간과 가설의 역할
• 최적화 : 목적함수가 최소값이 되는 최적점 찾기
• 정보 이론 : 학습 과업에 적합한 목적함수 정의

1. 선형대수 Linear algebra

선형대수 개념

선형대수

• 데이터 분석에 필요한 배경 이해 제공
• 연산 장치 : 데이터를 숫자로 구성된 수(scalar), 벡터, 행렬, 텐서의 형태로 이해
• 데이터 특징 공간과 차원을 표현 및 변환(은닉층..?)
• 학습 연산 과정을 간단한 수식으로 서술

벡터 vector

• component 종류와 크기 표현(+방향)
• 놈 norm : 벡터의 크기 magnitude or 길이 length

행렬 matrix

• 여러 개의 벡터를 담음

전치행렬 transpose matrix

• 행의 요소와 열의 요소 전치
• 성질
  • $(\bold A^T)^T = \bold A$
  • $(\bold A + \bold B)^T = \bold A^T + \bold B^T$
  • $(\bold A\bold B)^T = \bold B^T \bold A^T$
  • $(k\bold A)^T = k\bold A^T$