특이값분해

특이값분해(SVD)는 일반적인 행렬에 쓸 수 있는 방법이다.

definition

• 특이값이란?
  • 행렬 $A$의 특이값 분해한 행렬 $\Sigma$의 대각원소를 일컫는다. 이 값은 원래 행렬이 나타내는 선형변환이 벡터를 어느정도의 크기로 스케일(확대/축소)하는지 나타낸다.

Formula

$$\underset{n \times m}{A} = \underset{n \times n}{U} \underset{n \times m}{\Sigma} \underset{m \times m} {V^T}$$

• $U$, $V$ : orthogonal 행렬
• $\Sigma$: 특이값으로 이루어진대각행렬
• 이때, $\Sigma$의 정사각행렬이 아닐 수 있다
• sigma의 대각행렬의 원소들을 특이값이라고 한다.

A에 대해 수식적으로 정리하면 다음과 같다.

$$A = \underset{k=1}{\overset{rank(A)}{\Sigma}}{\sigma_k}{u_k}{v_k^T}$$

주의할 점은 이때, rank(A)번째 원소까지만 , $U$, $V$를 사용할수 있고, 특이값을 정의할 수 있다는 것이다.즉, A는 A의 rank만큼의 특이값을 지닌다고 이해할 수 있다.