[2024-2] 박경태 - deeplearning: Linear Algebra

https://www.deeplearningbook.org/contents/linear_algebra.html

https://www.deeplearningbook.org/contents/linear_algebra.html

 

1. 선형대수의 기초

선형대수의 핵심 개념은 다양한 수학적 객체의 정의와 이를 다루는 연산으로 구성됩니다. 이 절에서는 스칼라, 벡터, 행렬, 텐서와 같은 주요 개념을 설명하고 이들 간의 관계를 정리합니다.

1.1 스칼라 (Scalar)

• 스칼라는 하나의 숫자를 나타내며, 선형대수의 가장 기본적인 단위입니다.
• 일반적으로 이탤릭체 소문자로 표기하며, 실수 집합 \[
  s \in \mathbb{R}
  \]
  
  에 속하는 값을 사용합니다.  
  예: \( s \in \mathbb{R} \) (스칼라 \( s \)는 실수이다).
  
  

1.2 벡터 (Vector)

• 벡터는 순서가 있는 숫자의 배열로, 1차원 구조를 가집니다.
• 보통 굵은 소문자 (\(\mathbf{x}\))로 표기하며, 벡터의 각 요소는 \(x_1, x_2, \ldots, x_n\)으로 나타냅니다.  
  벡터는 공간에서 특정 점을 나타내거나 좌표를 정의하는 데 사용됩니다.  
  벡터는 열 벡터로 표현되며, 다음과 같은 형식을 가집니다:  
  \[
  \mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}
  \]
  ​​​

1.3 행렬 (Matrix)

• 행렬은 2차원 배열로, \(m \times n\) 크기의 숫자 배열로 정의됩니다.  
  대문자 (\(\mathbf{A}\))로 표기하며, 요소는 \(a_{i,j}\)로 나타냅니다 (\(i\)는 행, \(j\)는 열).  
  예: \(\mathbf{A} \in \mathbb{R}^{m \times n}\)  
  (행렬 \(\mathbf{A}\)는 \(m \times n\) 크기의 실수 행렬이다).

1.4 텐서 (Tensor)

• 텐서는 다차원 배열로, 행렬을 2차원 텐서로 볼 수 있으며, 이를 일반화한 구조입니다.  
  텐서는 일반적으로 기호 \(\mathcal{T}\)로 나타내며, 특정 차원에서의 좌표 \((i, j, k, \ldots)\)에 대해 값을 가집니다.

1.5 주요 연산: 전치 (Transpose)

• 행렬의 전치란 주대각선을 기준으로 행과 열을 뒤바꾸는 연산입니다.  
  \(\mathbf{A}^\top\)는 행렬 \(\mathbf{A}\)의 전치 행렬로 정의됩니다.  
  \[
  (\mathbf{A}^\top)_{i,j} = \mathbf{A}_{j,i}
  \]
  벡터의 전치 연산은 열 벡터를 행 벡터로 바꾸거나 그 반대로 수행합니다.

2. 행렬 연산 및 선형방정식

이 절에서는 행렬 연산의 정의와 성질을 정리하고, 이를 선형방정식의 해결에 어떻게 활용하는지 설명합니다.

2.1 행렬 곱셈

• 행렬 곱셈은 두 행렬 \(\mathbf{A}\)와 \(\mathbf{B}\)의 곱 \(\mathbf{C}\)를 계산하는 연산입니다.  
  \(\mathbf{A}\)가 \(m \times n\) 행렬이고, \(\mathbf{B}\)가 \(n \times p\) 행렬일 때, 곱셈의 결과인 \(\mathbf{C}\)는 \(m \times p\) 크기를 갖습니다.  
  각 요소 \(c_{i,j}\)는 다음과 같이 계산됩니다:  
  \[
  c_{i,j} = \sum_{k=1}^n a_{i,k} b_{k,j}
  \]
  행렬 곱셈은 교환법칙이 성립하지 않으며 (\(\mathbf{A}\mathbf{B} \neq \mathbf{B}\mathbf{A}\)), 결합법칙과 분배법칙은 성립합니다.

2.2 행렬 벡터 곱셈

• 행렬 \(\mathbf{A}\)와 벡터 \(\mathbf{x}\)의 곱은 벡터 \(\mathbf{b}\)로 나타내며, 다음과 같이 계산됩니다:  
  \[
  \mathbf{b} = \mathbf{A} \mathbf{x}, \quad b_i = \sum_{j=1}^n a_{i,j} x_j
  \]
  이는 선형방정식 \(\mathbf{A}\mathbf{x} = \mathbf{b}\)를 표현하는 간결한 방식으로 사용됩니다.

2.3 선형방정식의 해법

• 선형방정식 \(\mathbf{A}\mathbf{x} = \mathbf{b}\)의 해를 찾는 문제는 다음과 같이 나타낼 수 있습니다:  
  \[
  \mathbf{A} \in \mathbb{R}^{m \times n}: \text{ 계수 행렬}  
  \]  
  \[
  \mathbf{x} \in \mathbb{R}^n: \text{ 미지수 벡터}  
  \]  
  \[
  \mathbf{b} \in \mathbb{R}^m: \text{ 결과 벡터}  
  \]  
  방정식의 해는 \(\mathbf{x} = \mathbf{A}^{-1} \mathbf{b}\)로 표현되며, 여기서 \(\mathbf{A}^{-1}\)은 \(\mathbf{A}\)의 역행렬입니다.

2.4 역행렬의 존재 조건

• 역행렬 \(\mathbf{A}^{-1}\)이 존재하려면 다음 조건을 만족해야 합니다:  
  1. \(\mathbf{A}\)는 정사각행렬이어야 함 (\(m = n\)).  
  2. \(\mathbf{A}\)의 열 벡터가 선형 독립이어야 함.  
  3. \(\mathbf{A}\)의 행렬식이 0이 아니어야 함 (\(\det(\mathbf{A}) \neq 0\)).

2.5 행렬 연산의 응용

• 행렬 곱셈과 전치를 이용해 여러 수학적 문제를 간결하게 표현할 수 있습니다.  
  예를 들어, 선형회귀에서는 다음과 같이 \(\mathbf{w}\)를 계산합니다:  
  \[
  \mathbf{w} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
  \]  
  여기서 \(\mathbf{X}\)는 입력 데이터 행렬, \(\mathbf{y}\)는 결과 벡터입니다.

3. 행렬 분해 기법

행렬 분해는 대규모 계산을 단순화하고 행렬의 속성을 분석하는 데 유용합니다. 이 절에서는 고유값 분해와 특이값 분해를 중심으로 살펴봅니다.

3.1 고유값 분해 (Eigendecomposition)

고유값 분해는 정사각행렬 \(\mathbf{A}\)를 고유벡터와 고유값으로 분해하는 방법입니다.  
\(\mathbf{A}\)의 고유값 \(\lambda\)와 고유벡터 \(\mathbf{v}\)는 다음 관계를 만족합니다:  
\[
\mathbf{A}\mathbf{v} = \lambda \mathbf{v}
\]  
고유값과 고유벡터를 사용해 \(\mathbf{A}\)를 다음과 같이 표현할 수 있습니다:  
\[
\mathbf{A} = \mathbf{V} \Lambda \mathbf{V}^{-1}
\]  
여기서,  
\(\mathbf{V}\): 고유벡터로 구성된 행렬  
\(\Lambda\): 고유값을 대각선에 가진 대각행렬  
고유값 분해의 특징

• 실대칭 행렬은 항상 실수 고유값과 직교하는 고유벡터를 가집니다.
• 고유값 분해를 통해 행렬의 성질(예: 양의 정부호성)을 분석할 수 있습니다.

3.2 특이값 분해 (Singular Value Decomposition, SVD)

• 특이값 분해는 임의의 \(m \times n\) 행렬 \(\mathbf{A}\)를 세 행렬로 분해하는 방법입니다:  
  \[
  \mathbf{A} = \mathbf{U} \mathbf{D} \mathbf{V}^\top
  \]  
  여기서,  
  \(\mathbf{U}\): \(\mathbf{A}\mathbf{A}^\top\)의 고유벡터로 이루어진 \(m \times m\) 직교행렬  
  \(\mathbf{V}\): \(\mathbf{A}^\top\mathbf{A}\)의 고유벡터로 이루어진 \(n \times n\) 직교행렬  
  \(\mathbf{D}\): 특이값(고유값의 제곱근)을 대각선으로 가진 \(m \times n\) 대각행렬  

특이값 분해의 활용

1. 차원 축소: SVD를 통해 중요한 정보만 남기고 데이터의 차원을 줄일 수 있습니다.
2. 유사역행렬 (Moore-Penrose Pseudoinverse):
   • SVD를 이용해 비정사각행렬의 유사역행렬을 계산할 수 있습니다: \[ \mathbf{A}^+ = \mathbf{V} \mathbf{D}^+ \mathbf{U}^\top \] 여기서 \(\mathbf{D}^+\)는 \(\mathbf{D}\)의 대각선 원소의 역수를 취한 대각행렬입니다.
3. 선형 방정식 근사: 방정식 \(\mathbf{A}\mathbf{x} = \mathbf{b}\)가 해를 가지지 않을 때, SVD를 이용해 최소 제곱해를 구할 수 있습니다: \[ \mathbf{x} = \mathbf{A}^+ \mathbf{b} \]

3.3 고유값 분해와 SVD의 차이점

• 고유값 분해는 정사각행렬에서만 가능하지만, SVD는 모든 행렬에 대해 적용 가능합니다.
• SVD는 고유값 분해보다 더 일반적인 분해 방법으로, 대규모 데이터 분석에 널리 활용됩니다.

4. 벡터 및 행렬의 크기와 특성

벡터와 행렬의 크기를 측정하고, 이들의 특성을 이해하는 것은 선형대수에서 매우 중요합니다. 이 절에서는 노름(Norm), 대각합(Trace), 그리고 행렬식(Determinant)의 정의와 활용을 살펴봅니다.

4.1 벡터 노름 (Norm)

• • 노름은 벡터의 크기(또는 길이)를 측정하는 함수입니다.  
    일반적인 \(L_p\) 노름은 다음과 같이 정의됩니다:  
    \[
    \|\mathbf{x}\|_p = \left( \sum_{i} |x_i|^p \right)^{1/p}, \quad p \geq 1
    \]
    
    주요 노름:   
    - \(L_1\) 노름: 벡터 요소의 절댓값 합  
    \[
    \|\mathbf{x}\|_1 = \sum_i |x_i|
    \]  
    
    - \(L_2\) 노름: 유클리드 거리로, 가장 흔히 사용됨  
    \[
    \|\mathbf{x}\|_2 = \sqrt{\sum_i x_i^2}
    \]  
    
    - \(L_\infty\) 노름: 벡터 요소 중 절댓값이 가장 큰 값  
    \[
    \|\mathbf{x}\|_\infty = \max_i |x_i|
    \]

4.2 행렬 노름

• 행렬의 크기를 측정할 때 자주 사용하는 방법은 프로베니우스 노름입니다:  
  \[
  \|\mathbf{A}\|_F = \sqrt{\sum_{i,j} a_{i,j}^2}
  \]  
  이는 벡터 \(L_2\) 노름을 행렬로 확장한 형태로 볼 수 있습니다.

4.3 대각합 (Trace)

• • 대각합은 행렬의 대각선 원소들의 합으로 정의됩니다:  
    \[
    \text{Tr}(\mathbf{A}) = \sum_i a_{i,i}
    \]
    
    주요 성질:   
    1. \(\text{Tr}(\mathbf{A} + \mathbf{B}) = \text{Tr}(\mathbf{A}) + \text{Tr}(\mathbf{B})\)  
    2. \(\text{Tr}(\mathbf{A}\mathbf{B}) = \text{Tr}(\mathbf{B}\mathbf{A})\)

4.4 행렬식 (Determinant)

• 행렬식은 정사각행렬에서 공간의 확장 또는 축소 비율을 나타내는 스칼라 값입니다.  
  \(\det(\mathbf{A})\)는 다음과 같은 특징을 가집니다:  
  - \(\det(\mathbf{A}) = 0\): 행렬 \(\mathbf{A}\)가 가역성이 없음을 의미.  
  - \(|\det(\mathbf{A})|\): 행렬 변환이 공간을 얼마나 압축하거나 확장하는지를 나타냄.  
  
  행렬식 계산 예시 (\(2 \times 2\) 행렬):  
  \[
  \mathbf{A} = \begin{bmatrix} a & b \\ c & d \end{bmatrix}, \quad \det(\mathbf{A}) = ad - bc
  \]

5. 응용 예시: 주성분 분석 (PCA)

주성분 분석(PCA)은 차원 축소 및 데이터 압축을 위한 기법으로, 선형대수의 개념을 활용하여 데이터의 주요 특징을 추출합니다. 이 절에서는 PCA의 정의와 작동 방식을 설명합니다.

5.1 PCA의 목적

• PCA는 고차원 데이터를 저차원으로 변환하면서 중요한 정보를 최대한 보존하는 기법입니다.
• 주로 데이터의 분산을 최대화하는 방향(주성분)을 찾는 데 사용됩니다.

5.2 기본 아이디어

1. • 데이터 중심화:  
     데이터 집합 \(\{ \mathbf{x}^{(1)}, \mathbf{x}^{(2)}, \ldots, \mathbf{x}^{(m)} \}\)에서 평균을 제거합니다:  
     \[
     \mathbf{\tilde{x}}^{(i)} = \mathbf{x}^{(i)} - \mu, \quad \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{x}^{(i)}
     \]
     
     공분산 행렬 계산:   
     중심화된 데이터를 사용해 공분산 행렬 \(\mathbf{C}\)를 계산합니다:  
     \[
     \mathbf{C} = \frac{1}{m} \sum_{i=1}^m \mathbf{\tilde{x}}^{(i)} \mathbf{\tilde{x}}^{(i)\top}
     \]
     
     고유값 분해:   
     공분산 행렬 \(\mathbf{C}\)의 고유값과 고유벡터를 계산합니다:  
     \[
     \mathbf{C} = \mathbf{V} \Lambda \mathbf{V}^\top
     \]  
     여기서 \(\Lambda\)는 고유값의 대각행렬, \(\mathbf{V}\)는 고유벡터 행렬입니다.
     
     주성분 선택:  
     가장 큰 고유값에 대응하는 고유벡터를 선택하여 데이터의 주요 축을 정의합니다.  
     \(k\)-차원으로 축소하려면, 상위 \(k\)개의 고유벡터를 선택해 행렬 \(\mathbf{W}\)를 만듭니다.
     
     데이터 변환:   
     원본 데이터를 저차원 공간으로 투영합니다:  
     \[
     \mathbf{z} = \mathbf{W}^\top \mathbf{\tilde{x}}
     \]

5.3 PCA의 특징

• 분산 최대화: 선택된 주성분은 데이터의 분산을 가장 잘 설명하는 축입니다.
• 차원 축소: PCA는 차원을 줄이면서도 데이터의 주요 구조를 유지합니다.
• 선형 변환: PCA는 선형대수적 변환을 기반으로 동작하며, 비선형적 데이터 구조를 모델링하지 못할 수 있습니다.

5.4 PCA의 응용

• 데이터 시각화:
  • 고차원 데이터를 2차원 또는 3차원으로 축소해 시각화에 활용합니다.
• 특징 추출:
  • 머신러닝에서 중요한 특징을 선택하는 데 사용됩니다.
• 노이즈 제거:
  • 주요 성분만 남겨 데이터에서 노이즈를 제거하는 데 유용합니다.

5.5 사례: 2D 데이터의 PCA

1. m=5m = 5m=5개의 데이터 포인트가 주어졌다고 가정합니다.
2. 데이터를 중심화하고 공분산 행렬을 계산합니다.
3. 공분산 행렬의 고유값과 고유벡터를 구합니다.
4. 가장 큰 고유값에 대응하는 고유벡터를 사용해 데이터를 새로운 축으로 투영합니다.