[선형대수학] 직교 행렬과 대칭 행렬

1. 전치(Transpose)

\(A\)의 행들이 \(A^T\)의 열들이 되는 것을 \(A\)의 전치라고 합니다.

따라서 \(A\)가  \(m \times n\) 행렬이라면, \(A^T\)은 \(n \times m\) 행렬이 됩니다.
간단한 예로 아래삼각 행렬의 전치는 위삼각 행렬이 됩니다.

전치의 중요한 성질은 다음과 같습니다:

• \(\left( {AB} \right)^T  = B^T A^T\)
• \(\left( {A^{ - 1} } \right)^T  = \left( {A^T } \right)^{ - 1}\)

이제 전치의 성질을 기반으로 필수적으로 알아야 되는 직교 행렬과 대칭 행렬을 살펴보겠습니다.

 

2. 직교 행렬(Orthogonal matrix)

2.1. 직교 행렬이란?

직교 행렬은 전치 행렬이 자기 자신의 역행렬과 같은 행렬을 의미합니다.

즉, \(A^T  = A^{ - 1}\) 조건을 만족하는 행렬입니다.

이 조건을 만족하려면 \(A\) 행렬은 정사각행렬(Square matrix)이고 \(A^T A = I\)입니다.

이러한 직교 행렬의 성질 덕분에 직교 행렬의 역행렬은 계산하기 매우 간단하다.

직교 행렬에 대한 예시로 \(\theta\)만큼 회전 시키는 회전변환 행렬을 통해 들어보겠습니다:

\(Q = \left[ {\begin{array}{*{20}c}
   {\cos \theta } & { - \sin \theta }  \\
   {\sin \theta } & {\cos \theta }  \\
\end{array}} \right]\), \(Q^T  = \left[ {\begin{array}{*{20}c}
   {\cos \theta } & {\sin \theta }  \\
   { - \sin \theta } & {\cos \theta }  \\
\end{array}} \right]\)

\(Q^T Q = \left[ {\begin{array}{*{20}c}
   1 & 0  \\
   0 & 1  \\
\end{array}} \right] = I\)

 

2.2. 정규직교벡터(Orthonormal vector)와 정규직교행렬(Orthonormal matrix)

정규직교벡터란 직교 벡터(Orthogonal vector)이면서 크기(또는 길이)가 1인 단위 벡터(Unit vector)인 벡터를 말한다.

이러한 정규직교벡터들을 열 벡터로 구성하면 정규직교행렬 \(Q\)가 된다.

즉, \(q_i^T q_j  = \left\{ {\begin{array}{*{20}c}
   {0,\,i \ne j}  \\
   {1,\,i = j}  \\
\end{array}} \right.\)
참고로 모든 직교행렬은 정규직교행렬이므로 둘은 같은 개념입니다. 

직교행렬 \(Q\)는 크기가 1인 복소수 \(e^{i\theta }\)와 같다.

우리는 모든 복소수를 극좌표 \(re^{i\theta }\) 형태로 쓸 수 있습니다.

따라서 모든 정사각행렬 \(A\)는 극좌표 형태 \(A = SQ\)로 쓸 수 있다. 여기서 \(S\)는 대칭 행렬입니다.

 

2.3.치환 행렬(Permutation matrix)

치환 행렬은 단위행렬의 행을 재배열하여 행렬의 행 또는 열을 서로 교환하는(즉, 치환하는) 직교 행렬입니다.

예시:

\(P = \left[ {\begin{array}{*{20}c}
   0 & 1 & 0  \\
   0 & 0 & 1  \\
   1 & 0 & 0  \\
\end{array}} \right]\), \(P^T  = \left[ {\begin{array}{*{20}c}
   0 & 0 & 1  \\
   1 & 0 & 0  \\
   0 & 1 & 0  \\
\end{array}} \right]\)
이러한 치환 행렬은 행렬 기본 연산인 row exchange에 적용됩니다.

 

3. 대칭 행렬(Symmetric matrix)

3.1 대칭 행렬(Symmetric matrix)이란?

대칭 행렬은 전치행렬이 자기 자신과 같은 행렬을 의미합니다.

즉, \(A^T  = A\) 조건을 만족하는 행렬입니다.

이 조건을 만족하려면 \(A\) 행렬은 정사각행렬(Square matrix)이고 \(a_{ij}  = a_{ji}\)입니다.

만약 행렬 \(A\)가 \(m \times n\) 직사각형 행렬이라면 자신의 전치 행렬과의 곱인 \(S = A^T A\)은 \(n \times n\)인 정사각행렬이되며 여기서 \(S \)는 항상 대칭 행렬이 됩니다.

 

3.2 대칭 행렬의 중요 성질

이러한 대칭 행렬의 가장 큰 장점은 고유값과 고유벡터에서 나오며 대칭 행렬의 중요한 성질 3가지를 살펴 보겠습니다.

성질 ①: 일반적인 행렬은 고유값이 복소수일 수 있지만, 대칭 행렬은 항상 실수(Real) 고유값만 가집니다.

성질 ②: 게다가 서로 다른 고유값에 대응하는 고유벡터들은 서로 직교(Orthogonal)합니다.

만약 \(A\)가 대칭 행렬이고 서로 다른 두 고유값 \(\lambda _1\), \(\lambda _2\)를 갖는다면, 그에 대응하는 고유벡터 \(v_1\), \(v_2\)는 항상 직교합니다.

즉, \(Av_1  = \lambda _1 v_1\), \(Av_2  = \lambda _2 v_2\)라고 하면, \(v_1 ^T v_2  = v_2 ^T v_1  = 0\)를 만족합니다(두 벡터가 직교하므로 두 벡터간 내적은 0이 된다).
성질 ③: 그러므로 대칭 행렬은 항상 직교 행렬로 대각화가 가능합니다.

\(A = Q\Lambda Q^T\)

여기서, \(Q\)는 고유벡터들을 열 벡터로 가지는 직교 행렬이고 \(\Lambda\)는 고유값들을 주대각선에 가지는 대각 행렬입니다.

이 성질 덕분에 대칭 행렬은 수치적으로 안정적인 대각화가 가능하며, 특히 주성분 분석(Principal Component Analysis, PCA) 또는 특이값 분해(Singular Value decomposition, SVD) 같은 기법에서 활용됩니다.

 

3.3 대칭 행렬 응용: 차이 행렬(Difference matrix)

차이 행렬은 선형대수에서 미분을 근사화하는 데 사용됩니다.

예시로 후방 차분 행렬(Backward difference matrix)과 전방 차분 행렬(Forward difference matrix)을 이용하면 함수의 도함수를 근사할 수 있습니다.

• Backward difference: \(\frac{{\Delta v}}{{\Delta x}} = \frac{{v\left( x \right) - v\left( {x - \Delta x} \right)}}{{\Delta x}}\)
• Forward difference: \(\frac{{\Delta v}}{{\Delta x}} = \frac{{v\left( {x + \Delta x} \right) - v\left( x \right)}}{{\Delta x}}\)

이는 \(\mathop {\lim }\limits_{\Delta x \to 0} \frac{{\Delta v}}{{\Delta x}} = \frac{{dv}}{{dx}}\)을 의미합니다.
만약 \(A\)를 후방 차분 행렬이라 하면 \(A\)는 \(n + 1\)행과 \(n\)열을 가지며, 전방 차분 행렬은 \( - A^T\)로 표현할 수 있으며, \(n\)행과 \(n+1\)열을 가집니다. 두 행렬은 모두 비대칭(asymmetric) 행렬입니다.

이러한 비대칭 행렬은 수치적으로 불안정할 수 있으며, 반복적으로 사용할 경우 오차가 크게 증폭될 수 있습니다.

하지만, 후방 차분 행렬과 전방 차분 행렬을 결합한 이계 차분 행렬 \(S = A^T A\)는 대칭 행렬이 되므로 수치적 안정을 보장할 수 있습니다. 여기서, 수치적으로 안정적(Numerically stable)은 작은 오차(예: 부동 소수점 연산 오류, 근사값 등)에도 결과가 크게 변하지 않으며, 계산 과정에서 오차가 쉽게 증폭되지 않음을 의미합니다.

만약 \(n = 3\)일 때를 예로 들면:

• Backward difference: \(A = \left[ {\begin{array}{*{20}c}
     1 & 0 & 0  \\
     { - 1} & 1 & 0  \\
     0 & { - 1} & 1  \\
     0 & 0 & { - 1}  \\
  \end{array}} \right],\,Av = \left[ {\begin{array}{*{20}c}
     {v_1 }  \\
     {v_2  - v_1 }  \\
     {v_3  - v_2 }  \\
     { - v_3 }  \\
  \end{array}} \right]\)
• Forward difference: \(A^T  = \left[ {\begin{array}{*{20}c}
     1 & { - 1} & 0 & 0  \\
     0 & 1 & { - 1} & 0  \\
     0 & 0 & 1 & { - 1}  \\
  \end{array}} \right]\)
• Second difference: \(S = \left[ {\begin{array}{*{20}c}
     2 & { - 1} & 0  \\
     { - 1} & 2 & { - 1}  \\
     0 & { - 1} & 2  \\
  \end{array}} \right],\,Sv = \left[ {\begin{array}{*{20}c}
     {2v_1  - v_2 }  \\
     { - v_1  + 2v_2  - v_3 }  \\
     { - v_2  + 2v_3 }  \\
  \end{array}} \right]\)

3.4 대칭 행렬의 응용 및 중요성 요약

• 데이터 압축 및 차원 축소: PCA에서 공분산 행렬(Covariance matrix)은 대칭 행렬이며, 고유값 분해를 통해 차원 축소가 가능하다.
• 믈리학 및 공학에서의 안정성 분석: 진동 분석(Structural vibration)에서 질량-강성 행렬이 대칭 행렬이므로, 고유값(진동수), 고유벡터(모드 형상) 해석에 활용됨.
• 그래프 이론 및 네트워크 분석: 인접 행렬(Adjacency matrix)이 대칭 행렬이면, 고유값이 네트워크 구조의 특성을 결정하는 데 활용됨.
• 질(Quality)이 보장되는 수치 해석: 대칭행렬의 고유값 문제는 수치적으로 안정적이므로, 과학 및 공학 계산에서 중요한 역할을 함.

4. 대칭인 동시에 직교인 행렬: 하다마드 또는 아다마르 행렬(Hadamard matrix)