혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 3강

혁펜하임의 선형대수학 강의는 “선형대수학을 눈으로 보이게” 만드는 것을 목표로 한, 총 40강짜리 시각 중심 강의 시리즈입니다. 선형대수의 기본 개념부터 고급 분해 기법과 응용까지 차근차근 다루고 있어, 공대/컴공 전공자뿐 아니라 머신러닝·데이터사이언스를 공부하는 학습자에게 최적의 커리큘럼이라 할 수 있습니다.

 

전체 강의 소개는 아래 포스팅을 참고하세요.

 

혁펜하임의 "보이는" 선형대수학 (Linear Algebra)

 

 

 

[선대] 3-1강. 가우스-조던 소거법 (Gauss-Jordan Elimination)

3-1강에서는 연립일차방정식 Ax=b의 해를 체계적으로 구하는 가우스-조던 소거법을 다룹니다. 기존에 식을 하나씩 더하고 빼던 방식을, 계수행렬과 상수항을 하나로 묶은 “확장 행렬(증강 행렬)” 위에서 행 연산으로 수행하는 알고리즘으로 정리하는 것이 핵심입니다.​​

가우스-조던 소거법의 목표는 확장 행렬의 왼쪽 계수 부분을 항등행렬 형태로 만드는 것입니다. 이때 오른쪽 열벡터가 바로 연립일차방정식의 해가 되며, 행 교환·배·더하기 같은 기본 행 연산으로 이 과정을 순서 있게 진행합니다.

 

 

 

[선대] 3-2강. 역행렬에 대한 모든 것!

3-2강에서는 역행렬의 의미, 존재 조건, 그리고 실제 계산 방법을 정리합니다. 역행렬은 A −1 A=I를 만족하여, 행렬 A가 수행한 선형 변환을 완전히 되돌리는 행렬이며, 이때 Ax=b의 해를 x=A −1 b로 간단히 표현할 수 있습니다.​​

특히 2×2 행렬의 역행렬 공식을 “외워서 쓰는 것”이 아니라, 가우스-조던 소거법으로부터 직접 유도해 보는 과정을 통해 왜 분모에 행렬식이 등장하는지 직관을 제공합니다. 이어서 역행렬이 존재하려면 행렬식이 0이 아니어야 하며, 이것이 rank, Null space, 선형 독립, invertible 조건들과 서로 동치라는 점도 함께 정리합니다.​

 

 

[선대] 3-3강. 행렬식(determinant)에 대한 모든 것!

3-3강에서는 행렬식이 무엇을 의미하고, 어떻게 계산하며, 어떤 성질을 가지는지 “property 위주”로 정리합니다. 2×2, 3×3 행렬식 공식뿐 아니라, 행 연산에 따라 행렬식이 어떻게 변하는지를 통해 큰 행렬의 행렬식을 효율적으로 계산하는 방법을 소개합니다.​​

행렬식은 기하학적으로는 선형 변환이 부피(또는 면적)를 얼마나 스케일하는지를 나타내는 값으로, 0이면 공간을 낮은 차원으로 눌러버려서 역행렬이 존재하지 않는 상황을 의미합니다. 또한 det(AB)=det(A)det(B), det(A T )=det(A), det(A −1 )=1/det(A) 같은 핵심 성질이 이후 고윳값, 분해, 역행렬 여부 판단에 반복해서 사용된다는 점을 강조합니다.​​

 

 

 

[선대] 3-4강. trace 쉬운 설명

3-4강에서는 trace가 “정사각행렬의 대각 성분을 모두 더한 값”이라는 간단한 정의를 출발점으로 합니다. 표기법은 tr(A)이며, 한 줄로 쓰면 대각 원소들의 합이라는 아주 단순한 스칼라 값입니다.​​

하지만 trace는 단순 합 이상으로, 행렬 미분·최적화에서 식을 간단하게 정리하는 도구로 많이 사용됩니다. tr(A+B)=tr(A)+tr(B), 
tr(cA)=ctr(A), tr(A T )=tr(A), 그리고 tr(AB)=tr(BA) 같은 성질 덕분에, 복잡한 행렬식을 스칼라 형태의 trace로 바꿔서 다루기 쉬운 형태로 만드는 데 유용합니다.​

 

 

[선대] 3-5강. 최소자승법 & 정사영 행렬 (Least squares & Projection matrix)

3-5강에서는 “정확한 해가 존재하지 않는” 과적정(Overdetermined) 연립일차방정식에서 최선의 근사 해를 구하는 최소자승법을 다룹니다. Ax=b의 정확한 해가 없을 때, Ax와 b 사이의 거리(노름)를 최소화하는 x를 찾는 문제가 최소자승 문제입니다.​​

핵심 아이디어는 b를 A의 column space 위로 정사영(projection)한 벡터가 최적 근사 Ax가 된다는 점이며, 이때 정사영 조건을 풀어 쓰면 A T Ax=A T b라는 normal equation이 나옵니다. 여기서 등장하는 P=A(A T A) −1 A T 가 정사영 행렬로, 이 행렬을 b에 곱하면 column space 위의 정사영 벡터를 돌려주며, 이 과정이 통계학·회귀분석·머신러닝의 선형회귀와 직접 연결됩니다.​​

 

 

 

[AI 인공지능 머신러닝 딥러닝/인공지능 수학] - 혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 4강

혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 4강