혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 6강

혁펜하임의 선형대수학 강의는 “선형대수학을 눈으로 보이게” 만드는 것을 목표로 한, 총 40강짜리 시각 중심 강의 시리즈입니다. 선형대수의 기본 개념부터 고급 분해 기법과 응용까지 차근차근 다루고 있어, 공대/컴공 전공자뿐 아니라 머신러닝·데이터사이언스를 공부하는 학습자에게 최적의 커리큘럼이라 할 수 있습니다.

 

전체 강의 소개는 아래 포스팅을 참고하세요.

 

혁펜하임의 "보이는" 선형대수학 (Linear Algebra)

 

 

 

[선대] 6-1강. 특이값 분해 (SVD: Singular Value Decomposition) 의 모든 것!

6-1강에서는 모든 m×n 행렬을 A=UΣV T  형태로 분해하는 특이값 분해(SVD)를 소개합니다. 여기서 U와 V는 직교행렬, Σ는 대각에 특이값이 놓인 행렬로, 행렬이 어떤 직교 기저를 따라 얼마나 늘리고 줄이는지를 보여 주는 분해입니다.​​

핵심 아이디어는 A T A 또는 AA T 의 고윳값 분해로부터 특이값(고윳값의 제곱근)과 좌·우 특이벡터를 얻는다는 점입니다. 이때 0이 아닌 특이값의 개수는 행렬의 rank와 같으며, SVD는 정방행렬이 아니어도 항상 존재하기 때문에 “고윳값 분해의 한계를 극복한 일반화된 분해”로 볼 수 있습니다.​

 

 

[선대] 6-2강. 특이값 분해 (SVD) 연습 문제 풀이! (3 문제)

6-2강은 세 개의 예제를 통해 실제로 SVD를 계산하는 연습을 하는 강의입니다. 각 문제에서 먼저 A T A 또는 AA T 의 고윳값과 정규직교 고유벡터를 구하고, 이를 이용해 Σ, U, V를 채워 넣는 절차를 반복합니다.​​

이를 통해 이론에서 본 “모든 행렬은 직교행렬 × 대각행렬 × 직교행렬 전치”라는 문장을 실제 숫자 예제로 확인할 수 있습니다. 또한 작은 특이값을 잘라내어 rank를 낮춘 근사 행렬을 만드는 방법도 함께 연습하면서, 이후 데이터 압축·잡음 제거와의 연결 고리를 준비합니다.​

 

 

[선대] 6-3강. SVD의 응용: data 압축과 PCA (차원 축소)

6-3강에서는 SVD를 이용해 데이터를 압축하고, PCA와 연결해 차원 축소에 활용하는 방법을 다룹니다. 특이값이 큰 순서대로 상위 몇 개만 남기고 나머지를 0으로 만드는 저랭크 근사 A≈U k Σ k V kT 를 사용하면, 원본 행렬의 정보를 대부분 유지하면서도 필요한 저장 용량을 크게 줄일 수 있습니다.​​

이미지나 데이터 행렬에 대해 특이값을 일부만 사용했을 때 화질·정보가 어떻게 변하는지 실험 결과를 통해 보여 주면서, “특이값이 크다는 것은 그 방향 성분이 중요하다”는 직관을 제공합니다. 또한 공분산 행렬의 SVD가 PCA와 사실상 동치라는 점을 짚으면서, SVD가 PCA의 계산 도구로 널리 사용된다는 점도 함께 설명합니다.​​

 

 

[선대] 6-4강. 의사역행렬 (Pseudo inverse)

6-4강에서는 정사각행렬이 아니거나 역행렬이 존재하지 않는 행렬에 대해 “역행렬과 비슷한 역할”을 하는 의사역행렬 A + 을 소개합니다. 특히 최소자승 해를 일반적으로 표현할 때 x ∗ =A + b 형태로 쓸 수 있어, 과적정 시스템에서의 해를 깔끔하게 정리할 수 있습니다.​​

full column rank, full row rank, rank-deficient인 경우를 나누어, A + =(A T A) −1 A T , A+=AT(AAT)−1  같은 형태가 언제 성립하는지 설명합니다. 더 일반적인 경우에는 SVD A=UΣV T 에서 0이 아닌 특이값만 뒤집어 Σ + 를 만든 뒤 A + =VΣ + U T 로 정의할 수 있으며, 이것이 무어–펜로즈 의사역행렬의 표준적인 구성 방법입니다.

 

 

[AI 인공지능 머신러닝 딥러닝/인공지능 수학] - 혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 7강

혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 7강