혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 5강

혁펜하임의 선형대수학 강의는 “선형대수학을 눈으로 보이게” 만드는 것을 목표로 한, 총 40강짜리 시각 중심 강의 시리즈입니다. 선형대수의 기본 개념부터 고급 분해 기법과 응용까지 차근차근 다루고 있어, 공대/컴공 전공자뿐 아니라 머신러닝·데이터사이언스를 공부하는 학습자에게 최적의 커리큘럼이라 할 수 있습니다.

 

전체 강의 소개는 아래 포스팅을 참고하세요.

 

혁펜하임의 "보이는" 선형대수학 (Linear Algebra)

 

 

[선대] 5-1강. 고윳값 & 고유 벡터 (eigenvalue & eigenvector) 쉬운 설명

5-1강에서는 고윳값(eigenvalue)과 고유벡터(eigenvector)의 정의와 기하학적 의미를 직관적으로 설명합니다. 행렬 A를 선형변환으로 볼 때, 어떤 벡터 v는 방향은 그대로 두고 크기만 λ배 하는 특수한 벡터가 존재할 수 있으며, 이때 λ를 고윳값, v를 고유벡터라고 합니다.​​

즉 고유벡터는 선형변환이 “찌그러뜨리거나 늘리기는 해도 방향은 바꾸지 않는” 축 방향이고, 고윳값은 그 축 방향으로 얼마나 스케일하는지를 나타내는 값입니다. 강의에서는 2차원 예제를 시각화해서, 어떤 행렬은 특정 두 방향만 그대로 유지하면서 늘어나거나 줄어드는 모습을 보여 줍니다.​​

 

 

 

[선대] 5-2강. 고윳값 분해 (Eigendecomposition) 의 모든 것!

5-2강에서는 고윳값 분해가 무엇이고, 행렬을 어떻게 “고유축 좌표계”로 분해하는지 설명합니다. 대각화가 가능한 행렬 A는 A=VΛV −1  형태로 쓸 수 있으며, 여기서 V는 고유벡터들을 열벡터로 모은 행렬, Λ는 대각선에 고윳값이 들어간 대각행렬입니다.​

이 분해는 복잡한 선형변환을 “고유벡터 좌표계로 가서 대각행렬로 간단하게 스케일만 하고 다시 돌아오는 과정”으로 이해할 수 있습니다. 이를 통해 반복 제곱, 지수행렬, 선형미분방정식 해석, 공분산 행렬 분석 등 다양한 문제를 훨씬 단순화할 수 있다는 점을 강조합니다.​

 

 

 

[선대] 5-3강. 고윳값 분해 (Eigendecomposition) 연습 문제 풀이! (6 문제)

5-3강에서는 6개의 예제를 통해 실제로 고윳값과 고유벡터를 구하고, 가능한 경우에는 고윳값 분해까지 수행하는 연습을 합니다. 예제마다 특성방정식 det(A−λI)=0을 세우고, 고윳값을 구한 뒤 해당 λ에 대해 (A−λI)v=0을 풀어 고유벡터를 찾는 절차를 반복합니다.​​

이 과정을 통해 “어떤 행렬은 서로 다른 고윳값을 가져서 쉽게 대각화되지만, 어떤 행렬은 고유벡터가 부족해 완전한 고윳값 분해가 안 되는 경우도 있다”는 점을 체감할 수 있습니다. 또한 대칭행렬의 경우 항상 서로 직교하는 고유벡터 집합을 얻을 수 있어, 이후 PCA·MUSIC 등에서 특히 다루기 좋다는 점도 짚어 줍니다.​

 

 

 

[선대] 5-4강. 주성분 분석 (PCA: Principal Component Analysis) 의 모든 것! | 고윳값 분해의 응용 1

5-4강에서는 PCA(Principal Component Analysis)를 “데이터의 분산을 가장 잘 설명하는 축을 찾는 방법”으로 소개합니다. 여러 차원의 데이터를 공분산 행렬로 요약하고, 그 공분산 행렬의 고윳값·고유벡터를 이용해 데이터가 가장 많이 퍼져 있는 방향(주성분)을 찾는 것이 핵심 아이디어입니다.​

가장 큰 고윳값에 대응하는 고유벡터가 1주성분이 되고, 그 다음이 2주성분이 되는 식으로, 상위 몇 개의 주성분만 사용해 차원을 줄이면서도 데이터의 정보(분산)를 최대한 보존합니다. 강의에서는 얼굴 인식 예시와 함께, PCA가 차원 축소뿐 아니라 잡음 제거, 특징 추출, 압축에도 쓰인다는 점을 설명하고, 오토인코더와 비교해 해석적인 선형 방법이라는 특징을 강조합니다.​

 

 

 

[선대] 5-5강. 주성분 분석 (PCA) 연습 문제 풀이!

5-5강은 PCA를 실제 데이터 예제에 적용하는 과정을 단계별로 연습하는 강의입니다. 구체적으로 평균 제거(센터링) → 공분산 행렬 계산 → 고윳값·고유벡터 계산 → 가장 큰 고윳값에 해당하는 고유벡터를 주성분으로 선택 → 데이터 투영 순서로 진행합니다.​​

예제를 통해 “어떤 축으로 투영해야 분산이 최대가 되는지”를 수식이 아니라 숫자와 그림으로 확인하면서, PCA가 단순히 암기해야 하는 공식이 아니라 “variance 최대화” 문제의 해라는 점을 직관적으로 이해할 수 있습니다. 또한 몇 개의 주성분을 선택할지 결정할 때 누적 분산 설명률을 참고하는 실무적인 기준도 함께 소개합니다.​

 

 

 

[선대] 5-6강. MUSIC (MUltiple SIgnal Classification) | 고윳값 분해의 응용 2

5-6강에서는 고윳값 분해를 이용한 신호 처리 기법인 MUSIC 알고리즘을 소개합니다. 관측된 신호의 공분산 행렬을 고윳값 분해하면, 큰 고윳값에 대응하는 고유벡터들이 신호 서브스페이스를, 작은 고윳값에 대응하는 고유벡터들이 잡음 서브스페이스를 형성합니다.​​

MUSIC은 이 잡음 서브스페이스와 신호 모델 사이의 직교 관계를 이용해, 여러 개의 주파수나 도착각을 고해상도로 추정하는 알고리즘입니다. 이를 통해 고윳값 분해가 추상적인 선형대수 개념을 넘어, 실제 안테나 배열·레이더·통신 시스템에서 활용되는 강력한 도구라는 점을 보여 줍니다.​​

 

 

 

[선대] 5-7강. 고윳값 분해는 역 푸리에 변환이다!

5-7강에서는 고윳값 분해와 푸리에 변환 사이의 유사성을 “기저로의 전개”라는 관점에서 설명합니다. 푸리에 변환이 신호를 사인·코사인 기저(주파수 기저) 위로 전개해서 각 주파수 성분의 계수를 구하는 것이라면, 고윳값 분해는 행렬이 정의한 공간을 그 행렬의 고유벡터 기저 위로 전개하는 과정으로 볼 수 있습니다.​​

이 관점에서 보면, 고유벡터는 해당 선형연산에 가장 잘 맞는 “자연스러운 basis”이고, 고윳값은 그 basis 방향에서의 스케일 팩터 역할을 합니다. 강의에서는 이런 유비를 통해, PCA·MUSIC·푸리에 분석 등 서로 다른 분야의 기법들이 결국 “알맞은 기저를 찾아서 성분을 분해하는 작업”이라는 큰 그림 위에 놓인다는 점을 강조합니다.

 

 

 

 

[AI 인공지능 머신러닝 딥러닝/인공지능 수학] - 혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 6강

혁펜하임의 "보이는" 선형대수학 (Linear Algebra) 6강