꽂히는 딥러닝 | 5강 벡터·행렬·복소수 미분을, 실제 최적화 문제에 바로 쓸 수 있는 형태로 정리

전체 강의 보기

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 전체 강의 소개

꽂히는 딥러닝 | 전체 강의 소개

 

 

 

 

 

 

꽂히는 딥러닝

 

 

5장(5-1~5-3)은 “딥러닝 수식의 바닥”이 되는 벡터·행렬·복소수 미분을, 실제 최적화 문제에 바로 쓸 수 있는 형태로 정리해 주는 구간입니다. 이 파트만 잘 잡아 두면, 역전파 공식이나 헤시안, 복소수 기반 최적화 논문을 볼 때 수학이 훨씬 덜 버겁게 느껴지게 됩니다.

 

 

 

5-1강. 스칼라를 벡터로 미분입니다

5-1강은 “입력이 벡터, 출력이 스칼라인 함수 $f(x)$를 어떻게 미분할 것인가”를 정의부터 예제까지 한 번에 정리해 주는 영상입니다. 먼저 $x = [x_1, x_2]^\top$ 같은 벡터를 두 변수의 함수로 보는 관점에서 출발해, 스칼라를 벡터로 미분한다는 것은 각 성분에 대한 편미분을 모아 하나의 행벡터(또는 열벡터)로 쌓는 것임을 명확히 정의합니다.

이후 “변화량 $df$”를 두 가지 방식으로 표현하는데, 하나는 정의 그대로 $df = f(x+dx) - f(x)$, 다른 하나는 다변수 미적분에서 배운 것처럼 $\partial f/\partial x_1 \cdot dx_1 + \partial f/\partial x_2 \cdot dx_2$ 꼴로 쓰는 방식입니다. 이 두 표현을 내적 형태로 다시 쓰고, 여기서 $dx$ 앞에 붙어 있는 벡터가 바로 $\partial f/\partial x$, 즉 스칼라를 벡터로 미분한 결과라는 점을 끌어내는 과정이 핵심입니다.

또한 전개 과정에서 자주 나타나는 $dx^\top dx$ 같은 2차 항은, 미분 정의에서 $dx \to 0$으로 보낼 때 0으로 사라지므로 “퍼스트 오더만 남긴다”는 원칙으로 안전하게 버려도 된다는 점을 강조합니다. 마지막에는 선형 회귀 에러 함수처럼 $f(x) = |Ax - y|^2$ 꼴의 함수를 벡터 미분으로 빠르게 미분해, 익숙한 그라디언트 $-2A^\top (y - Ax)$를 공수 없이 뽑아내는 예제로 마무리합니다.

 

 

 

 

 

5-2강. 벡터를 벡터로, 스칼라를 행렬로 미분입니다

5-2강에서는 난이도를 한 단계 올려, “출력도 벡터인 함수”와 “입력이 행렬인 함수”의 미분을 다룹니다. 먼저 $f(x)$가 벡터 값을 내는 경우, 각 성분을 모두 편미분해서 행렬로 쌓은 것이 바로 야코비안(Jacobian)이며, 이것이 곧 ‘벡터를 벡터로 미분한 결과’라는 정의를 분명히 합니다.[^1]

이어 5-1강의 변화량 아이디어를 그대로 확장해, $df$를 편미분·내적 형태로 쓰고, 여기서 $dx$ 앞에 붙는 항을 뽑아내는 방식으로 벡터→벡터 미분을 계산하는 요령을 보여 줍니다. 이 과정을 linear regression 예제에 다시 적용해, 한 번 미분해서 그라디언트를 구한 뒤, 한 번 더 미분해 Hessian 행렬을 얻는 과정을 “식 전개 없이” 짧게 끝내는 것이 이 강의의 포인트입니다.[^1]

강의 후반부는 스칼라를 행렬로 미분하는 이야기를 다룹니다. $f(W) = \mathrm{tr}(W^\top X)$ 같은 함수에서 변화량을 $\mathrm{tr}((\partial f/\partial W)^\top dW)$ 형태로 표현하고, trace의 성질(순환 법칙 등)을 활용해 $dW$ 앞에 오는 항을 읽어내는 패턴을 보여 줍니다. 이 패턴을 잡아 두면, CNN·RNN·배치 정규화 등에서 자주 등장하는 행렬·텐서 미분을 훨씬 체계적으로 정리할 수 있게 됩니다.

 

 

 

 

 

5-3강. 복소수 미분입니다

5-3강은 “실수 미분만 알던 사람에게 복소수 미분을 어떻게 꽂을 것인가”에 초점을 맞춘 영상입니다. 먼저 복소수 $z = x + jy$를 두 실수 변수 $(x, y)$의 쌍으로 보고, 복소수 함수를 사실상 $(x, y)$에 대한 함수로 해석할 수 있다는 관점에서 출발합니다.[^2]

이후 $z$에 대한 미분을 단순히 실수 미분처럼 다루기 어렵다는 점을 짚고, 켤레 복소수 $z^*$를 도입해 $z$와 $z^*$를 서로 직교하는 두 축처럼 사용합니다. $dg = (\partial g/\partial x)dx + (\partial g/\partial y)dy$를 $z, z^*$ 기준의 변화량으로 다시 쓰고, 연립해 정리하면 “$z$에 대한 미분”과 “$z^*$에 대한 미분”이라는 두 가지 도함수를 정의할 수 있다는 결과를 보여 줍니다.[^2]

강의 중간에는 실제 예제로 $g(z)$를 다항식 형태로 두고, $z$와 $z^*$에 대한 미분을 직접 계산해 보면서, 결국 우리가 관심 있는 것은 대부분 $z$에 대한 미분(최적화에서 그래디언트 역할을 하는 것)이라는 점을 강조합니다. 마지막으로, 복소수 벡터에 대한 미분으로까지 확장해, “복소수 파라미터를 갖는 신호 처리·통신·딥러닝 모델”에서 이 도구들을 어떻게 활용할 수 있을지 맛보기로 보여 줍니다.

 

 

 

 

 

정리: 딥러닝 수식을 꿰는 미분 도구 세트입니다

요약하면 5-1~5-3강은 스칼라↔벡터↔행렬↔복소수까지 이어지는 미분 도구 세트를 한 번에 정리해, 딥러닝에서 그라디언트와 헤시안, 복소 파라미터 최적화를 자유자재로 다룰 수 있도록 도와주는 파트입니다. 이 구간을 제대로 이해해 두면, 이후 역전파 강의와 각종 논문 수식을 볼 때 “외워서 푸는 미분”이 아니라 “구조를 보고 한 번에 미분식을 뽑아내는” 단계로 올라설 수 있게 됩니다.

 

 

다음 글

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 6강 역전파 수식 → 현실적인 최적화(SGD, 모멘텀, RMSProp) → 현대 딥러닝의 기본 활성화(ReLU)

꽂히는 딥러닝 | 6강 역전파 수식 → 현실적인 최적화(SGD, 모멘텀, RMSProp) → 현대 딥러닝의 기본

 

 

이 블로그의 관련 글

[AI 인공지능 머신러닝 딥러닝] - 이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

 

 

 

[AI 인공지능 머신러닝 딥러닝/Python | PyTorch] - 인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

 

 

 

[AI 인공지능 머신러닝 딥러닝] - 인공지능 딥러닝 기초 완전정복: 유튜브로 배우는 신경망·딥러닝·실습코딩 가이드

인공지능 딥러닝 기초 완전정복: 유튜브로 배우는 신경망·딥러닝·실습코딩 가이드