꽂히는 딥러닝 | 6강 역전파 수식 → 현실적인 최적화(SGD, 모멘텀, RMSProp) → 현대 딥러닝의 기본 활성화(ReLU)

전체 강의 보기

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 전체 강의 소개

꽂히는 딥러닝 | 전체 강의 소개

 

 

 

 

 

 

꽂히는 딥러닝

 

 

6장(6-1~6-5)은 “딥러닝이 실제로 어떻게 학습되는지”를 역전파 수식부터 SGD·모멘텀·RMSProp·ReLU까지 한 번에 엮어 보여주는 파트입니다. 이 범위를 듣고 나면, 손실함수가 어떻게 그라디언트로 바뀌고, 그라디언트가 어떻게 파라미터 업데이트로 이어지는지 전체 그림이 훨씬 선명해집니다.

 

 

6-1강. 역전파: 체인 룰로 보는 딥러닝입니다

6-1강에서는 먼저 “딥 뉴럴넷” 구조를 다시 정리하면서, 입력층–여러 개의 히든 레이어–출력층으로 이어지는 네트워크에서 각 레이어의 가중치들이 어떻게 연결되어 있는지 그림으로 보여 줍니다. 그런 다음, 손실함수 $L$를 각 가중치 $W^{(l)}$에 대해 미분해야 학습이 가능하다는 점을 상기시키면서, 이 편미분들을 효율적으로 계산해 주는 알고리즘이 바로 역전파(backpropagation)임을 소개합니다.

핵심은 체인 룰입니다. 한 가중치가 출력까지 도달하는 동안 지나가는 모든 노드들을 따라가며, “출력에 대한 변화량 × 중간 노드에 대한 변화량”을 곱으로 이어 붙이는 방식으로 미분을 전개하고, 이 패턴을 벡터·행렬 형태로 일반화하면 간단한 한 줄 수식으로 정리할 수 있다는 점을 강조합니다.

강의 중간에는 2~3층짜리 예시 네트워크를 잡고, 마지막 레이어에서 시작한 델타(오차 신호)가 한 레이어씩 거꾸로 전파되면서 각 레이어의 그라디언트가 계산되는 과정을 단계별로 보여 줍니다. 이 과정을 통해 “forward-pass에서 계산해 둔 활성값들을 저장해 두었다가, backward-pass에서 그 값을 이용해 편미분을 한 번에 쓸어버리는 것”이 역전파의 핵심이라는 직관을 잡을 수 있습니다.

마지막에는, 예전에는 미분이 너무 복잡해 딥 네트워크 학습이 사실상 불가능했지만, 역전파 알고리즘 덕분에 오늘날과 같은 딥러닝 시대가 열렸다는 역사적 맥락도 짧게 언급합니다. 이 강의는 딥러닝 교재 곳곳에 등장하는 복잡한 미분식을 “결국 체인 룰의 반복”으로 받아들이게 해 주는 전환점 역할을 합니다.

 

 

 

6-2강. SGD: 데이터 한 점씩 보는 경사하강입니다

6-2강에서는 확률적 경사 하강법(SGD)을 중심으로, 현실적인 딥러닝 학습에서 왜 전체 배치 GD 대신 SGD 계열을 쓰는지 설명합니다. 먼저 “초기 weight를 어떻게 정할 것인가”를 짚으면서, 모든 가중치를 0으로 두면 대칭성이 깨지지 않아 학습이 멈춰 버릴 수 있다는 문제를 언급하고, 작은 랜덤값으로 초기화하는 직관을 제시합니다.[^1]

이후 고전적인 Gradient Descent(GD)를 복습하면서, GD는 전체 데이터에 대해 손실을 모두 계산하고 그 평균에 대한 그라디언트를 구해 한 번 업데이트를 하기 때문에, 데이터가 많아질수록 한 스텝이 너무 느려진다는 단점을 짚습니다. 반면 SGD는 주머니에서 공을 하나씩 뽑는 비유처럼, 매번 하나(또는 작은 묶음)의 데이터만 보고 그에 대한 그라디언트를 구해 바로 한 스텝 업데이트를 수행합니다.[^1]

이렇게 하면 각 스텝은 “노이즈가 섞인” 방향으로 움직이지만, 전체적으로는 최적점 근처를 향해 빠르게 수렴해 갑니다. 강의 후반부에는 미니배치 SGD도 함께 소개하며, 순수 SGD(배치 크기 1)와 풀 배치 GD 사이에서 계산량·수렴 안정성을 적절히 타협하는 현실적인 선택이라는 점을 강조합니다.

 

 

 

 

 

6-3강. GD vs SGD 비교입니다

6-3강은 이름 그대로 GD와 SGD를 그림과 예시로 직접 비교하면서, 각각의 장단점을 정리해 주는 영상입니다. 먼저 GD는 전체 데이터를 모두 고려해 한 번에 ‘가장 그럴듯한’ 하강 방향을 정하기 때문에, 이론상으로는 가장 가파르게 내려가는 방향을 잘 찾지만, 데이터가 많을수록 한 스텝 계산 비용이 기하급수적으로 커진다는 점을 다시 강조합니다.[^2]

이어 로컬 미니멈 문제를 예로 들어, 복잡한 손실 지형에서는 GD가 특정 로컬 최소점에 갇혀 글로벌 최소로 탈출하지 못할 수 있다는 한계를 짚습니다. 반면 SGD는 각 데이터에 대해 다른 방향의 그라디언트를 보게 되므로, 손실 지형 위를 살짝살짝 흔들리며 이동하게 되고, 이 “랜덤한 흔들림” 덕분에 나쁜 로컬 미니멈에서 빠져나올 기회가 생긴다는 직관을 제공합니다.[^2]

강의에서는 컨투어 그림 위에 GD 궤적과 SGD 궤적을 겹쳐 보여 주며, GD는 매끄럽게 한 방향으로 천천히 내려가지만, SGD는 삐뚤빼뚤하지만 더 빠르게 낮은 지점으로 도달하는 모습을 비교합니다. 이때 “SGD가 글로벌 미니멈을 보장하는 것은 아니지만, 더 나은 로컬 미니멈을 찾을 가능성을 늘려 준다”는 현실적인 결론을 함께 제시합니다.

 

 

 

 

 

6-4강. Momentum과 RMSProp입니다

6-4강에서는 기본 SGD를 한 단계 업그레이드해 주는 두 가지 최적화 기법, 모멘텀(Momentum)과 RMSProp을 다룹니다. 먼저 모멘텀은 물리학의 관성을 빌려, 이전 스텝에서의 이동 방향을 기억했다가 현재 그라디언트와 함께 섞어 주는 방식으로 설명됩니다. 이렇게 하면 좁고 긴 골짜기 모양의 손실 지형에서 지그재그로 튕기지 않고, 한 방향으로 점점 속도를 붙여 더 빠르게 내려갈 수 있게 됩니다.[^3]

RMSProp은 각 파라미터별로 최근 그라디언트 제곱의 이동 평균을 추적해, 많이 흔들리는 방향에는 작은 학습률, 잘 안 움직이는 방향에는 상대적으로 큰 학습률을 자동으로 배정하는 기법으로 소개됩니다. 이 덕분에 좌표마다 스텝 크기를 다르게 조절할 수 있어, 복잡한 손실 지형에서도 학습이 안정되고, 수렴 속도가 개선되는 효과를 얻을 수 있습니다.

 

 

 

 

 

6-5강. ReLU: 딥러닝 판도를 바꾼 활성화입니다

6-5강에서는 ReLU(Rectified Linear Unit)가 왜 “딥러닝 판도를 바꾼” 활성화 함수로 불리는지에 초점을 맞춥니다. 먼저 기존에 많이 쓰이던 시그모이드·tanh 함수는 입력이 커질수록 기울기가 0에 가까워지는 세추레이션 구간 때문에, 깊은 네트워크에서 그라디언트가 사라지는 문제(vanishing gradient)를 일으킨다는 점을 복습합니다.[^3]

ReLU는 $f(x) = \max(0, x)$라는 매우 단순한 형태를 가지면서도, 양수 구간에서 기울기가 1로 유지되기 때문에 깊은 네트워크에서도 그라디언트가 잘 전달된다는 장점을 가집니다. 강의에서는 “음수는 과감히 0으로 죽이고, 양수만 그대로 통과시킨다”는 직관과 함께, 희소한 활성화(sparse activation)가 regularization 효과를 내고, 계산 또한 매우 가볍다는 점을 들어 현대 딥러닝에서 사실상 표준 활성화로 자리 잡은 이유를 설명합니다.[^3]

마지막으로 ReLU의 단점(음수 영역에서 기울기가 0이라 뉴런이 죽을 수 있다는 문제)도 짧게 언급하며, Leaky ReLU 등 변형 함수들로 어떻게 이를 보완하는지까지 연결해 줍니다.

 

 

 

 

 

---

이렇게 6-1~6-5강은 “역전파 수식 → 현실적인 최적화(SGD, 모멘텀, RMSProp) → 현대 딥러닝의 기본 활성화(ReLU)”로 이어지는, 딥러닝 학습 메커니즘의 핵심을 한 번에 정리해 주는 구간입니다.

 

 

 

다음 글

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 7강 CNN, 컨볼루션·스트라이드·풀링·필터 뎁스·파라미터 공유의 구조적 이유, ResNet, VGG

꽂히는 딥러닝 | 7강 CNN, 컨볼루션·스트라이드·풀링·필터 뎁스·파라미터 공유의 구조적 이유, R

 

 

이 블로그의 관련 글

[AI 인공지능 머신러닝 딥러닝] - 이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

 

 

 

[AI 인공지능 머신러닝 딥러닝/Python | PyTorch] - 인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션