딥러닝 101 - 25강. ResNet 잔차신경망이란? (feat.기울기소실문제) | Deep Learning 101

이 영상은 기울기 소실(vanishing gradient) 문제를 간단한 3층 신경망 손계산으로 직접 보여 준 뒤, 같은 구조에 스킵 커넥션을 추가했을 때 기울기가 어떻게 달라지는지 비교하며 ResNet의 핵심 아이디어를 설명하는 강의입니다. “ResNet이 좋다더라” 수준의 직관을, 실제 숫자로 확인해 보는 데 초점이 맞춰져 있습니다. ​ ​ 

 

딥러닝 101

 

 

[AI 인공지능 머신러닝 딥러닝/딥러닝] - 딥러닝 101 - 무료 강의 전체 소개 | Deep Learning 101

딥러닝 101 - 무료 강의 전체 소개 | Deep Learning 101

 

 

 

깊은 신경망과 기울기 소실 문제 

· 영상은 먼저 시그모이드/하이퍼볼릭 탄젠트 활성함수를 사용하는 심층 신경망에서, 층이 깊어질수록 역전파 과정에서 기울기가 체인 룰에 의해 계속 곱해지며 0에 가까워지는 현상이 발생함을 설명합니다. ​ ​ 

 

· 실제로 3층짜리 단순 신경망을 가정하고 모든 가중치를 0.1, 활성함수를 시그모이드로 둔 뒤, 출력층에서 입력층 방향으로 ∂ L / ∂ w 3 , ∂ L / ∂ w 2 , ∂ L / ∂ w 1 ∂L/∂w 3 ,∂L/∂w 2 ,∂L/∂w 1 을 계산하면, 초기층으로 갈수록 기울기가 급격히 작아지는 것을 수치로 보여 줍니다. ​ ​ 

 

 

스킵 커넥션 없는 경우: 급격히 줄어드는 기울기 

· 시나리오 1(일반 신경망)에서는 입력 0.5, 모든 가중치 0.1로 설정하고 순전파를 통해 각 은닉층과 출력값을 구한 뒤, MSE 손실을 기준으로 역전파를 수행합니다. ​ 

 

· 이때 출력층 가중치 w 3 w 3 의 기울기는 비교적 크지만, ∂ L / ∂ w 2 ∂L/∂w 2 , ∂ L / ∂ w 1 ∂L/∂w 1 로 갈수록 값이 0에 근접해 가며, “입력에 가까운 가중치일수록 거의 업데이트되지 않는” 전형적인 기울기 소실 패턴이 나타난다는 점을 계산 과정으로 확인합니다. ​ ​ 

 

 

스킵 커넥션 추가: 잔차 신경망 구조 

· 시나리오 2에서는 동일한 구조에 스킵 커넥션(skip connection) 을 하나 추가해, 은닉층을 통과한 출력에 입력을 그대로 더한 형태(잔차 연결)를 갖도록 수정합니다. ​ ​ 

 

· 순전파에서는 출력이 두 경로(기존 경로 + 스킵 경로)를 통해 결정되며, 손실은 여전히 MSE로 계산됩니다. ​ 

 

· 역전파에서는 출력이 입력까지 직접 연결되는 경로가 생기면서, ∂ L / ∂ w 1 ∂L/∂w 1 에 도달하는 기울기가 “기존 경로만 있을 때보다 덜 희미해지는” 결과가 나타나고, 실제 수치로 비교했을 때 초기층 기울기가 일반 신경망 대비 확연히 크다는 점을 보여 줍니다. ​ ​ 

 

 

ResNet의 아이디어: 잔차 학습과 안정된 기울기 흐름 

· 영상은 이러한 스킵 커넥션을 통해 각 블록이 H ( x ) H(x) 를 직접 학습하는 대신 F ( x ) = H ( x ) − x F(x)=H(x)−x, 즉 입력 대비 잔차(residual)를 학습하도록 바꾼 것이 ResNet의 핵심이라고 설명합니다. ​ ​ 

 

· 이 방식은 

· · 입력 x x를 그대로 다음 층으로 전달하는 대체 경로(gradient shortcut) 를 만들어, 기울기가 여러 비선형 층을 거치지 않고도 초깊은 층까지 도달할 수 있게 하고

· · 결과적으로 네트워크 깊이가 20층→50층→100층 이상으로 깊어져도 학습 성능이 떨어지지 않고 오히려 향상되는 기반을 마련했다고 정리합니다. ​ ​ 

 

 

정리: 간단한 더하기가 만든 차이 

· 영상의 마지막에서는 “가중치가 없는 단순한 더하기 연결” 하나가, 깊은 네트워크에서 기울기 소실 문제를 획기적으로 완화하고 최적화 경로를 부드럽게 만들어 준다는 점을 강조합니다. ​ ​ 

 

· ResNet이 이후 대부분의 비전 모델과 다양한 변형 아키텍처(ResNeXt, DenseNet 등)에 큰 영향을 끼친 만큼, 이 손계산 예제는 스킵 커넥션의 역할을 감으로 이해하는 데 좋은 출발점이 된다고 결론짓습니다. ​ ​

 

 

 

[AI 인공지능 머신러닝 딥러닝/딥러닝] - 딥러닝 101 - 무료 강의 전체 소개 | Deep Learning 101

딥러닝 101 - 무료 강의 전체 소개 | Deep Learning 101