딥러닝 101 - 8강. 확률적 경사하강법을 소개합니다 | Deep Learning 101

이 영상은 경사하강법의 세 가지 변형인 배치 경사하강법, 확률적 경사하강법(SGD), 미니배치 경사하강법의 개념을 직관적인 비유와 간단한 수식, 파이썬 코드로 설명하는 입문 강의이다. 특히 “데이터를 어떤 순서·단위로 학습시키느냐”에 초점을 맞추어, 최적화 알고리즘의 큰 그림을 잡고 싶은 학습자에게 잘 맞는 구성이다. ​ ​ 

 

딥러닝 101

 

 

[AI 인공지능 머신러닝 딥러닝/딥러닝] - 딥러닝 101 - 무료 강의 전체 소개 | Deep Learning 101

딥러닝 101 - 무료 강의 전체 소개 | Deep Learning 101

 

 

로컬 미니마와 데이터 스케줄링 

· 강의는 먼저 신경망 학습에서 손실 함수의 전역 최소값(글로벌 미니멈)이 아닌 지역 최소값(로컬 미니마)에 갇히는 문제가 존재한다는 점을 짚는다. ​ ​ 

 

· 초기값 설정, 학습률 조정, 데이터 스케줄링 등 여러 대응 가운데, 이번 영상에서는 “학습 데이터의 사용 순서와 묶는 방식”을 바꾸는 전략이 곧 배치·SGD·미니배치 경사하강법의 차이임을 강조한다. ​ ​ 

 

 

배치 경사하강법: 모든 데이터를 한 번에 

· 간단한 선형 회귀 예제를 두고, 모든 데이터 포인트에 대해 오차를 계산한 뒤 평균을 내어 MSE 손실을 구하고, 그에 대한 기울기를 계산해 가중치 w w를 한 번 업데이트하는 과정을 보여준다. ​ ​ 

 

· 이처럼 전체 데이터셋을 한 번에 사용해 기울기를 구하는 방식을 배치 경사하강법이라고 정의하며, 업데이트가 안정적이고 진동이 적다는 장점을 갖지만, 데이터가 많을수록 계산 비용이 매우 커진다는 단점을 지적한다. ​ ​ 

 

 

확률적 경사하강법(SGD): 샘플 하나씩 업데이트 

· 이어 동일한 예제에서, 매 업데이트마다 하나의 데이터 포인트만 랜덤으로 골라 손실과 기울기를 계산하고 바로 가중치를 업데이트하는 방식을 소개한다. ​ ​ 

 

· 이 방식을 확률적 경사하강법이라고 부르며, 매번 적은 계산량으로 빠르게 업데이트할 수 있어 효율적이지만, 개별 샘플에 매우 민감해 손실 곡선이 요동치고 경로가 불안정해질 수 있다는 점을 설명한다. ​ ​ 

 

· 다만 이러한 “노이즈 섞인 이동”이 오히려 로컬 미니마에 빠졌다가도 빠져나올 가능성을 어느 정도 높여 주는 효과가 있어, 완전히 나쁜 것만은 아니라는 해석도 덧붙인다. ​ ​ 

 

 

미니배치 경사하강법: 안정성과 효율성의 절충 

· 배치의 안정성과 SGD의 효율성을 동시에 어느 정도 누리는 방식으로, 미니배치 경사하강법을 제시한다. ​ ​ 

 

· 이는 전체 데이터에서 임의로 일정 개수(예: 5개)의 샘플을 뽑아 그들에 대한 평균 손실과 평균 기울기를 계산해 가중치를 업데이트하는 방법이며, 배치보다 계산이 가볍고, SGD보다 기울기 추정이 안정적이라는 장점이 있다. ​ ​ 

 

· 영상에서는 예제 데이터에서 두 개씩 묶어 기울기를 계산하고 업데이트하는 과정을 보여주며, 실제 딥러닝 학습에서 거의 항상 미니배치 방식이 사용된다는 실무적 맥락도 함께 언급한다. ​ ​ 

 

 

파이썬 코드 예제와 정리 

· 후반부에서는 동일한 회귀 데이터셋을 가지고 배치, SGD, 미니배치 각각에 대한 파이썬 코드 스니펫을 차례대로 소개한다. ​ ​ 

 

· 배치 코드에서는 모든 x x와 ( y − y ^ ) (y− y ^ )를 한 번에 묶어 평균 기울기를 구하고, SGD 코드에서는 단 하나의 샘플을 선택해 기울기를 구한 뒤 업데이트하는 차이를 명확히 보여준다. ​ ​ 

 

· 미니배치 코드에서는 전체 데이터에서 배치 크기만큼 인덱스를 샘플링해 그 하위 집합만 사용하여 기울기를 구하는 부분이 핵심이며, 나머지 업데이트 로직은 동일하다는 점을 강조한다. ​ ​ 

 

 

 

이 영상은 수식, 숫자 예제, 코드가 함께 등장하지만 핵심 초점은 “데이터를 어떤 단위로, 어떤 순서로 사용할 것인가”라는 직관적 관점에 있어, 경사하강법의 변형들을 블로그 글 한 편으로 정리하기에 좋은 출발점이 되는 강의다. ​ ​

 

 

관련 글

[AI 인공지능 머신러닝 딥러닝] - 딥러닝 경사하강법 완벽 정리: 배치, 확률적, 미니배치 쉽게 배우기｜초보자도 이해하는 최적화 알고리즘 해설 + 코드

딥러닝 경사하강법 완벽 정리: 배치, 확률적, 미니배치 쉽게 배우기｜초보자도 이해하는 최적화

 

 

 

[AI 인공지능 머신러닝 딥러닝/딥러닝] - 딥러닝 101 - 9강. 오토인코더 Autoencoder를 소개합니다 | Deep Learning 101

딥러닝 101 - 9강. 오토인코더 Autoencoder를 소개합니다 | Deep Learning 101