꽂히는 딥러닝 | 12강 Adam과 AdamW의 차이

전체 강의 보기

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 전체 강의 소개

꽂히는 딥러닝 | 전체 강의 소개

 

 

 

 

꽂히는 딥러닝

 

 

12강은 “요즘은 Adam보다 AdamW를 더 쓴다”는 말을 왜 믿어도 되는지, Adam과 AdamW의 차이를 수식 한 줄로 짚어 주는 강의입니다. 핵심은 L2 정규화를 그라디언트에서 떼어내(weight decay를 디커플링) 업데이트 단계에만 적용한다는 아이디어입니다.

 

 

 

Adam 복습: m, v로 방향과 크기를 누적합니다

영상은 먼저 Adam 알고리즘을 다시 상기시킵니다.

• $m_t$: 그라디언트의 “방향”을 누적하는 1차 모멘트(이동 평균)
• $v_t$: 그라디언트 크기의 제곱을 누적하는 2차 모멘트

이 두 값을 bias correction으로 보정한 뒤, $\hat{m}_t / (\sqrt{\hat{v}_t} + \epsilon)$ 꼴로 나눠 방향과 스텝 크기를 조절하고, 여기에 러닝레이트 $\alpha$를 곱해 파라미터를 업데이트하는 구조입니다. 이 지점까지는 AdamW도 Adam과 완전히 같습니다.

 

 

 

 

기존 Adam + L2 regularization의 문제입니다

일반적인 “Adam + L2 정규화” 설정에서는, 손실 $L$에 $\lambda |w|^2$ 항을 더해 놓고 그라디언트를 구합니다. 그러면 $\nabla_w L$ 안에 원래 손실의 그라디언트뿐 아니라 $2\lambda w$가 같이 섞여 들어갑니다.

Adam은 이 $\nabla_w L$ 전체를 가지고 $m_t, v_t$를 업데이트하므로, 사실상 정규화 항까지 포함된 그라디언트를 가지고 “방향 누적”과 “크기 누적”을 하게 됩니다. 이렇게 되면,

• 원래는 데이터 손실만 보고 방향을 정하고 싶은데
• 정규화 항이 이 방향과 크기 누적에도 영향을 주어

Adam의 적응적 스케일링이 “데이터 손실 + 정규화”가 뒤섞인 신호를 기준으로 동작하게 되는 문제가 생깁니다.

 

 

 

 

AdamW: 정규화는 업데이트에만, m·v에는 끼우지 않습니다

AdamW의 핵심은 이 정규화 효과를 그라디언트에서 떼어내는 것(디커플링)입니다. 즉,

• $m_t, v_t$를 구할 때는 L2 정규화를 안 한 것처럼, 순수한 $\nabla_w L_{\text{data}}$만 사용하고
• 파라미터 업데이트 할 때만 weight decay 항 $\lambda w$를 따로 빼 주는 방식으로 바꿉니다.

수식으로 보면,

1) Adam 부분: $m_t, v_t$는 기존 Adam과 동일하게 계산 (정규화 항 X)
2) 업데이트:

$$
w_{t+1} = w_t - \alpha \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} - \alpha \lambda w_t
$$

여기서 맨 마지막 $- \alpha \lambda w_t$가 AdamW에서 새로 추가된 “weight decay” 항입니다. 이 말은 곧,

• 방향·크기 누적(m, v)은 데이터 손실만 보고 하고
• 정규화는 “그라디언트에 섞지 말고, 나중에 weight에서 직접 조금씩 깎아내자”는 설계입니다.

 

 

 

 

왜 이게 더 좋은가입니다

혁펜하임은 그림으로, “빨간색: 기존 Adam + L2, 초록색: AdamW”를 비교하며 설명합니다. 기존 방식(빨간색)은 정규화 항이 들어간 그라디언트를 그대로 m, v에 쌓기 때문에, 방향·스케일링 자체가 L2 항에 의해 왜곡됩니다. 반면 AdamW(초록색)는 m, v를 오직 데이터 그라디언트로만 만들고, 마지막 업데이트 단계에서만 weight decay를 적용하기 때문에, Adam이 원래 의도한 “데이터 손실 기준의 적응형 업데이트”를 더 잘 유지하게 됩니다.

실무적으로는,

• 정규화 강도(λ)를 조절하는 감각이 더 일관되고
• Adam의 수렴 특성을 유지하면서 일반화(regularization) 효과를 깔끔히 추가할 수 있다는 장점이 있습니다.

 

 

 

 

한줄 정리입니다

12강 AdamW 강의는 “L2 정규화를 그라디언트에 섞지 말고, Adam 업데이트 후 weight에서만 깎아내자”는 단 한 줄 아이디어가, Adam의 방향·크기 누적을 깨뜨리지 않으면서 더 안정적인 weight decay를 구현해 준다는 점을 직관과 수식으로 정리해 주는 영상입니다.

 

 

이 블로그의 관련 글

[AI 인공지능 머신러닝 딥러닝] - 이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

 

 

[AI 인공지능 머신러닝 딥러닝/Python | PyTorch] - 인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션