꽂히는 딥러닝 | 4강 엔트로피, 크로스 엔트로피, KL 다이버전스, 상호정보량 및 로지스틱/소프트맥스 손실, MLE, 분포 간 거리 같은 개념의 뿌리

전체 강의 보기

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 전체 강의 소개

꽂히는 딥러닝 | 전체 강의 소개

 

 

꽂히는 딥러닝

 

 

4강은 딥러닝에서 자주 등장하는 엔트로피, 크로스 엔트로피, KL 다이버전스, 상호정보량을 “정보를 얼마나 효율적으로 표현할 수 있는가”라는 하나의 직관으로 묶어 설명하는 영상입니다. 로지스틱/소프트맥스 손실, MLE, 분포 간 거리 같은 개념의 뿌리를 15분 안에 훑어 주는 자리이기도 합니다.

 

 

 

엔트로피: 정보의 최소 자원 양입니다

강의는 “정보를 표현하는 데 필요한 최소 자원 양”이라는 정의에서 출발해, 클로드 섀넌이 모든 정보를 0과 1로 표현할 수 있다고 본 이야기와 함께 비트(bit) 단위를 소개합니다. 연인과 주고받는 카톡 예시를 들며, 자주 쓰는 하트 이모티콘과 거의 쓰지 않는 기호들을 각각 짧은 코드·긴 코드로 인코딩해야 평균적으로 필요한 비트 수를 줄일 수 있다는 직관을 설명합니다.

여기서 엔트로피는 “그 어떤 코딩을 해도 이 값보다 더 적은 평균 비트로는 정보를 표현할 수 없다”는 하한(lower bound)으로 등장합니다. 확률이 높은 심볼은 짧게, 낮은 심볼은 길게 코딩하는 이상적인 상황에서의 평균 코드 길이가 곧 엔트로피이고, 모든 심볼이 똑같은 확률일 때(균등 분포) 엔트로피가 최대가 된다는 점도 짚어 줍니다.

 

 

 

크로스 엔트로피: 잘못 가정한 분포의 대가입니다

다음으로 크로스 엔트로피는 “실제 세계는 분포 P로 움직이는데, 내가 Q라고 착각하고 코딩할 때 드는 평균 비트 수”로 설명됩니다. 실제 연인과의 대화에서 하트를 훨씬 많이 쓰는데, 나는 모든 이모티콘이 균등하게 쓰인다고 가정하고 코드 길이를 동일하게 설계해 버리면, 평균 메시지 길이가 늘어나 비효율이 커진다는 예시를 듭니다.

식으로는 엔트로피 $H(P)$ 위에 “내가 잘못 가정한 분포 Q로 인한 추가 비용”이 더해진 형태로 나타나며, 이 추가 비용이 바로 KL 다이버전스와 연결된다는 이야기를 자연스럽게 예고합니다. 딥러닝 관점에서는 “타깃 분포(P: 라벨) vs 모델이 예측한 분포(Q)” 사이의 크로스 엔트로피를 손실로 쓰는 이유를 이해하는 발판이 됩니다.

 

 

 

KL 다이버전스: 두 분포 사이의 비효율입니다

KL 다이버전스는 “실제 분포 P를 따르는 데이터를, Q라고 가정하고 코딩할 때 생기는 여분의 비트 수”로 정의됩니다. 즉, KL(P‖Q)는 내가 잘못된 모델 Q를 쓰는 바람에, 이상적인 엔트로피 수준보다 얼마나 더 긴 메시지를 평균적으로 쓰게 되는지를 수치로 나타낸 값입니다.

이 값이 0이면 P와 Q가 완전히 같다는 뜻이고, 값이 클수록 “내가 세상을 잘못 이해하고 있는 정도”가 크다고 해석할 수 있습니다. 강의에서는 이를 통해 “분포 간 거리”로서의 KL 다이버전스를 직관적으로 받아들이게 하고, 나중에 나올 정규화, 정규분포, 가우시안 분포와의 관계도 짧게 언급하며 연결 고리를 만들어 둡니다.

 

 

 

상호정보량: 두 변수 사이의 정보 공유량입니다

마지막으로 상호정보량(mutual information)은 “X를 알면 Y에 대해 얼마나 덜 놀라는지, 즉 X와 Y가 공유하는 정보량”으로 설명됩니다. 실제로는 독립이 아닌데 독립이라고 가정하고 코딩했을 때 늘어나는 비트 수를 통해, 둘 사이의 의존성이 클수록 상호정보량도 커진다는 직관을 제시합니다.

X와 Y가 완전히 독립이면 서로에 대해 알려 주는 정보가 없으므로 상호정보량이 0이 되고, 강하게 얽혀 있을수록 상호정보량이 커져 “둘이 얼마나 붙어 있는지”를 수치로 표현할 수 있다는 점을 보여 줍니다. 이 개념은 이후 특징 선택, 정보 이득, 표현 학습 등 다양한 딥러닝·머신러닝 응용에서 등장하는 중요한 도구가 됩니다.

 

 

 

정리: 손실함수와 확률모델의 공통 언어입니다

4강은 엔트로피–크로스 엔트로피–KL 다이버전스–상호정보량을 “코드를 얼마나 짧게 짤 수 있는가, 분포를 얼마나 잘 맞췄는가”라는 관점에서 하나의 이야기로 엮어 줍니다. 이 15분을 통해 로지스틱/소프트맥스 손실, MLE, 분포 간 거리, 정보 이득 등 딥러닝 전반에서 반복해서 등장하는 개념들의 뿌리를 한 번에 정리할 수 있어, 이후 수식이 훨씬 덜 낯설게 느껴지게 됩니다.

 

 

다음 글

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 5강 벡터·행렬·복소수 미분을, 실제 최적화 문제에 바로 쓸 수 있는 형태로 정리

꽂히는 딥러닝 | 5강 벡터·행렬·복소수 미분을, 실제 최적화 문제에 바로 쓸 수 있는 형태로 정

 

 

이 블로그의 관련 글

[AI 인공지능 머신러닝 딥러닝] - 이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

 

 

[AI 인공지능 머신러닝 딥러닝/Python | PyTorch] - 인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션