꽂히는 딥러닝 | 8강 보편 근사 정리(Universal Approximation Theorem)

전체 강의 보기

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 전체 강의 소개

꽂히는 딥러닝 | 전체 강의 소개

 

 

 

 

꽂히는 딥러닝

 

 

 

8강은 “왜 신경망이 이렇게까지 잘 맞는가?”에 대한 이론적 답을 주는 보편 근사 정리(Universal Approximation Theorem)를, 깍두기 비유로 직관적으로 풀어낸 영상입니다. 한 줄로 말하면 “충분히 많은 뉴런만 있으면, 적당한 활성화 함수를 쓴 신경망 한 층으로 웬만한 함수는 다 근사할 수 있다”는 이야기를 이해시키는 강의입니다.

 

 

 

보편 근사 정리가 주장하는 것입니다

강의는 먼저 “히든 레이어 하나짜리 신경망만으로도, 뉴런 수를 충분히 늘리면 임의의 연속함수를 얼마든지 가깝게 표현할 수 있다”는 정리의 내용을 간단한 그림과 함께 소개합니다. 즉, 입력이 1차원이든 다차원이든 간에, 적당한 가중치와 바이어스를 가진 뉴런들을 충분히 많이 배치하면, 목표 함수 곡선을 거의 그대로 따라가는 출력 함수를 만들 수 있다는 주장입니다.

여기서 포인트는 “완벽히 똑같이”가 아니라 “任의의 작은 오차 이내로” 근사할 수 있다는 점이며, 이 정리가 성립하려면 활성화 함수가 일정 조건(비선형성, 연속성 등)을 만족해야 한다는 것도 짧게 언급합니다. 이 이론 덕분에, 신경망을 단순한 블랙박스가 아닌 “엄청 강력한 함수 근사기”로 믿고 사용할 수 있는 이론적 근거가 마련됩니다.

 

 

 

아이디어: 함수 깍두기로 쪼개기입니다

혁펜하임은 목표 함수를 “깍두기 블록들의 합”으로 생각하는 아이디어를 먼저 제시합니다. x축 위에서 특정 구간만 ‘툭’ 튀어 오르는 직사각형 모양의 함수(깍두기)를 여러 개 더하면, 원래의 복잡한 곡선을 계단 모양으로 점점 정교하게 근사할 수 있다는 그림을 보여 줍니다.

깍두기 하나하나를 잘 만들 수만 있다면, 그것들을 좌우로 옮기고 높이를 조절해 더하는 것만으로 거의 어떤 모양이든 흰 곡선(목표 함수)에 가깝게 맞출 수 있다는 게 핵심 아이디어입니다. 따라서 남는 문제는 “신경망 하나로 이런 깍두기 함수를 어떻게 만들 것인가?”로 정리됩니다.

 

 

 

신경망으로 깍두기 만들기입니다

다음으로, 계단 함수나 시그모이드, ReLU 같은 활성화 함수로 “한쪽에서만 켜지는 함수”를 만들어, 이 둘의 차이로 특정 구간에서만 값이 살아 있는 깍두기를 구성하는 과정을 보여 줍니다. 예를 들어, 시그모이드를 오른쪽으로 평행이동한 함수와 조금 더 오른쪽으로 이동한 함수를 빼면, 두 함수가 겹치는 중간 구간에서만 값이 남는 일종의 ‘봉우리’가 만들어집니다. 여기에 적당한 스케일을 곱해 높이를 조절하면, 원하는 폭과 높이를 가진 깍두기 하나를 신경망 파라미터로 구현할 수 있게 됩니다.

이렇게 만든 깍두기들을 여러 개 겹쳐 더하면, 흰색 목표 곡선을 계단 모양으로 점점 더 촘촘히 따라갈 수 있고, 뉴런 수를 늘릴수록 오차가 작아진다는 직관을 강조합니다. 이 과정은 “뉴런 하나로 깍두기 하나, 뉴런을 많이 쓰면 깍두기를 많이 쌓을 수 있다”는 그림으로 정리됩니다.

 

 

 

시그모이드, ReLU, 그리고 다른 함수들은요입니다

강의 중간에서는 시그모이드, ReLU, 기타 활성화 함수들이 이 정리에서 어떻게 쓰일 수 있는지 간단히 비교합니다. 시그모이드는 S자 모양이라 두 개를 잘 빼서 겹치면 부드러운 깍두기를 만들기 좋고, ReLU는 기울기를 끊어 주는 형태라 다른 방식으로 구간 함수를 만들 수 있음을 설명합니다.

핵심은 “활성화 함수가 완전히 선형만 아니고, 적당한 조건을 만족하면” 이런 깍두기 조립이 가능하다는 점입니다. 따라서 굳이 시그모이드만 고집할 필요는 없고, ReLU나 그 변형들도 이론적으로 충분히 강력한 표현력을 가진다는 메시지를 전합니다.

 

 

 

 

이 이론이 말해 주지 않는 것들입니다

마지막 부분에서 혁펜하임은 이 정리가 “어떤 가중치를 써야 그렇게 잘 근사할 수 있는지”는 알려주지 않는다는 한계를 분명히 합니다. 즉, 존재성 정리일 뿐, 실제 학습 알고리즘이 항상 그 좋은 가중치를 찾아낸다는 보장은 없고, 데이터·최적화·초기화 등 현실적인 요소들이 여전히 중요하다는 점을 짚습니다.

 

또한, 뉴런 수를 엄청 많이 쓰는 것은 이론적으로는 가능하지만 계산량과 데이터 요구량이 폭발적으로 늘기 때문에 비효율적일 수 있고, 그래서 깊이를 늘려 효율적으로 표현력을 높이는 현대 딥러닝 구조가 등장했다고 연결합니다. 이 강의를 통해 “히든 레이어 하나만으로도 이 정도인데, 깊이까지 더하면 얼마나 더 많은 것을 표현할 수 있을까?”라는 감각을 갖게 되는 것이 8강의 진짜 의미입니다.

 

 

 

다음 글

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 9강 배치 정규화(Batch Normalization), Vanishing gradient

꽂히는 딥러닝 | 9강 배치 정규화(Batch Normalization), Vanishing gradient

 

 

이 블로그의 관련 글

[AI 인공지능 머신러닝 딥러닝] - 이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

 

 

[AI 인공지능 머신러닝 딥러닝/Python | PyTorch] - 인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

 

 

 

[AI 인공지능 머신러닝 딥러닝] - 인공지능 딥러닝 기초 완전정복: 유튜브로 배우는 신경망·딥러닝·실습코딩 가이드

인공지능 딥러닝 기초 완전정복: 유튜브로 배우는 신경망·딥러닝·실습코딩 가이드