꽂히는 딥러닝 | 2강 인공 신경망과 활성화 함수

전체 강의 보기

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 전체 강의 소개

꽂히는 딥러닝 | 전체 강의 소개

 

 

 

 

 

꽂히는 딥러닝

 

 

2-1강과 2-2강은 “선형 회귀로 보던 세상” 위에 진짜 딥러닝의 얼굴인 인공 신경망과 활성화 함수를 얹어 주는 파트입니다. 이 두 영상을 통해 선형 모델이 어떻게 층과 비선형 함수를 만나 딥러닝으로 확장되는지 자연스럽게 연결해 주는 것이 특징입니다.

 

 

 

2-1강. 인공 신경망: 함수를 표현하는 거대한 기계입니다

2-1강에서는 뇌의 뉴런 구조 비유로 시작해, 인공 신경망이 결국 “입력을 받아 가중합을 계산하고, 다음 층으로 신호를 넘기는 작은 계산 단위(뉴런)가 모여 있는 네트워크”라는 점을 직관적으로 설명합니다. 생물학적 세부 구조 대신, 입력을 받고($x$), 가중치($w$)를 곱해 더한 뒤($wx + b$), 그 결과를 다음 뉴런으로 전달하는 역할에만 집중해, 복잡한 뇌과학이 아닌 수학적 모델로서의 뉴런을 받아들이게 합니다.

이후 1-1강에서 다뤘던 키·몸무게 예시를 다시 꺼내, 하나의 선형 회귀 모델을 “뉴런 1개짜리 네트워크”로, 여러 입력과 여러 출력을 갖는 모델을 “여러 뉴런이 층을 이룬 네트워크”로 재해석합니다. 각 뉴런이 수행하는 일은 결국 “곱하고 더하기”이기 때문에, 여러 뉴런을 행렬 곱 형태로 묶으면 이전에 배운 $Ax \approx y$ 구조와 자연스럽게 연결된다는 점을 강조하며, 선형대수 관점에서 신경망을 바라보는 눈을 길러 줍니다.

강의 후반부에서는 가중치들을 $w$로 통일해 부르고, 층별로 지수(예: $W^{(1)}, W^{(2)}$)를 붙여 표현하면서, 입력층–은닉층–출력층으로 이어지는 다층 신경망 구조를 간단한 그림과 함께 소개합니다. 이렇게 “레이어”와 “가중치 행렬” 개념을 잡아 주기 때문에, 이후 역전파에서 나오는 행렬 미분이나 체인룰도 훨씬 덜 낯설게 느껴지도록 준비시켜 줍니다.

또한, 선형 회귀에서 ‘선형’의 의미를 다시 짚으면서, 인공 신경망이 단순히 직선만 그리는 모델이 아니라, 여러 층과 뉴런을 조합해 다양한 함수를 근사하는 강력한 함수 근사기라는 점을 강조합니다. 다만 이 단계에서는 아직 모든 연산이 선형 변환의 조합에 머물러 있기 때문에, “이 상태로는 여전히 표현력에 한계가 있다”는 이야기를 던져 두고, 다음 강의의 주인공인 활성화 함수로 자연스럽게 넘어갑니다.

 

 

 

2-2강. 활성화 함수: 선형 모델을 딥러닝으로 바꿔 주는 스위치입니다

2-2강은 “그냥 층을 많이 쌓으면 다 될까?”라는 질문에서 출발해, 선형 변환만 여러 번 합성하면 결국 다시 하나의 선형 변환에 불과하다는 점을 짚어 줍니다. 입력에 선형 변환을 여러 번 적용해도 $A_2(A_1x) = (A_2A_1)x$처럼 하나의 행렬로 합쳐질 뿐이기 때문에, 선형만으로는 복잡한 비선형 패턴을 학습할 수 없다는 한계를 분명하게 보여 줍니다.[^1]

여기서 등장하는 것이 바로 활성화 함수입니다. 강의에서는 뉴런 안에 숨어 있던 동그라미를 다시 꺼내, 이 부분이 단순 전달이 아니라 “입력 값을 비선형적으로 꺾어 주는 함수”라는 점을 강조하고, 이 함수가 있어야만 네트워크 전체가 비선형 함수를 표현할 수 있게 된다고 설명합니다.[^1]

이후 활성화 함수의 종류를 기준으로 모델을 분류하는 흥미로운 관점을 제시합니다. 활성화 함수가 항등 함수인 경우는 기존에 봤던 선형 회귀, 계단 함수(step)를 쓰면 퍼셉트론, 시그모이드를 쓰면 로지스틱 회귀, 소프트맥스를 쓰면 다중 분류용 소프트맥스 회귀가 된다는 식으로, 서로 다른 모델들이 “뉴런 + 활성화 함수 선택”이라는 동일한 틀 안에서 이해될 수 있음을 보여 줍니다.[^1]

이 설명을 통해 학습자는 “로지스틱 회귀와 신경망은 완전히 다른 존재”가 아니라, 활성화 함수와 층 구조에 따라 이어지는 스펙트럼 위에 놓인 모델들이라는 감각을 얻게 됩니다. 또한, 앞으로 배울 퍼셉트론·MLP·로지스틱 회귀·소프트맥스 회귀를 각각 어떤 활성화 함수와 출력 구조로 이해하면 되는지 머릿속에 지도를 그리게 해 줍니다.

 

 

 

정리: 인공 신경망과 활성화 함수가 여는 딥러닝의 문입니다

결국 2-1강과 2-2강은 “선형 회귀 = 뉴런 1개짜리 신경망”이라는 관점에서 출발해, 뉴런을 여러 개·여러 층으로 쌓아 올린 인공 신경망 구조를 소개하고, 여기에 활성화 함수라는 비선형 스위치를 더해 진짜 딥러닝 모델로 확장하는 과정을 한 호흡에 보여 줍니다. 이 두 편을 통해 인공 신경망이 단순한 블랙박스가 아니라, 선형대수와 비선형 함수가 층층이 쌓인 함수 근사기라는 사실을 이해하게 되며, 이후 퍼셉트론·MLP·로지스틱/소프트맥스 회귀, 그리고 더 깊은 네트워크로 나아갈 준비가 갖춰지게 됩니다.

 

 

다음 글

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 3강 퍼셉트론과 MLP, 로지스틱 회귀와 이진 분류, 소프트맥스 회귀와 다중 분류

꽂히는 딥러닝 | 3강 퍼셉트론과 MLP, 로지스틱 회귀와 이진 분류, 소프트맥스 회귀와 다중 분류

 

 

이 블로그의 관련 글

[AI 인공지능 머신러닝 딥러닝] - 이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

 

 

[AI 인공지능 머신러닝 딥러닝/Python | PyTorch] - 인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

 

 

[AI 인공지능 머신러닝 딥러닝] - 인공지능 딥러닝 기초 완전정복: 유튜브로 배우는 신경망·딥러닝·실습코딩 가이드

인공지능 딥러닝 기초 완전정복: 유튜브로 배우는 신경망·딥러닝·실습코딩 가이드