꽂히는 딥러닝 | 1강 선형 회귀, 경사 하강법

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 전체 강의 소개

꽂히는 딥러닝 | 전체 강의 소개

 

 

 

 

 

선형 회귀 1강부터 4강까지는 “머신러닝의 심장부”라고 할 수 있는 선형 회귀를, 개념–최적화–수학적 직관–‘선형’의 진짜 의미까지 한 번에 꿰어 주는 묶음으로 이해하면 됩니다. 이 네 편만 제대로 소화해도 이후 딥러닝 강의에서 나오는 대부분의 수식과 그래디언트 관련 설명이 훨씬 자연스럽게 받아들여지게 됩니다.

 

꽂히는 딥러닝

 

1-1강. 선형 회귀: 머신러닝의 첫 퍼즐 조각입니다

1-1강에서는 “기계가 데이터를 보고 규칙을 배운다”라는 머신러닝의 큰 그림을, 강아지·고양이 예시와 함께 supervised learning, training·test 데이터 개념으로 먼저 잡아 줍니다. 이어서 키와 몸무게 예시를 통해, 여러 데이터 포인트를 가장 잘 통과하는 직선을 찾는 문제가 곧 선형 회귀이며, 이것이 함수 근사(function approximation)의 대표적인 형태임을 설명합니다.

이때 단순히 $y = ax + b$를 쓰고 끝나는 것이 아니라, 데이터들을 행렬과 벡터로 묶어 $Ax \approx y$ 형태로 표현하고, 오차 벡터의 제곱합을 최소화하는 문제로 정리하는 과정을 보여 줍니다. 오차를 절댓값 대신 제곱으로 쓰는 이유(미분의 편의성과 부호 상쇄 문제)를 짚어 주면서, 자연스럽게 최소제곱법과 향후 최적화 알고리즘으로 이어지는 발판을 깔아 줍니다.

 

 

 

1-2강. 경사 하강법 vs 뉴턴 방법: 최소값을 찾는 두 가지 시각입니다

1-2강에서는 1-1강에서 정리한 “오차 제곱합을 최소화하는 문제”를 실제로 어떻게 푸는지에 집중하며, 경사 하강법(Gradient Descent)과 뉴턴 방법(Newton’s method)을 비교해 설명합니다. 먼저 1차 함수의 제곱 형태로부터 에너지 곡선이 2차 함수 모양이 된다는 점을 짚고, 그 위에서 기울기를 따라 조금씩 내려가는 과정이 경사 하강법임을 직관적으로 보여 줍니다.[^1]

이 과정에서 스칼라가 아닌 벡터·행렬 환경에서의 미분, 즉 “스칼라를 벡터로 미분하는 것”을 간단한 체인룰 관점에서 풀어 주며, 그 결과로 얻는 그래디언트가 항상 가장 가파르게 상승하는 방향이라는 사실을 강조합니다. 이어 러닝 레이트(learning rate)를 곱해 파라미터를 업데이트하는 식과, 2차 미분(헤시안)에 기반해 ‘한 번에 점프’를 노리는 뉴턴 방법의 아이디어를 소개하면서, 현실에서는 계산 비용 때문에 그래디언트 디센트 계열이 더 많이 쓰인다고 정리합니다.

 

 

 

1-3강. 그래디언트와 방향도함수: 기울기 벡터의 기하학입니다

1-3강은 “그래디언트가 왜 가장 가파른 방향인가?”라는 질문 하나에 집중하면서, 방향도함수(directional derivative) 개념을 통해 그래디언트의 기하학적 의미를 해부합니다. 2차원 입력 $(x_1, x_2)$ 위에 정의된 스칼라 함수 위에서, 특정 방향 벡터 $u$ 쪽으로 조금 이동했을 때 함수값이 얼마나 변하는지를 수식으로 정의하고, 이를 체인룰로 전개해 나가는 과정을 차근차근 보여 줍니다.[^2]

그 결과 방향도함수가 “그래디언트와 방향 벡터의 내적”으로 표현된다는 것을 확인하고, 내적의 기하학적 의미(두 벡터 크기와 코사인 값)를 이용해, 크기가 1인 모든 방향 벡터 중 그래디언트 방향일 때 변화율이 최대가 됨을 증명합니다. 이를 통해 1-2강에서 직관적으로 사용했던 “가장 가파른 방향으로 내려간다”는 말을 수학적으로 정당화하면서, 앞으로 딥러닝 최적화 전반을 지탱해 줄 핵심 직관을 단단히 다져 줍니다.

 

 

 

1-4강. 선형 회귀에서 ‘선형’의 진짜 의미입니다

1-4강에서는 다시 선형 회귀의 이름으로 돌아와, 여기서 말하는 ‘선형’이 단순히 “직선 그래프”라는 뜻이 아니라는 점을 분명히 합니다. 1-1강에서 정리한 $Ax \approx y$ 형태의 모델을 다시 소환해, 입력 변수 $x$에 대해 직선이냐 곡선이냐를 따지는 것이 아니라, 파라미터에 대해 선형(linear)인지 여부가 선형 회귀를 정의한다는 관점을 설명합니다.

즉, 모델이 $a, b$ 같은 파라미터에 대해 선형 공간을 이루기 때문에 선형 회귀라고 부르며, 입력 특성을 다항식이나 다른 비선형 변환으로 확장하더라도 파라미터에 대해 선형이면 여전히 “선형 모델”이라는 점을 짚어 줍니다. 이 강의는 “선형 = 1차식”이라는 오해를 풀고, 이후 로지스틱 회귀·소프트맥스 회귀·신경망 구조를 이해할 때도 일관된 시각을 유지할 수 있도록 개념을 정리해 주는 역할을 합니다.

 

 

 

정리: 선형 회귀 1–4강 묶음의 의의입니다

결국 1-1강부터 1-4강까지 네 영상은, 머신러닝의 기본 문제 설정(함수 근사와 오차 최소화), 이를 푸는 최적화 알고리즘(경사 하강법·뉴턴 방법), 그래디언트의 수학적 의미(방향도함수), 그리고 선형 모델 개념의 정확한 정의까지를 하나의 흐름으로 엮어 주는 세트입니다. 이 네 편을 통해 “데이터 → 모델 → 손실함수 → 그래디언트 → 업데이트”로 이어지는 전체 파이프라인을 명확히 이해하게 되며, 이후 인공 신경망·역전파·CNN·배치 정규화로 넘어갈 때 훨씬 가벼운 마음으로 따라갈 수 있게 됩니다.

 

 

 

다음 글

[AI 인공지능 머신러닝 딥러닝] - 꽂히는 딥러닝 | 2강 인공 신경망과 활성화 함수

꽂히는 딥러닝 | 2강 인공 신경망과 활성화 함수

 

 

이 블로그의 관련 글

[AI 인공지능 머신러닝 딥러닝] - 이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

이지 딥러닝 - 혁펜하임 | Easy! 딥러닝 - 무료 강의 및 책 소개

 

 

 

[AI 인공지능 머신러닝 딥러닝/Python | PyTorch] - 인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

인스톨! 파이토치 강의 소개 | 전체 강의 소개 및 0강 오레인테이션

 

 

[AI 인공지능 머신러닝 딥러닝] - 인공지능 딥러닝 기초 완전정복: 유튜브로 배우는 신경망·딥러닝·실습코딩 가이드

인공지능 딥러닝 기초 완전정복: 유튜브로 배우는 신경망·딥러닝·실습코딩 가이드