미분의 정의와 규칙, 그리고 인공지능/머신러닝에서 미분이 어떻게 활용되는지 실제 예시(선형 회귀, 주성분 분석)

이번 3강에서는 미분의 정의와 규칙, 그리고 인공지능/머신러닝에서 미분이 어떻게 활용되는지 실제 예시(선형 회귀, 주성분 분석)로 다룹니다.
​

강의 목표 및 주제 소개

오늘은 함수의 미분이란 무엇인지, 다양한 미분 공식(선형성, 곱셈/나눗셈/합성 함수 규칙), 그리고 이것이 머신러닝 문제 - 특히 선형 회귀, PCA에서 어떻게 쓰이는지 알아보는 시간을 가질 거예요.
​

1. 미분 가능성(Differentiability)과 정의

정의:

함수 f가 어떤 점 x 0 에서 미분가능하다는 건, 그 점에서의 접선의 기울기(변화량)가 한 값으로 딱 정해질 때를 말해요.
수식으로는,

 
또는

 입니다.
​

기하학적 의미:

(x 0 ,f(x 0))에서의 접선 기울기, 즉 순간 변화량(그래프상에서 얼마나 급하게 오르내리는지)을 보기 위한 거예요.

 

 

2. 미분 공식: 선형성, 곱/몫/합성 함수 규칙

선형성(Linearity)

두 함수 f,g가 미분가능하면,

[f(x)+g(x)]' = f'(x) + g'(x) $$

[af(x)]' = a f'(x) $$ (a는 상수) - **곱셈 공식(Product Rule)**
[f(x)g(x)]' = f'(x)g(x) + f(x)g'(x) $$

 

몫셈 공식(Quotient Rule)

 

합성 함수 공식(Chain Rule)

[g(f(x))]' = g'(f(x)) \cdot f'(x) $$
​
각각의 공식은 실제로 증명을 통해 도출할 수 있고, 모든 머신러닝의 최적화 문제에서 미분이 왜 필요한지 직관적으로 연결돼요.

 

 

 

 

3. 머신러닝 예제 – 선형 회귀(Linear Regression)와 미분

데이터 x 1 ,x 2 ,...,x n , 정답 y 1 ,y 2 ,...,y n 이 주어진 상황에서 모델 y=wx+b를 적용
​

비용함수(오차 제곱의 평균)

 

w에 대해 도함수를 구해서 0이 되는 지점을 찾는 것이 ‘최적’ 모델 파라미터를 얻는 과정이야.

실제 미분 과정을 거쳐 

로 정해져요.

 

 

 

 

4. 머신러닝 예제 – 주성분 분석(PCA)와 미분

데이터를 가장 잘 설명하는 선을 찾는 방법.

구하고자 하는 방향(벡터) v가 데이터를 최대한 잘 ‘투영(사영)’하도록 만드는 게 목적.

최적화 문제에서 미분을 이용하여 해를 구함:

(단, v T v=1), 여기서 C는 공분산 행렬

이는 고유값 문제와 연결:
Cv=λv 꼴, v들이 고유벡터, λ가 고유값이 되고, 가장 큰 고유값에 해당하는 고유벡터가 주성분
​

 

 

 

요약 및 마무리

- 미분은 변화량을 정확히 수치화하고, 머신러닝 모델의 최적 파라미터(예: 선형 회귀, PCA 등)를 계산하는 핵심 도구임
​
- 각 미분 공식은 실제 데이터 분석/기계학습 문제에서 바로바로 적용될 수 있음

- 미분 규칙마다 예제 풀이를 직접 해보면 훨씬 더 이해가 깊어질 것