확률이론의 기초부터, 확률변수, 기대값과 분산, 그리고 확률분포(특히 정규분포)

4강에서는 확률이론의 기초부터, 확률변수, 기대값과 분산, 그리고 확률분포(특히 정규분포)까지 다룹니다.
​

강의 목표 및 전체 구성

오늘은 흔히 말하는 “확률”이 뭔지, 어떻게 수학적으로 정의하고 계산하는지, 그리고 머신러닝에서 왜 중요한지 배우는 날이에요. 확률변수, 기대값, 분산, 공분산, 다양한 확률분포(특히 정규분포)의 의미와 실제 적용까지 따라갈 거예요.
​

 

1. 확률의 정의와 해석

● 빈도주의적 확률 (Frequentist)

- 어떤 시행을 수없이 반복할 때, 특정 결과가 일어나는 비율을 확률이라고 생각(동전을 많이 던질수록 앞/뒤 확률이 0.5에 가까워짐).
​

● 베이즈적 확률 (Bayesian)

- 확률을 ‘믿음의 정도’로 해석(예: 경기가 비길 확률에 대한 주관적 기대).
​

 

2. 확률 공간과 사건, 확률 법칙

● 확률 실험/사건/표본공간

- 확률 실험: 결과가 미리 정해지지 않고, 매번 달랐던 실험(예: 주사위 던지기)

- 표본공간: 가능한 모든 결과의 집합

- 사건: 표본공간의 부분집합(예: {2,4,6}은 ‘짝수 눈이 나오는 사건’)
​

● 확률 법칙(공리)

- 어떤 사건 집합(σ-대수)에서 확률을 부여하는 특별한 규칙(0 이상, 1 이하, 전체는 1, 불연속합/덧셈 성질).
​

 

 

3. 조건부 확률과 독립성

● 조건부 확률

- A가 일어났다는 조건에서, B가 일어날 확률: P(B∣A)= P(A∩B) / P(A)

- 곱셈법칙/전체확률의 법칙도 여기서 따라옴

● 사건의 독립

- P(A∩B)=P(A)P(B)일 때, 두 사건은 서로 독립

- 즉 A가 일어나더라도 B의 확률은 변하지 않음

 

 

4. 확률변수와 분포

● 확률변수

- 실험 결과를 실수로 대응시키는 함수(예: 동전 앞→0, 뒤→1 등)
​

● 이산 확률분포

- 예) 주사위: 각 면이 나올 확률(확률질량함수)

- 주변분포(주어진 변수를 제외한 나머지 확률), 결합분포, 조건부분포

- 베이즈 공식: P(Y∣X)=  P(X∣Y)P(Y) / P(X) 등
​

● 연속 확률분포

- 확률밀도함수(f(x)), 누적분포함수(CDF, F(x)): 연속적인 값을 이용

 

 

5. 기대값(기댓값), 분산, 표준편차

● 기대값(평균)

- 이산: E[X]=∑xp(x)

- 연속: E[X]=∫xf(x)dx

- 기대값은 선형성 성질을 가짐: E[aX+bY]=aE[X]+bE[Y]

 

● 분산/표준편차

- 분산: Var(X)=E[(X−E[X]) ^ 2 ]

- 표준편차: Std(X)= 루트 Var(X)

 

● 공분산/상관관계

- 두 확률변수 X, Y의 공분산:  Cov(X,Y)=E[(X−E[X])(Y−E[Y])]

- 상관계수: Corr(X,Y)=  Cov(X,Y)/ 루트Var(X)Var(Y)

-  -1과 1 사이, 1은 강한 양의 상관, 0은 무관, -1은 강한 음의 상관
​

 

 

6. 주요 확률분포의 예와 특징

● 이산 균등분포: 모든 값이 똑같이 나올 확률

● 연속 균등분포: 구간 어디서나 나올 확률이 같음

● 정규분포(가우시안)

- 중심극한정리에 의해 많은 자연현상이 정규분포를 따름

- 평균 μ, 표준편차 σ로 완전히 결정됨. 종 모양의 곡선

- 모든 모멘트(평균, 분산, 왜도, 첨도 등)로 완전히 특성화할 수 있음
​

 

 

 

7. 모멘트(moment)와 첨도/왜도(skewness/kurtosis)

● 모멘트

- 확률분포의 여러 특징을 수치로 요약하는 도구(평균, 분산 등도 모두 모멘트)

- n차 모멘트란 평균에서 먼 쪽으로 얼마나 퍼져있는지를 측정
​

● 왜도/첨도

- 왜도: 분포가 오른쪽/왼쪽 어디로 치우쳤나 나타냄

- 첨도: 분포가 얼마나 뾰족하거나 납작한가를 나타냄

 

 

 

 

8. 공분산 행렬과 고차원 확률

● 공분산 행렬

- 여러 확률변수(X1, ... Xn) 간의 관계를 정리

- 대칭, 양의 준정부호 행렬이라서 다양한 수학적·통계적 성질을 가짐
​

 

 

 

요약 정리

- 확률이론은 데이터의 불확실성을 다루는 핵심 언어

- 확률공간, 확률변수, 기대값, 분산, 표준분포(정규분포, 균등분포), 그리고 고차원 공분산까지 머신러닝·통계의 기초임

- 직접 계산 예시와 시각화로 개념을 연습하는 것이 가장 효과적!

 

 

 

---

 

Empirical mean ?

수학에서 empirical mean은 관찰이나 실험을 통해 얻은 데이터 값들의 산술 평균을 의미합니다. 이는 전체 모집단이 아니라 실제로 수집한 표본 데이터의 평균값으로, 확률 변수의 기댓값(평균)을 추정하는 통계량입니다. 표본의 각 관측값을 더한 뒤 관측값의 개수로 나누어 계산하며, 표본평균(sample mean) 또는 경험적 평균(empirical mean)이라고도 합니다.

이 값은 통계학과 확률론에서 중요한 역할을 하는데, 독립적이고 동일한 분포(iid)의 표본을 많이 모을수록 이 empirical mean은 모집단의 기대값에 가까워지는 성질(대수의 법칙)을 갖습니다. 그래서 모집단의 평균을 직접 알 수 없을 때, 실험이나 관찰을 통해 얻은 데이터로 평균을 추정하는 데 사용됩니다. 

요약하면, 수학에서 empirical mean은 데이터를 기반으로 계산한 평균값으로, 모집단 평균의 추정량 역할을 합니다.