6 min to read
[수리통계학] 2. 다차원 확률변수의 확률분포
Mathematical Statistics
[수리통계학] 2. 다차원 확률변수의 확률분포
목차
- 확률분포
- 다차원 확률변수의 확률분포
- 이산형 확률분포
- 연속형 확률분포
- 대표적인 표본분포
- 중심극한정리
- 극한분포와 확률수렴
- 추정
- 검정
- 추정량의 비교
- 검정의 비교
- 분산분석과 회귀분석
- 베이지안 추론
2.1. 두 확률변수의 분포
이변량 확률벡터
- 확률변수 X, Y의 순서쌍 (X, Y)이 가질 수 있는 집합을 ${(x_i, y_j):i = 1,2,\cdots , \; j = 1,2,\cdots}$일 때 $f_{X,Y}(x_i, y_j)=P(X=x_i, Y=y_j)$를 이차원 확률벡터 (X,Y)의 확률밀도함수(pdf)라고 한다.
이산형 이차원 확률변수의 pdf
① $f(x, y) \geq 0, \;\; for \;\forall (x, y) \in (X, Y)$
② $\sum_x \sum_y f(x,y) = \sum_{i=1}^\infty \sum_{j=1}^\infty f(x_i, y_j) = 1$
③ $\sum_{a \leq x \leq b} \sum_{c \leq y \leq d} f(x,y) = P(a \leq X \leq b, \;c \leq Y \leq d)$
연속형 이차원 확률변수의 pdf
① $f(x, y) \geq 0, \;\; for \;\forall (x, y) \in (X, Y)$
② $\int_x \int_y f(x,y)dydx = 1$
③ $\int_a^b \int_c^d f(x,y)dydx = P(a \leq X \leq b, \;c \leq Y \leq d)$
결합/주변밀도함수
- (X,Y)의 분포를 결합(joint) 확률분포, X의 분포와 Y의 분포를 X와 Y의 주변(marginal) 확률분포라고 한다.
① X의 marginal pdf : $f_1(x) = \sum_y f(x,y) \;(이산형) \;/ \;\int_{-\infty}^{\infty}f(x,y)dy \;(연속형)$
② Y의 marginal pdf : $f_2(y) = \sum_x f(x,y) \;(이산형) \;/ \;\int_{-\infty}^{\infty}f(x,y)dx \;(연속형)$
결합누적분포함수
- 1) (이산형) X, Y의 값들이 $x_1 < x_2 < \cdots$, $\;y_1 < y_2 < \cdots$ 일 때 $F(x_m, y_n) = P(X \leq x_m, Y \leq y_n) = \sum_{i=1}^m \sum_{j=1}^n f(x_i, y_j)$
이때 $f(x_i, y_j)= F(x_i, y_j) - F(x_{i-1}, y_j) - F(x_i, y_{j-1}) + F(x_{i-1}, y_{j-1})$
- 2) (연속형) $\;F(x, y) = P(X \leq x, Y \leq y) = \int_{-\infty}^x \int_{-\infty}^y f(t, u)dudt$
이때 $f(x,y) = \frac{\partial^2}{\partial x \partial y}F(x,y)$
- 3) 결합 cdf의 성질:
① : (증가성)
$F(x,y) \leq F(x+h, y), \; F(x,y) \leq F(x, y+h)$, for $\;\forall h >0$
② : (전체변동)
$\lim_{x \to -\infty} F(x, y_0)=0, \;\lim_{y \to -\infty}F(x_0, y)=0, \;\;\lim_{x \to \infty, y \to \infty}F(x, y)=1$
③ : (우측연속성)
$\lim_{h \to 0} F(x+h, y) = F(x,y) = \lim_{h \to 0} F(x, y+h) \;\;for \; \forall \;h>0$
주변누적분포함수
- (X, y)의 결합누적분포함수에서 X의 cdf와 Y의 cdf를 각각 X와 Y의 주변(marginal) 누적분포함수라고 한다.
① X의 marginal cdf :
$F_1(x) = P(X \leq x) = P(X \leq x, Y < +\infty) = \lim_{y \to \infty} F(x,y)$
② Y의 marginal cdf :
$F_2(y) = P(Y \leq y) = P(X < +\infty, Y \leq y) = \lim_{x \to \infty} F(x,y)$
2.2. 결합확률분포의 특성치
결합확률분포의 기댓값
- (X, Y)의 pdf가 f(x, y)일 때, 실함수 g(x,y)에 대해 기댓값 ($E[g(X, Y)]$)은
이산형일 때 $\sum_{x} \sum_{y} g(x,y)f(x, y)$,
연속형일 때 $\int_x \int_y g(x,y)f(x,y)dydx$
결합확률분포의 기댓값 성질 :
① : (선형성) $E[c_1g_1(X, Y) + c_2g_2(X,Y)] = c_1E[g_1(X, Y)] + c_2E[g_2(X,Y)]$ (이때, $c_1, c_2$는 상수)
② : (단조성) $g_1(X, Y) \leq g_2(X, Y)$이면 $E[g_1(X, Y)] \leq E[g_2(X, Y)]$
공분산과 상관계수
-
- 1) 공분산
- (X, Y)의 평균과 표준편차를 $(\mu_1, \mu_2), \; (\sigma_1, \sigma_2)$라고 할 때,
X와 Y의 공분산(covariance)은 $Cov(X, Y) = E[(X-\mu_1)(Y-\mu_2)]$이때, $Cov(X, Y) = \sigma_{12} \;또는 \; \sigma_{X,Y}$
-
- 2) 상관계수
- $\sigma_1 \neq 0, \; \sigma_2 \neq 0$일 때, 상관계수(correlation coefficient)는
$Corr(X, Y) = \frac{Cov(X,Y)}{\sqrt{Var(X)} \cdot \sqrt{Var(Y)}} = \frac{Cov(X,Y)}{\sigma_1 \cdot \sigma_2}$공분산은 평균으로부터 변화하는 방향과 변화의 양에 대한 정보를 나타냄.
이때, 두 변수의 편차를 고려하여 표준편차를 나눈 것이 상관계수다.
- 2) 상관계수
-
3) 공분산의 성질
① : $Cov(X,Y) = Cov(Y,X), \;\; Cov(X, X) = Var(X)$
② : $Cov(aX+b, cY+d) = ac \cdot Cov(X,Y)$
③ : $Cov(X, Y) = E(XY) - E(X)\cdot E(Y)$
- 4) 상관계수의 성질
(X, Y)의 평균과 표준편차를 $(\mu_1, \mu_2), \; (\sigma_1, \sigma_2)$, X와 Y의 상관계수를 $\;\rho = Corr(X,Y)$라고 할 때,
① : $Var(\frac{Y-\mu_2}{\sigma_2} - \rho \frac{X-\mu_1}{\sigma_1}) = 1-\rho^2$
② : $-1 \leq \rho \leq 1$
③ : $\rho = 1 \iff P(\frac{Y-\mu_2}{\sigma_2} = \frac{X-\mu_1}{\sigma_1}) = 1$
$\rho = -1 \iff P(\frac{Y-\mu_2}{\sigma_2} = -\frac{X-\mu_1}{\sigma_1} = 1$
이때 $\rho = 0$이라고 해서 X와 Y가 아무런 선형관계가 없다는 것은 아니다.
2.3. 결합적률
결합적률
- $E[|X^rY^s|] < \infty$일 때,
$E(X^rY^s) = \sum_x \sum_y x^ry^sf(x,y) \;$(이산형)
$\;\;\;\;\;\;\;\;\;\;\;\;\;\;=\int_x \int_yx^ry^sf(x,y)dydx\;$ (연속형)를 (X, Y)의 (r+s)차의 (r,s)번째 결합적률(joint moment)라고 한다.기호로 $m_{r,s}(X, Y) = m_{r,s}$로 나타낸다.
결합적률생성함수
- 0을 포함하는 열린구간 내의 $t_1, t_2$에 대해 $E(e^{t_1X + t_2Y})$일 때, $M(t_1, t_2) = E(e^{t_1X + t_2Y})$를 (X, Y)의 결합적률생성함수(joint moment generating function)이라 한다.
① (결합적률생성)
$M(t_1, t_2) < \infty$일 때, $(\exists \; h_1, h_2>0 \;\; s.t. \; -h_1 < t_1 < h_1, \; -h_2 < t_2 , h_2)$
(X, Y)의 모든 결합적률이 존재하고
$E(X^rY^s) = | \frac{\partial^{r+s}}{\partial t_1^r \partial t_2^s}M(t_1, t_2)|{t_1=0, t_2=0}$
$\iff M(t_1, t_2) = \sum{r=0}^\infty \sum_{s=0}^\infty \frac{E(X^rY^s)}{r!s!} t_1^r t_2^s$
② (분포결정성)
$(X_1, X_2), (Y_1, Y_2)$의 결합적률생성함수가 존재할 때,
$M_{X_1, X_2}(t_1, t_2)=M_{Y_1, Y_2}(t_1, t_2)$이면 $(X_1, X_2), (Y_1, Y_2)$의 확률분포가 일치한다.
결합누율생성함수
- $C(t_1, t_2) = logM(t_1, t_2) = logE(e^{t_1X + t_2Y}) = \sum_{r=0}^\infty \sum_{s=0}^\infty \frac{C^{(r,s)}(0,0)}{r! s!}t_1^r t_2^s$
이때 $C^{(r,s)}(0,0) = | \frac{\partial{^{r+s}}}{\partial t_1^r \partial t_2^s}C(t_1, t_2)|_{t_1=0, t_2=0}$를 (r+s)차의 (r,s)번째 결합누율이라고 한다.
2.4. 조건부분포
조건부 확률밀도함수
- $f_{2|1}(y|x) = \frac{f_{1,2}(x,y)}{f_1(x)} = P(Y=y|X=x) \; for \; x:f_1(x) >0$
조건부확률의 성질 :
$P(a \leq X \leq b, c \leq Y \leq d)$
$= (이산형)\;\sum_{a \leq X \leq b} P(c \leq Y \leq d |X=x)\cdot f_1(x)$
$= (연속형)\;\int_a^b P(c \leq Y \leq d |X=x)\cdot f_1(x)dx$
조건부 기댓값
- $E[g(X, Y)|X=x] = \sum_y g(x,y)f_{2|1}(y|x) \;\; / \int_y g(x,y)f_{2|1}(y|x)dy$
① 선형성
$E[cg_1(Y) + c(X)g_2(Y)|X=x] = cE[g_1(Y)|X=x] + c(x)E[g(Y)|X=x]$
이때 c, c(X)는 X=x에서 상수
② 단조성
$g_1(Y) \leq g_2(Y)$이면 $E[g_1(Y)|X=x] \leq E[g_2(Y)|X=x]$
조건부 분산
- $\mu_{2|1}(x) = E(Y|X=x)$일 때, 조건부 분산은 다음과 같다.
$Var(Y|X=x) = E[(Y-\mu_{2|1}(x))^2|X=x]$
$\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;= E(Y^2|X=x) - {E(Y|X=x)}^2$① $E(Y) = E[E(Y|X)]$
② $Var(Y) = E[Var(Y|X)] + Var[E(Y|X)]$
최소제곱 예측자
- $E(Y|X)$는 Y를 예측하는 가장 좋은 X의 함수
더 자세한 것은 회귀분석에서 Y의 추정량 형태로 배울 것이다.
2.5. 확률변수의 독립성
X와 Y가 서로 독립일 필요충분조건
- ① : (누적분포함수) $\;cdf_{1,2}(x,y) = cdf_1(x) \cdot cdf_2(y)$
② : (확률밀도함수) $\;pdf_{1,2}(x,y) = pdf_1(x) \cdot pdf_2(y)$
③ : (적률생성함수) $\;mgf_{1,2}(x,y) = mgf_1(x) \cdot mgf_2(y)$
④ : (확률측도) $\;P(X \in A, \;Y \in B) = P(X \in A)P(Y \in B)$확률변수 X, Y가 독립이면 각각의 함수인 $f(X), \;h(Y)$도 독립이다.
(참고문헌)
- 김우철, 『수리통계학』, 민영사
- Hogg, 『Probability and Statistical Inference』, Pearson
- Wikipedia
Comments