[확률과 통계] - (20) 표본 평균과 표본 분산의 결합분포

 

 

 

 

$X_1$, ..., $X_n$이 평균 $\mu$와  분산 $\sigma^2$가 알려지지 않은 정규분포로부터 임의추출된 표본들이라 할 때,
평균 $\mu$와 분산 $\sigma^2$에 대한 최대가능도 추정량 (M.L.E)는 다음과 같습니다.
$$\hat{\mu} = \overline{X_n}$$
$$\hat{\sigma^2} = \frac{\sum^{n}_{i=1}(X_i - \overline{X_n})^{2}}{n}$$

 

 

 

지금부터는 이러한 두 추정량(estimator)에 대한 결합분포(joint distribution)를 유도해 보겠습니다.

 

 

저희는 이미 정규분포로부터 임의추출한 표본평균은 그 자체로 정규분포를 따르는 것을 알고 있습니다.

(중심극한정리에 의해가 아닙니다.)

$$\overline{X_n} \; \sim \; N(\mu, \frac{\sigma^{2}}{n})$$

 

 

 

 

 

이제 저희는 정규분포로부터 추출한 표본들을 통해 구한 통계량인

표본평균과 표본분산은 서로 독립인 확률 변수라는 흥미로운 사실과,

 

더 나아가 다음 식이 성립하는 것을 보일 것입니다.

$$\frac{n \hat{\sigma^{2} }}{ \sigma^{2}} \; \sim \; \chi^{2}(n-1)$$

 

 

 

즉 앞으로 배울 내용은 다음과 같습니다.

1. 정규분포로부터 추출한 표본평균(Sample Mean)과 표본분산(Sample Variance)은 독립(independent)이다.
2.
$$\frac{n \hat{\sigma^{2} }}{ \sigma^{2}} \; \sim \; \chi^{2}(n-1)$$

 

 

 

2번에 대하여 좀 더 정확하게 표현하면 다음과 같습니다.

평균 $\mu$와 분산 $\sigma^2$가 알려지지 않은 정규분포를 가진 모집단에서 임의추출한 n개의 표본들 $X_1$, ..., $X_n$에 대하여 다음이 성립합니다.

$$\frac{\sum^{n}_{i=1}(X_i - \overline{X_n})^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n-1)$$

 

 

 

 

이때 $X_1$, ..., $X_n$은 독립이며, 각각의 확률변수는 모두 평균 $\mu$와 분산 $\sigma^2$을 가진 정규분포를 따르기에,

이를 표준화한 다음 확률변수들 또한 독립이면서 SND를 가집니다.
$$\frac{(X_1 - \mu)}{\sigma}, ..., \frac{(X_n - \mu)}{\sigma}$$

 

그리고 또한 이전 글에서 다루었던 것 처럼,

카이제곱 분포는 k개의 서로 독립적인 표준 정규분포를 따르는 확률변수를 각각 제곱한 다음 합해서 얻어지며,

이 때 k가 카이제곱 분포의 자유도가 됩니다. 즉
$$\frac{\sum^{n}_{i=1}(X_1 - \mu)^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n)$$

 

 

위 식은 평균이 알려진 정규분포의 분산에 대한 최대가능도 추정량(M.L.E)을 사용하면 다음과 같이도 표현할 수 있습니다.

$$\frac{n \hat{\sigma^{2}_{0}}}{\sigma^{2}}\; \sim \; \chi^{2}(n)\;\;\;\;\; \because \;\; \hat{\sigma^{2}_{0}} = \frac{\sum^{n}_{i=1}(X_i - \mu)}{n}$$

 

 

 

 

 

배운 내용 정리

2번에서 언급하였던 특징에 대하여, 표본평균 대신 모평균이 들어간다면, 단지 카이제곱분포의 자유도가 n-1에서 n으로 바뀌는 영향을 미칩니다.

즉 다음과 같습니다.
$$\frac{\sum^{n}_{i=1}(X_i - \mu)^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n)$$
$$\frac{\sum^{n}_{i=1}(X_i - \overline{X_n})^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n-1)$$
$$\frac{n \hat{\sigma^{2}_{0}}}{\sigma^{2}}\; \sim \; \chi^{2}(n)\;\;\;\;\; \because \;\; \hat{\sigma^{2}_{0}} = \frac{
\sum^{n}_{i=1}(X_i - \mu)}{n}$$
$$\frac{n \hat{\sigma^{2}}}{\sigma^{2}}\; \sim \; \chi^{2}(n-1)\;\;\;\;\; \because \;\; \hat{\sigma^{2}} = \frac{\sum^{n}_{i=1}(X_i - \overline{X_n} )}{n}$$

 

 

 

 

표본평균과 모평균의 차이가 자유도에 영향을 미치는 이유

표본평균이 사용되었을 때, 자유도가 1 줄어드는, 즉 n-1의 자유도를 갖는 이유는
표본분산을 계산하는 공식에 표본평균이 포함되어 있기 때문입니다.

즉 이미 데이터의 정보량을 사용하여 표본평균을 추정하였는데,
표본분산의 경우 이렇게 추정된 표본평균의 값을 분산의 추정에 사용하게 됩니다.
즉 데이터를 이용하여 표본평균을 이미 한 번 추정하였으므로, 정보량에 1만큼의 손실을 입은 것입니다.

 

 

 

 

 

 

 

 

 

 

정규분포에서 추출한 표본평균과 표본분산의 독립성

평균 $\mu$와 분산 $\sigma^2$을 가진 정규분포로부터 임의추출한 n개의 표본들에 대하여,

 

표본평균과 표본분산은 아래와 같습니다.

$$\overline{X_n} = \frac{\sum^{n}_{i=1}X_i}{n}$$
$$Sample\;\;Variance\; = \frac{\sum^{n}_{i=1}(X_i-\overline{X_n}  )^{2}}{n}$$

 

 

표본평균과 표본분산은 서로 독립이며

표본평균은 다음과 같은 분포를 따릅니다.

$$\overline{X_n}  \;\sim\; N(\mu, \frac{\sigma^{2}}{n})$$

 

 

또한 표본분산에 n을 곱하고, 모분산으로 나눠준 확률변수는 자유도가 n-1인 카이제곱 분포를 따릅니다.

$$\frac{n \hat{\sigma^{2} }}{ \sigma^{2}} \; \sim \; \chi^{2}(n-1)$$

 

주의하세요!!!!!

오직 정규분포에서 추출한 경우에만 표본평균과 표본분산이 독립입니다.

 

 

 

 

 

 

 

 

 

예시