[확률과 통계] - (23) 불편추정량 (Unbiased estimator) (feat. 표본분산을 n-1로 나누는 이유)

 

 

 

 

Biased(편의)

편의는 다음과 같이 정의됩니다.

편의 = 추정량의 기댓값 - 모수

예를 들어 대표적인 추정량인 표본평균에 대한 편의를 구해보겠습니다.

 

 

표본평균의 기대값은 다음과 같습니다.

 

표본평균은 다음과 같으므로

$$\overline{X_n}  = \frac{1}{n}\sum^{n}_{i=1}X_i$$

 

 

표본평균의 평균은 다음과 같습니다.

$$E(\overline{X_n})=\frac{1}{n}\cdot E(X_1+X_2+\cdots +X_n) $$

$$=\frac{1}{n}\cdot (E(X_1)+E(X_2)+\cdots +E(X_n ))$$

$$=\frac{1}{n}\cdot n \cdot E(X_1)$$

$$= \frac{1}{n} \cdot n \cdot \mu = \mu $$

 

즉 표본평균(추정량)과 모평균(모수)가 동일하므로 편의가 0입니다.

 

이러한 경우(편의 = 0), 추정량은 편의가 없는 추정량 즉, 불편추정량이라 부릅니다.

 

 

 

 

 

 

 

 

 

 

 

 

좋은 추정량에 대하여

알려지지 않은 모수 $\theta$를 가진 분포로부터 추출한 n개의 표본들 $X_1, ..., X_n$가 주어졌을 때(관찰되었을 때),
모수를 추정하기 위한 추정량을 다음과 같이 정의합니다.

$\delta(x_1, ..., x_n) $ : $g(\theta)$ 에 대한 추정량(estimator)
(이때, 가능도 함수의 값을 최대로 만드는 추정량( $\delta$ )을 최대가능도추정량(M.L.E)이라 부릅니다.)

 

 

M.L.E 외에도 많은 추정량이 있으며, 이러한 추정량 중 좋은 추정량을 사용할수록 모집단에 대한 추정을 더욱 잘 할 수 있을 것입니다.

$g(\theta)$ 에 독립적으로($g(\theta)$에 상관없이), 추정량($\delta$)의 결과값(추정값, estimate)이 $g(\theta)$에 가까울 확률이 높은 추정량을 좋은 추정량이라 합니다.

 

이때 '$g(\theta)$에 가깝다'를 정의하기 위해 기댓값(expectation)을 사용합니다.

 

 

 

 

예를 들어보겠습니다.

 

정규분포 N($\mu$, 1)을 따르는 모집단으로부터 추출한 n개의 표본들에 대한 벡터를 X=($X_1$, ..., $X_n$)이라 정의하였을 때, 

$\mu$에 대한 M.L.E는 다음과 같습니다.

$$MLE \; of\; \mu = \; \overline{X}_n$$

 

이때 표본평균은 다음과 같은 분포를 따릅니다.

$$\overline{X}_n \; \sim \; N(\mu, \frac{1}{n})$$

 

즉 표본평균의 평균은 모평균과 같으므로, 다음과 같습니다.

$$E(\overline{X}_n) = \mu$$

 

 

 

 

 

 

 

 

불편추정량(Unbiased estimator)

추정량 $\delta(X)$ 가 아래를 만족할 경우에만 $\delta$ 를 불편추정량(Unbiased estimator)이라 부릅니다.  
$$E_{\theta}(\delta(X)) = g(\theta)$$

위를 만족하지 않는 경우, $\delta$ 를 편의 추정량(Bias of an estimator)이라 부릅니다.

편향(Bias)은 다음과 같이 정의됩니다.
$$E_{\theta}(\delta(X)) - g(\theta)$$

 

 

예를 들어 표본평균의 평균(기댓값)은 모평균과 같으므로, 표본평균은 불편추정량입니다.

 

 

 

 

 

 

 

 

 

 

표본분산을 n-1로 나누는 이유

대부분의 책들이나 인터넷에서, 표본분산을 구할 때 표본평균과 다르게 n이 아닌 n-1로 나누어서 구합니다.

사실 n으로 나누는 것이 맞지만, n-1로 나누는 이유는 표본분산을 불편추정량으로 만들기 위함입니다.

 

즉 표본분산을 구할 때 n으로 나눈다면, 표본분산의 기댓값은 모분산과 다르게 나옵니다.

그러나 n-1로 나눈다면, 표본분산의 기댓값이 모분산과 정확히 일치합니다.

이제부터 이에 대한 증명을 해보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

분산에 대한 불편추정량

모수 $\theta$ 에 의존적인 어떠한 분포로부터 임의추출한 n개의 표본들에 대하여,
해당 분산의 유한(finite)하다고 가정하겠습니다.
그리고 $g(\theta)$를 다음과 같이 정의합니다
$$g(\theta) = Var_{\theta}(X_1)$$
다음은 분산$g(\theta)$ 의 불편추정량입니다.
$$\hat{\sigma_{1}^{2}} = \frac{1}{n-1}\sum^{n}_{i=1}(X_1 - \overline{X}_n)^{2}$$

 

 

 

이에 대한 증명은 다음과 같습니다.

 

다음과 같이 정의하겠습니다.

$$E_{\theta}(X_1) = \mu $$
$$\sigma^{2} = g(\theta) = Var_{theta}(X_1)$$

 

이때 표본평균은 모평균($\mu$ )에 대한 불편추정량입니다.

 

표본분산도 표본평균과 마찬가지로, 다음처럼 정의하는 것이 자연스럽습니다.

$$\hat{\sigma^{2}} = \frac{\sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}}{n}$$

 

 

 

이제 이렇게 정의된 표본분산이 불편추정량인지 확인해 보겠습니다.

우선 계산을 편하게 하기 위해 다음을 등식을 증명하겠습니다.

$$\sum^{n}_{i=1}(X_i - \mu)^{2} = \sum^{n}_{i=1}(X_i - \overline{X_n})^{2} + n(\overline{X_n} - \mu)^{2}$$

$$\sum^{n}_{i=1}(X_i - \mu)^{2} = \sum^{n}_{i=1}(X_i - \overline{X_n} - \mu + \overline{X_n} )^{2}$$

$$ =\sum^{n}_{i=1}(X_i - \overline{X_n})^{2} + \sum^{n}_{i=1}(\overline{X_n} - \mu)^{2}$$

$$ =\sum^{n}_{i=1}(X_i - \overline{X_n})^{2} + n(\overline{X_n} - \mu)^{2}$$

 

 

 

이제 이를 사용하여 증명하도록 하겠습니다.

 

 

 

 

 

 

예시