[확률과 통계] - (22) 신뢰구간(Confidence Intervals)

 

 

 

지금까지 저희가 배운 카이제곱분포와 t분포를 통해, 모수(모평균, 모분산)을 추정할 수 있다고만 하였지 실제로 하는 방법은 모른 체 넘어갔습니다.

이제부터는 이 두 분포를 사용하여 모평균과 모분산을 추정하는 방법에 대해서 알아보겠습니다.

 

그전에 우선 지금까지 배웠던 카이제곱분포와 T분포에서 중요한 것을들 정리하고 넘어가겠습니다.

T 분포

모평균을 추정할 때 사용합니다.

정규분포를 따르는 확률변수를 정규화할 때,
σ(모분산) 대신  σ'을 사용하여 정규화한다면  U와 같아지며,
따라서 정규화된 분포는 SND에서 자유도가 n-1인 t 분포로 바뀝니다.
$$Z = \frac{(\overline{X}_n-\mu)}{\frac{\sigma}{\sqrt{n}}} \; \sim \; N(0, 1^{2})$$
$$\frac{\overline{X}_n - \mu}{\frac{\sigma'}{\sqrt{n}}} \;\sim\;T(n-1)$$

 

카이제곱분포

모분산을 추정할 때 사용합니다.

$$\frac{\sum^{n}_{i=1}(X_i - \mu)^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n)$$
$$\frac{\sum^{n}_{i=1}(X_i - \overline{X_n})^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n-1)$$
$$\frac{n \hat{\sigma^{2}_{0}}}{\sigma^{2}}\; \sim \; \chi^{2}(n)\;\;\;\;\; \because \;\; \hat{\sigma^{2}_{0}} = \frac{
\sum^{n}_{i=1}(X_i - \mu)}{n}$$
$$\frac{n \hat{\sigma^{2}}}{\sigma^{2}}\; \sim \; \chi^{2}(n-1)\;\;\;\;\; \because \;\; \hat{\sigma^{2}} = \frac{\sum^{n}_{i=1}(X_i - \overline{X_n} )}{n}$$

 

 

 

 

 

 

모수의 추정

모수를 추정하는 방법으로는 점추정과 구간추정이 있습니다.

 

점추정은 표본으로부터 모수의 값에 가까우리라고 예상되는 하나의 값을 제시하는 것입니다.

구간추정은 모수를 포함하리라고 예상되는 적절한 구간을 구하는 것입니다.

 

 

예를 들어, '나 10~15분 정도 늦을 거 같아!'는 구간 추정, '나 7분 32초 늦을 거 같아!'는 점 추정이라고 생각해볼 수 있습니다.

 

 

 

 

 

 

 

 

신뢰구간에 대한 이해

정규분포 N(μ, σ^2)를 따르는 모집단으로부터 추출한 n개의 임의표본들에 대하여, 모평균에 대한 신뢰구간을 구하는 방법은 다음과 같습니다.

모분산을 아는 경우 : 정규분포를 활용합니다.

모분산을 모르는 경우 : 표본의 수(n)가 30보다 크다면 정규분포를 활용합니다.

t분포에서 확인하였듯이, σ'(표본분산[불편추정량, n-1로 나누는])은 n이 커짐에 따라 모분산에 수렴합니다.
즉 표본의 수가 크다면 표본평균의 분산을 모분산 대신 사용하여도 문제되지 않습니다.

따라서 이 경우 바로 정규분포를 활용하여 모평균을 추정할 수 있습니다.

모분산을 모르는 경우 :  표본의 수(n)가 30 미만이라면 t분포를 활용합니다.

표본의 수가 작다면 표본평균의 분산을 모분산 대신 사용하면 문제됩니다.
(t분포를 사용하기 위해서는 반드시 모집단이 정규분포를 따라야 합니다.)

 

 

 

 

 

 

 

모분산을 알고있는 경우

확률변수 Z를 표본평균을 정규화시킨 확률변수로 정의하겠습니다.
$$Z = \frac{\overline{X}_n - \mu}{\frac{\sigma}{\sqrt{n}}} \;\sim\; N(0, 1^{2})$$

0보다 큰 모든 c 에 대하여, 아래 식을 계산할 수 있으며, 해당 식은 모평균에 대한 구간을 구하는 부등식으로 변형될 수 있습니다.
$$P(-c <Z< c) = 2\Phi(c) - 1$$
$$P(-c <\frac{\overline{X}_n - \mu}{\frac{\sigma}{\sqrt{n}}} < c) = 2\Phi(c) - 1$$
$$P(-c \frac{\sigma}{\sqrt{n}}< \overline{X}_n - \mu < \frac{\sigma}{\sqrt{n}}c ) = 2\Phi(c) - 1$$

최종적으로 다음이 유도됩니다.
$$P( \overline{X}_n -c \frac{\sigma}{\sqrt{n}}< \mu < \overline{X}_n + \frac{\sigma}{\sqrt{n}}c ) = 2\Phi(c) - 1$$

 

 

 

 

 

모분산을 모르는 경우(표본의 수가 적을 때)

확률변수 U를 다음과 같이 정의합니다.
$$ U = \frac{\overline{X}_n - \mu}{\frac{\sigma ' }{\sqrt{n}}}$$
이때 U는 이전에 확인했던 것 처럼, 자유도가 n-1인 t 분포를 따릅니다. 즉,
$$ U = \frac{\overline{X}_n - \mu}{\frac{\sigma ' }{\sqrt{n}}}\;\sim\;T(n-1)$$



T(n-1)의 c.d.f는 다음과 같이 표현해보도록 하겠습니다.
$$T_{n-1}(x)$$
$$P(-c <U< c) = 2T_{n-1}(c) - 1$$
$$P(-c <\frac{\overline{X}_n - \mu}{\frac{\sigma'}{\sqrt{n}}} < c) = 2T_{n-1}(c) - 1$$
$$P(-c \frac{\sigma'}{\sqrt{n}}< \overline{X}_n - \mu < \frac{\sigma'}{\sqrt{n}}c ) =  2T_{n-1}(c) - 1$$

최종적으로 다음이 유도됩니다.
$$P( \overline{X}_n -c \frac{\sigma'}{\sqrt{n}}< \mu < \overline{X}_n + \frac{\sigma'}{\sqrt{n}}c ) =  2T_{n-1}(c) - 1$$

 

이때 주의해야 할 점이 있습니다.

위에서 유도된 마지막 식은 고정된 μ에 대하여, 표본평균과 σ'의 joint distributuon(결합분포)입니다.

즉 평균을 기준으로 평균보다 작은 확률변수(1)와, 평균보다 큰 확률변수(2)로 생각할 수 있으며, 결국 신뢰구간이 의미하는 것은 다음과 같습니다.

신뢰구간도 결국은 확률이며, 이때 해당 확률이 의미하는 것은
확률변수 (1)과 (2)가 모평균 μ 를 기준으로 반대편에 있을 확률을 의미하는 것입니다.

 

 

 

 

 

 

 

 

 

 

 

 

신뢰구간

모수 θ에 의존하는 분포로부터 임의추출한 표본들에 대한 벡터 X를 다음과 같이 정의합니다.
$$X = (X_1, ... , X_n)$$

g(θ)를 θ에 대한 real-valued function라고 하겠습니다.

두 통계량 A와 B를 정의하겠습니다. 이때 B는 A 이상입니다. (A <= B)

A와 B가 θ의 모든 값에 대하여, 다음을 만족할 때,
$$P(A < g(\theta) < B) \geq \gamma $$

이때 구간 (A, B)는 g(θ)에 대한 신뢰구간의 계수 γ 또는 g(θ)에 대한 100 * γ 퍼센트의 신뢰구간이라 불립니다.

g(θ)에 대한 신뢰구간의 계수 γ : (two-sided) coefficient γ confidence interval for g(θ)  
g(θ)에 대한 100 * γ 퍼센트의 신뢰구간 : 100 * γ percent confidence interval for g(θ) 

또한 위 부등식이 등식으로 바뀌는 경우, 이를 정확하다(exact)라고 표현합니다.
$$P(A < g(\theta) < B)= \gamma $$

이때 구간 (A, B)는 g(θ)에 대한 정확한 신뢰구간의 계수 γ 또는, g(θ)에 대한 100 * γ 퍼센트의 신뢰구간이라 불립니다.

g(θ)에 대한 정확한 신뢰구간의 계수 γ : (two-sided) exact coefficient γ confidence interval for g(θ)   
g(θ)에 대한 100 * γ 퍼센트의 신뢰구간 :  exact 100 * γ percent confidence interval for g(θ)  

 

 

예시)

 

 

 

 

 

 

 

 

 

 

 

 

정규 분포의 평균에 대한 신뢰 구간

정규분포 N(μ, σ^2)에서 추출한 n개의 표본들에 대하여, 0과 1 사이의 값을 가지는 γ에 대하여 ( 0 < γ < 1 ), 
오직 다음을 만족하는 경우에만 구간 (A, B)를 100 * γ confidence interval of μ(평균에 대한 100*γ퍼센트 신뢰구간)이라 부릅니다. 또한 역도 성립합니다.

$$A = \overline{X}_n - T_{n-1}^{-1}(\frac{1+\gamma}{2}) \frac{\sigma '}{n^{\frac{1}{2}}}$$
$$B = \overline{X}_n + T_{n-1}^{-1}(\frac{1+\gamma}{2}) \frac{\sigma '}{n^{\frac{1}{2}}}$$

 

 

 

증명

100*γ퍼센트 신뢰구간은 다음과 같습니다.

$$P(\overline{X}_n - c\frac{\sigma'}{\sqrt{n}} <\mu<\overline{X}_n + c\frac{\sigma ' }{\sqrt{n}}) = 2T_{n-1}(c)-1$$

 

이때 c는 다음과 같으므로,

$$2 T_{n-1}(c) -1 = \gamma$$

$$T_{n-1}(c)  = \frac{\gamma + 1}{2}$$

$$\to c = T_{n-1}^{-1}(\frac{r+1}{2})$$

 

대입하면 

$$P(\overline{X}_n - T_{n-1}^{-1}(\frac{r+1}{2}) \cdot \frac{\sigma'}{\sqrt{n}} <\mu<\overline{X}_n + T_{n-1}^{-1}(\frac{r+1}{2}) \cdot \frac{\sigma ' }{\sqrt{n}}) = 2T_{n-1}(c)-1$$

 

 

즉 이때 A와 B는 다음과 같으므로, 증명됩니다.

$$A = \overline{X}_n - T_{n-1}^{-1}(\frac{1+\gamma}{2}) \frac{\sigma '}{n^{\frac{1}{2}}}$$
$$B = \overline{X}_n + T_{n-1}^{-1}(\frac{1+\gamma}{2}) \frac{\sigma '}{n^{\frac{1}{2}}}$$

 

 

 

 

 

예시

 

 

 

 

 

 

 

 

 

 

 

One-Sided Confidence Intervals(단방향 신뢰구간)

모수 θ에 의존하는 분포에서 임의추출된 n개의 표본들에 대한 벡터 X = (X1, ..., Xn)에 대하여, 
g(θ)는 θ에 대한 real-valued function이라 하겠습니다.

A, B는 통계량(statistic)입니다.

만약 A가 다음을 만족한다면,
$$P(A<g(\theta)) \geq \gamma$$
다음 구간(A, ∞)에 대하여 다음과 같이 표현합니다.
- one-sided coefficient γ confidence interval for g(θ) 
- one-sided 100 * γ percent confidence interval for g(θ)

또한 A는 다음처럼 표현합니다.
- coefficient γ lower confidence limit for g(θ)   [좌측 신뢰한계]
- 100γ percent lower confidence limit for g(θ)

비슷하게도 B가 다음을 만족한다면,
$$P(g(\theta) < B) \geq \gamma$$
다음 구간(-∞, B)에 대하여 다음과 같이 표현합니다.
- one-sided coefficient γ confidence interval for g(θ) 
- one-sided 100 * γ percent confidence interval for g(θ)

또한 B는 다음처럼 표현합니다.
- coefficient γ upper confidence limit for g(θ)  [우측 신뢰한계]
- 100γ percent upper confidence limit for g(θ)

 

 

 

 

 

 

 

 

 

 

정규 분포의 평균에 대한 단방향 신뢰 구간

정규분포 N(μ, σ^2)에서 추출한 n개의 표본들과,
0과 1 사이의 값을 가지는 γ에 대하여 ( 0 < γ < 1 ),

오직 다음을 만족하는 경우에만 구간 (A, B)를 
100 * γ lower/upper confidence limit of μ (평균에 대한 100*γ퍼센트 (좌측/우측) 신뢰 한계)라 부릅니다.
또한 역도 성립합니다.

$$A = \overline{X}_n - T_{n-1}^{-1}(\gamma) \frac{\sigma '}{n^{\frac{1}{2}}}$$
$$B = \overline{X}_n + T_{n-1}^{-1}(\gamma) \frac{\sigma '}{n^{\frac{1}{2}}}$$

 

 

 

증명

좌측 신뢰 한계는 다음과 같습니다.

$$P(A < g(\theta)) = \gamma$$

 

 

이를 얻기 위하여, 다음 식으로부터 시작합니다.

$$P(c > \frac{\overline{X}_n - \mu}{\frac{\sigma'}{\sqrt{n}}}) = \gamma$$

 

 

이때 다음과 같은 과정을 통해 c를 얻을 수 있습니다.

$$\frac{\overline{X}_n - \mu}{\frac{\sigma'}{\sqrt{n}}} = U \; \sim \; T(n-1)$$

$$T_{n-1}(c) = \gamma $$

$$c = T_{n-1}^{-1}(\gamma)$$

 

 

해당 c를 대입한 후, 평균에 대하여 바꾸어주면

$$P(c > \frac{\overline{X}_n - \mu}{\frac{\sigma'}{\sqrt{n}}}) = \gamma$$

$$P(c \frac{\sigma'}{\sqrt{n}} > \overline{X}_n - \mu) = \gamma$$

$$P( \overline{X}_n  - T_{n-1}^{-1}(\gamma) \frac{\sigma'}{\sqrt{n}} < \mu) = \gamma$$

 

 

따라서 A는 다음과 같습니다.

$$A = \overline{X}_n - T_{n-1}^{-1}(\gamma) \frac{\sigma '}{n^{\frac{1}{2}}}$$

 

 

 

 

 

 

우측 신뢰 한계의 경우에도 마찬가지로 구할 수 있습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

분산에 대한 신뢰구간

분산에 대한 신뢰구간은 카이제곱 분포를 사용하여 구합니다.

 

정규분포 N(μ, σ^2) 에서 추출한 n개의 임의 표본들을 통하여 분산에 대한 신뢰구간을 구해보겠습니다.


$$\frac{n\hat{\sigma^{2}}}{\sigma^{2}} \;\sim\; \chi^{2}(n-1)$$
$$\to\;\; \frac{\sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}}{\sigma^{2}} \;\sim\; \chi^{2}(n-1)$$

$$P(c < \frac{\sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}}{\sigma^{2}} ) = \gamma$$
이는 다음과 같습니다.
$$P( \frac{\sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}}{\sigma^{2}}  \leq c ) = 1-\gamma$$
(대칭성을 사용한 것이 아닌, 확률의 총 합은 1인 것을 사용하였습니다. 카이제곱분포는 대칭성을 가지지 않습니다.)

자유도 n-1을 가지는 카이제곱분포의 c.d.f를 다음과 같이 표현하겠습니다.
$$\chi^{2}_{n-1}(x)$$

즉 다음과 같습니다.
$$c = \chi_{n-1}^{2 \;-1}(1-\gamma)$$
해당 c를 다음에 대입합니다.
$$P(c < \frac{\sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}}{\sigma^{2}} ) = \gamma$$
즉 다음과 같습니다.
$$P(\sigma^{2}\chi_{n-1}^{2 \;-1}(1-\gamma) < \sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}   ) = \gamma$$
$$P(\sigma^{2}< \frac{\sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}}{\chi_{n-1}^{2 \;-1}(1-\gamma)}) = \gamma$$

이때 σ^2은 θ에 대한 함수, 즉 
$$\sigma^{2} = g(\theta)$$
$$\frac{\sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}}{\chi_{n-1}^{2 \;-1}(1-\gamma)} = B$$

따라서 구간 (-∞, B)는 σ^2에 대한 100 * r % 신뢰구간입니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Reference

https://m.blog.naver.com/iotsensor/222182891116

Ⅵ. 통계적 추론(신뢰구간과 표본크기)

https://wikidocs.net/34009

2.4 t-분포(t-distribution, Student's t-distribution)