[확률과 통계] - (19) 카이제곱 분포 (Chi-Square Distribution)

 

 

 

 

카이제곱 분포

카이제곱 분포를 배우기 전에 카이제곱 분포를 왜 배우는지, 어떨 때 사용하는지 알아보겠습니다.

카이제곱 분포는 표본들의 평균과 분산을 통해,
정규분포를 따르는 모집단의 분산, 즉 모분산을 추정할 때 사용합니다. 

이전에도 말씀드렸다싶이, 저희의 목적은 표본들을 가지고 모수를 추정하거나, 모수에 대한 가설을 검정하는 것이었습니다.

 

 

 

그중 모집단의 분산을 추정하는 방법에 사용되는 것이 바로 카이제곱분포입니다.

 

 

맛보기로 어떻게 추정이 가능한지 살펴보겠습니다.

(카이제곱 분포의 자유도라던가, 식이 도출되는 과정은 생략하고, 추정이 가능한 이유에 대해서만 살펴보겠습니다.)

우선 다음은 자유도 n인 카이제곱 분포를 의미합니다.
각 자유도에 대한 카이제곱분포는 이미 구해져있으며, 대부분 표로 주어집니다.
$$\chi^{2}(n)$$

 

평균은 알려졌으나 분산은 모르는 정규분포를 따르는 모집단에서
독립적으로 n개의 표본을 추출하였을 때,  아래 식은 카이제곱 분포를 따릅니다.
$$\frac{\sum^{n}_{i=1}(X_i - \mu)^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n)$$

평균과 분산 모두 모르는 정규분포를 따르는 모집단에서 독립적으로 n개의 표본을 추출하였을 때,  아래 식은 카이제곱 분포를 따릅니다.
$$\frac{\sum^{n}_{i=1}(X_i - \overline{X}_n)^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n-1)$$

 

잠시 두 식을 살펴보겠습니다.

 

저희는 이미 표본들을 추출하여 조사하였기에, 각 표본들의 값을 알고 있습니다.

 

또한 카이제곱 분포의 값도 이미 구해진 값이므로, 이도 알고있는 값입니다.

 

이때 첫 식에서 모평균인 μ는 주어졌으므로 이도 알고있습니다.

두번째 식에서는 모평균은 모르지만 모평균 대신 표본평균을 사용하며, 이는 표본들을 통해 구할 수 있으므로 알고있는 값입니다.

 

즉 위 두 식에서 결국 미지수는 모분산인 σ입니다.

 

즉 모집단의 정보를 모른다고 하더라도, 카이제곱 분포를 사용하면 표본을 통해 모집단의 분산을 추출할 수 있게 됩니다.

 

이것이 카의제곱분포를 배우는 이유입니다.

카이제곱 분포는 정규분포를 따르는 모분산을 추정할 때 사용되며, 모분산에 대한 신뢰구간이나 가설검정에서 사용된다

 

 

 

 

 

 

 

우선 정규분포의 기본적인 추정량에 대해 정리하고, 카이제곱 분포의 정의와 기본적인 속성들을 살펴본 이후, 카이제곱 분포가 어떻게 적용되는지 살펴보도록 하겠습니다.

 

 

 

 

 

 

 

 

정규분포의 추정량

다음과 같은 3가지 경우에 대해 살펴보겠습니다.

• 평균만 모르는 경우
• 평균과 분산 둘 다 모르는 경우
• 분산만 모르는 경우

 

 

 

1. 평균만 모르는 경우 

$$\sigma^{2}:\; known, \;\;\; \mu \;:\; unknown$$

 

평균에 대한 최대우도추정량(MLE)은 다음과 같습니다.

$$MLE\;\; \hat{\mu} \;\; of \;\; \mu \;\; = \;\; \overline{X_n}$$

 

 

 

 

 

 

2. 평균과 분산 둘 다 모르는 경우

$$\sigma^{2}:\; unknown, \;\;\; \mu \;:\; unknown$$

 

평균과 분산에 대한 최대우도추정량(MLE)은 다음과 같습니다.

$$MLE\;\;  of \;\; (\hat{\mu}, \hat{\sigma^{2}})  \;\; \to$$

$$\hat{\mu} = \overline{X_n}$$

$$\hat{\sigma^{2}} =\frac{\sum^{n}_{i=1}(X_i-  \overline{X_n})^{2}}{n}$$

 

 

 

 

 

 

3. 분산만 모르는 경우

$$\sigma^{2}:\; unknown, \;\;\; \mu \;:\; known$$

 

분산에 대한 최대우도추정량(MLE)은 다음과 같습니다.

$$MLE\;\;  \hat{\sigma^{2}_o}\;\; of \;\; \sigma^{2}  \;\; = \;\; \frac{ \sum^{n}_{i=1}(X_i-  \mu)^{2}   } {n}$$

 

 

 

 

 

 

이에 대한 증명은 다음과 같습니다.

1. 평균만 모르는 경우에 대한 증명

 

 

 

 

 

2. 평균과 분산을 모두 모르는 경우에 대한 증명

 

 

 

 

 

3. 분산만 모르는 경우에 대한 증명

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

카이제곱 분포의 정의

카이제곱 분포는 감마 분포의 특수한 형태로, 정확히는 감마 분포에서 a = m/2, b = 1/2인 분포를 나타냅니다.

 

양수 m에 대하여, 다음과 같은 p.d.f가 따르는 분포를 자유도(degree of freedom, dof) m을 가진 카이제곱 분포라 합니다.

$$f(\;x\;|\;m\;) = \frac{1}{2^{\frac{m}{2} \cdot  \Gamma(\frac{m}{2})}} \cdot x^{(\frac{m}{2})-1}\cdot e^{-\frac{x}{2}} $$
위는 x>0인 경우에만 성립하며, 0 이하일 경우의 p.d.f는 0입니다.

 

확률변수 X가 자유도(dof) m을 가진 카이제곱 분포를 따를 때, 다음과 같이 나타냅니다.
$$X \; \sim \; \chi^{2}(m)$$

 

 

 

 

 

 

 

 

 

 

 

 

감마 함수(Gamma function)

카이제곱 분포에 등장하는 감마 함수에 대해 간단하게만 알아보도록 하겠습니다.

모든 α > 0에 대하여, 감마함수는 다음과 같이 정의됩니다.
$$\Gamma(\alpha) = \int^{\infty}_{0}x^{\alpha -1} \cdot e^{-x} \; dx$$

 

 

속성

만약 α > 1이라면,
$$\Gamma(\alpha) = (\alpha -1) \; \Gamma(\alpha -1)$$

 

증명

부분 적분을 이용합니다.

$$u = -e^{-x}, \;\; dv = (\alpha-1)x^{\alpha -2}$$

 

$$\Gamma(\alpha) \; = \; [-e^{-x} \cdot x^{\alpha-1}]^{\infty}_{0} \;+ \; \int^{\infty}_{0}(\alpha-1)\cdot x^{\alpha-2} \cdot e^{-x}\;dx $$

$$= (\alpha-1) \int^{\infty}_{0}x^{\alpha-2} \cdot e^{-x}\;dx $$

$$= (\alpha -1 )\Gamma(\alpha-1)$$

 

 

 

 

 

 

또한 α가 1보다 큰 정수인 경우 
$$\Gamma(1) = 1$$
$$\Gamma(\alpha) = (\alpha-1)!$$

 

 

 

 

 

 

 

 

 

 

 

 

카이제곱 분포의 속성

 

평균과 분산

자유도 m을 가진 카이제곱 분포를 따르는 확률변수 X의 평균과 분산은 다음과 같습니다.
$$E(X) = m, \;\;\; Var(X) = 2m$$

 

 

 

 

확률변수들의 합

카이제곱 분포를 따르는 n개의 독립적인 확률 변수들에 대하여 다음이 성립합니다.
$$X_1, ..., X_n\;\;\;\;\;\;   X_i \;\sim \; \chi^{2}(m_i) $$
$$X_1 + X_2 + ... + X_n \; \sim \;\; \chi^{2}(m_1+ m_2 + ... + m_n)$$

 

 

 

표준 정규분포와의 연관성

다음과 같은 확률변수 X와 Y에 대해
$$X \; \sim \; N(0, 1^{2})\;\;\;\;\;\;\;\;Y = X^{2}$$

다음이 성립합니다.
$$Y \; \sim \; \chi^{2}(1)$$

 

증명

f(y), F(y)를 각각 확률변수 Y에 대한 p.d.f, c.d.f라 가정하겠습니다.

또한 X는 표준 정규분포(SND)를 따르므로,

$$F(y) = P(Y \leq y) = P(X^{2} \leq y) = P(-y^{\frac{1}{2}} \leq X  \leq  y^{\frac{1}{2}} )$$

$$=\Phi(y^{\frac{1}{2}}) - \Phi(-y^{\frac{1}{2}})$$

 

이때 f(y) = F'(y)이므로

$$f(y) = \phi(y^{\frac{1}{2}})(\frac{1}{2}y^{-\frac{1}{2}}) + \phi(-y^{\frac{1}{2}})(\frac{1}{2}y^{-\frac{1}{2}})$$

 

 

 

 

SND의 p.d.f의 값을 사용하여 정리하면

$$f(y) =  y^{-\frac{1}{2}}  \frac{1}{(2\pi)^{\frac{1}{2}}} e^{-\frac{y}{2}} \;\;\;\;\;\; for \; y >0 \;\;\; \because \; \phi(y^{\frac{1}{2}}) = \phi(-y^{\frac{1}{2}})$$

 

 

 

이때 1/2에 대한 감마함수의 값은 다음과 같습니다.

$$\Gamma(\frac{1}{2}) = \sqrt{\pi}$$

 

즉 위 식은 자유도가 1인 카이제곱 분포의 p.d.f와 동일합니다.

$$f(\;x\;|\;m\;) = \frac{1}{2^{\frac{m}{2} \cdot  \Gamma(\frac{m}{2})}} \cdot x^{(\frac{m}{2})-1}\cdot e^{-\frac{x}{2}} $$

$$f(\;x\;|\;1\;) = \frac{1}{2^{\frac{1}{2} \cdot  \Gamma(\frac{1}{2})}} \cdot x^{(\frac{1}{2})-1}\cdot e^{-\frac{x}{2}} $$

$$= \frac{1}{\sqrt{2\pi}} \cdot x^{(-\frac{1}{2})}\cdot e^{-\frac{x}{2}} $$

 

 

 

 

 

 

 

 

 

 

표준 정규분포와 카이제곱분포

바로 위에서 살펴본 속성을 사용하여, 카이제곱분포를 다음과 같이 정의할 수 있습니다.

카이제곱 분포는 k개의 서로 독립적인 표준 정규분포를 따르는 확률변수를 각각 제곱한 다음 합해서 얻어지는 분포입니다.
이 때 k를 자유도라고 하며, 카이제곱 분포의 매개변수가 됩니다.

 

 

즉 SND를 따르는 분포로부터 임의추출한 n개의 표본들에 대하여, 해당 표본들을 X1, X2, ...., Xn이라 할 때,

$$X_1^{2} + X_2^{2} + ... + X_n^{2} \; \sim \; \chi^{2}(n)$$

 

 

 

예시

 

위의 예시를 통해 다음을 증명하였습니다.

알려진 평균과, 알려지지 않은 분산에 대하여, 정규분포를 따르는 모집단에서 독립적으로 n개의 표본을 추출하였을 때, 
분산에 대한 MLE는 다음과 같습니다.
$$\hat{\sigma^{2}_o} = \frac{\sum^{n}_{i=1}(X_i - \mu)^{2}}{n}$$

그리고 이에 표본의 수 n을 곱하고, 이를 모분산으로 나눠준 값은, 자유도 n을 가진 카이제곱 분포를 따릅니다.
$$\frac{n\hat{\sigma^{2}_o}}{\sigma^{2}}  \; \sim \; \chi^{2}(n)$$

즉 다음과 같습니다.
$$\frac{\sum^{n}_{i=1}(X_i - \mu)^{2}}{\sigma^{2}} \; \sim \; \chi^{2}(n)$$

 

 

 

 

 

 

 

 

자유도 (degree of freedom)

자유도는 통계량을 추정할 때 사용되는 데이터의 정보량을 의미합니다.

 

간단하게는 독립변수의 개수라 생각하실 수 있습니다.

예를 들어 A+B+C = 5라는 식에서, 독립변수의 개수는 2개입니다.

A와 B가 정해진 경우, C는 고정된 값을 가져야 하기 때문입니다.

즉 이러한 경우 자유도는 2가 됩니다.

 

 

 

 

 

 

 

 

 

 

 

 

Reference

https://www.youtube.com/watch?v=faVIwae-wkw&t=5s