[확률과 통계] - (13) 큰 수의 법칙(Law of Large Numbers)

 

큰 수의 법칙(Law of Large Numbers)을 알아보기 전에, 확률의 수렴(Convergence in Probability)에 대하여 알아보겠습니다.

 

 

 

 

확률의 수렴

 

확률변수의 열(sequence) Z1, Z2, ... Zn이 모든 0보다 큰 ε에 대하여 다음을 만족할 때,

$$\displaystyle \lim_{ n\to \infty} P(\;|Z_n - b|< \epsilon \;) = 1$$

 

 

확률변수의 열(sequence) Z1, Z2, ... Zn은 b로 수렴한다고 정의하며, 다음과 같이 표시합니다.

$$Z_n \overset{p}{\rightarrow}b$$

 

 

 

 

 

 

 

 

 

 

 

 

큰 수의 법칙(Law of Large Numbers)

 

큰 수의 법칙은 임의의 표본들에 대하여, 표본추출한 표본들의 개수가 충분히 크다면, 표본평균은 모평균에 수렴함을 의미합니다.

(표본평균의 평균은 모평균인것이 자명하나, 큰 수의 법칙은 표본평균의 평균이 아닌 표본평균이 모평균에 수렴함을 의미하는 것입니다.)

 

 

 

 

 

약한 큰 수의 법칙(The weak Law of Large Numbers)

 

정의는 다음과 같습니다.

 

 

평균 μ와 finite한 분산을 가진 모집단으로부터 추출한 n개의 임의 표본(random sample)들을 X1, ... Xn이라 하면,

$$\overline{X_n} \overset{p}{\rightarrow}\;\mu$$

 

 

 

이는 곧 다음과 같습니다.

0보다 큰 ε에 대하여
$$\displaystyle \lim_{ n\to \infty} P(\;|\overline{X_n} - \mu|<\epsilon \;) = 1$$

 

 

 

 

 

증명)

표본평균은 모집단이 평균 μ와 분산 σ^2를 가질 때,

표본평균의 평균과 분산은 다음과 같습니다.

$$Mean \;:\;\mu $$

$$Variance \;:\;\frac{\sigma^{2}}{n} $$​

 

 

 

Chebyshev's inequality에 의하여,

$$P(|\overline{X_n}-\mu| < \epsilon) \geq 1- \frac{\sigma^{2}}{\epsilon^{2}n}$$

 

 

$$\therefore \;\; \displaystyle \lim_{ n\to \infty} P(\;|\overline{X_n}-\mu| < \epsilon) = 1$$

 

 

 

이는 Variance가 infinite여도 성립합니다.

 

 

 

 

 

 

 

 

강한 큰 수의 법칙(The strong Law of Large Numbers)

 

강한 큰 수의 법칙은 다음과 같이 정의됩니다.

$$P(\;\displaystyle \lim_{ n\to \infty} \overline{X_n}=\mu\;) = 1$$

 

이것이 성립한다면 약한 큰 수의 법칙도 성립하기에, 이를 강한 큰 수의 법칙이라 부르며, 

수학적으로 이는 다른 법칙이나 정확한 차이를 설명하는 것은 저의 지식으로는 부족하며, 범위를 벗어나기에 단순히 언급만 하고 넘어가도록 하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

참고

 

https://stats.stackexchange.com/questions/328028/law-of-large-numbers-for-distribution-with-infinite-variance

"Law of large numbers" for distribution with infinite variance?

 

https://namu.wiki/w/%ED%81%B0%20%EC%88%98%EC%9D%98%20%EB%B2%95%EC%B9%99

큰 수의 법칙 - 나무위키