[확률과 통계] - (9) 여러가지 확률분포

 

 

 

Bernoulli Distribution(베르누이 분포)

시행의 결과가 오직 두가지인 분포입니다.

이때, 발생하는 두 가지의 결과를 성공과 실패, 혹은 발생과 미발생 등으로 나누기도 합니다.

확률변수 X를 성공 혹은 사건의 발생일 경우 1, 

실패 혹은 특정 사건이 발생하지 않을 경우를 0으로 정합니다.

 

즉 베르누이 분포는 확률변수가 0과 1, 두가지의 값만 가지는 분포입니다.

 

이때 다음과 같은parameter p에 대하여,

$$P(X = 1) = p, \;\; P(X = 0 ) = 1-p$$

 

확률변수 X는 parameter p를 가지는 베르누이 분포를 따른다고 합니다.

 

즉 확률변수 X가 parameter p를 가지는 베르누이 분포를 가진다고 한다면 다음과 같습니다.

$$P(X = 1) = p, P(X= 0) =0 $$

 

그리고 이렇게 시행의 결과가 두개뿐인 시행을 베르누이 시행이라 부릅니다.

 

 

p.f (probability function)

베르누이 분포의 p.f는 아래와 같습니다.

$$f(x|p) = \left\{\begin{matrix}
p^{x}\cdot (1-p)^{1-x} &  x=1 \;or\; x= 0 \\
0 & otherwise \\
\end{matrix}\right.$$

이때, |는 Conditional Probability가 아닌 parametet를 표시하는 기호입니다.

 

Expectation(기댓값)

베르누이 분포의 Expecation은 다음과 같습니다.

$$E(X) = 0 \cdot (1-p) + 1 \cdot p = p$$

 

 

Variance(분산)

베르누이 분포의 Variance는 다음과 같습니다.

$$Var(X) = E(X^{2}) - (E(X))^{2}$$

$$이때 \;\;E(X^{2}) = \sum^{2}_{x=0} x^{2}\cdot p^{x} \cdot (1-p)^{1-x} = p$$

$$따라서 \;\; Var(X)=  p- p^{2} = p(1-p)$$

 

 

m.g.f(적률생성함수)

베르누이 분포의 m.g.f는 다음과 같습니다.

$$\psi(t) = E(e^{tx})$$

$$= \sum^{2}_{x=0} e^{tx} \cdot p^{x}\cdot (1-p)^{1-x} $$

$$= e^{t} \cdot p + (1-p)$$

 

 

 

Bernoulli Trials/Process (베르누이 시행들/과정)

다음과 같은 확률 변수들의 i.i.d 나열(sequence)이 있습니다.

$$X_1, X_2, ...$$

 

각각의 Xi가 parameter p를 가지는 베르누이 분포를 따른다고 한다면 아래와 같습니다.

$$each\;\; X_i  \;:\; Bernoulli \; Trial$$

$$finite\;sequence\;of\;i.i.d\;\;(X_1, X_2, ... ,)  \;:\; Bernoulli \; Trials$$

$$infinite\;sequence\;of\;i.i.d\;\;(X_1, X_2, ... ,)  \;:\; Bernoulli \;Process$$

 

 

 

i.i.d(independent and identically distribution)

independent(독립적이고), identically distribution(같은 확률분포를) 가진다는 뜻입니다.

따라서 i.i.d 나열은 각각의 확률변수들이 mutually independent 하며, 똑같은 확률분포를 가집니다(확률이 동일합니다).

 

 

 

 

---

 

 

 

Binomial Distributions (이항 분포)

연속된 n번의 독립적인 베르누이 시행에서, 성공(X값이 1)한 횟수를 값으로 가지는 확률변수 X가 따르는 확률분포입니다.

이항분포를 따르는 확률변수 X를 다음과 같이 나타낼 수 있습니다.

$$X = X_1 + X_2 + ... + X_n$$

 

 

정의

확률변수 X가 parameter n과 p를 가지는 이항 분포를 따를 때 아래와 같이 표기합니다.

$$X \sim B(n, p) \;\;\; (n>0, \;interger \;\;\; 0 \leq p \leq 1)$$

 

 

 

p.f (probability function)

이항분포의 p.f는 아래와 같습니다.

$$f(x|n,p) = \left\{\begin{matrix}
 \binom{n}{x}p^{x}(1-p)^{n-x}& x=0,1,...,n \\
 0&otherwise  \\
\end{matrix}\right.$$

이항분포를 따르는 확률변수가 가지는 값은 n번의 독립시행 중 x번 성공한 값이기 때문에, n combination x를 사용하였습니다.

 

 

 

특징 (1)

다음과 같이 parameter p를 가지는 베르누이 분포를 따르는 확률변수들의 sequence of i.i.d 가 있다고 하면

$$X_1, X_2, ..., X_n$$

 

이들의 합은 이항분포를 따르며, 따라서 다음과 같습니다.

$$X_1 + X_2 + \cdots + X_n \sim B(n, p)$$

 

 

 

 

 

Expectation(기댓값)

이항분포를 이루는 각각의 베르누의 시행에서의 p는 동일하므로, 이항분포의 Expectation은 다음과 같습니다.

$$E(X) = E(X_1 + X_2 + ... + X_n) = nE(X_i) = np$$

 

 

Variance(분산)

이항분포의 Variance는 다음과 같습니다.

각각의 베르누이 시행은 독립적(independent)으로 시행되므로, 이항분포의 분산은, 각각의 베르누이분포의 분산의 합으로 나타낼 수 있습니다.

$$Var(X) = Var(X_1) + Var(X_2) + \cdots + Var(X_n) = np(1-p) $$

 

 

m.g.f(적률생성함수)

이항분포의 m.g.f는 다음과 같습니다.

$$\psi(t) = E(e^{tx}) = E(e^{t(X_1 + X_2 + ... + X_n)})$$

$$= \prod_{i=1}^{n}E(e^{tX_i})$$

$$=[e^{t}p + (1-p)]^{n} \;\;\;\; since\;\; e^{tX_i}= e^{t} \cdot p + (1-p)$$

 

 

 

특징 (2)

k개의 이항분포를 따르는 독립적인 확률변수에 대해, 각각의 확률변수의 값을 합한 결과를 값으로 가지는 확률변수 X 역시 이항 분포를 따릅니다.

 

$$X_1, X_2, ..., X_k \; : \; independent $$

$$\forall i, X_i \sim B(n_i, p)$$

 

$$then \;\; X_1 + X_2 + ... + X_k \sim B(\sum^{k}_{i=1}n_i, p)$$

 

 

 

증명은 다음과 같습니다.

 

k개의 이항분포를 따르는 확률 변수(X_i)들은 각각 n_i번의 독립적(iid) 베르누이 시행들의 합으로 이루어져 있습니다.

따라서 k개의 이항분포를 따르는 확률 변수(X_i)들의 합은, 'n_i번의 독립적(iid) 베르누이 시행들의 합'의 합이므로 다음과 같습니다.

$$X = X_1 + X_2 + ... + X_k = \sum^{k}_{i=1}n_i$$

그리고 parameter p는 모두 동일하므로, 다음과 같습니다.

$$X \sim B(\sum^{k}_{i=1}n_i, p)$$

 

 

 

 

 

 

---

 

 

 

 

푸아송 분포(Poisson Distributions)

푸아송 분포는 이항분포의 특수한 경우로, 

이항분포에서 시행횟수 n이 매우 커지고, 발생 확률이 아주 작아지는 경우에 유도되는 분포입니다.

 

푸아송 분포의 설명을 돕기 위해 아래와 같은 상황을 생각해 보겠습니다.

한 상점 주인은 시간당 평균 4.5명의 고객이 자신의 상점에 도착한다고 생각합니다.
그는 하루 중 특정 1시간 동안 들어오는 고객의 수를 값으로 갖는 확률변수 X에 대한 실제 분포를 찾고자 합니다.
서로 다른 시간대에 도착한 고객은 서로 독립적이라 가정합니다. 
첫 번째 근사치로 1시간을 3600초로 나누고 손님이 들어올 확률을 4.5/3600 = 초당 0.00125라고 생각합니다.
그런 다음 그는 1초 동안 0 또는 1명의 고객이 도착할 것이며 1초 동안 도착할 확률은 0.00125라고 말합니다. 
그런 다음 그는 하루 뒤의 한 시간 동안 도착하는 고객 수의 분포에 대해 
매개변수 n = 3600 및 p = 0.00125인 이항 분포를 사용하려고 시도합니다.
그는 f(이항 분포의 p.f)를 계산하기 시작합니다.
그러나 이 이항 분포에 대한 계산이 얼마나 복잡한지 빠르게 깨닫습니다.
그러나 그는 f(x)가 x가 증가함에 따라 체계적으로 변하기 때문에 
f(x)의 연속적인 값이 서로 밀접하게 관련되어 있음을 깨닫습니다.
따라서 다음과 같은 식을 계산하기 시작합니다

 

$$ \frac{f(x+1)}{f(x)} = \frac{\binom{n}{x+1}p^{x+1}(1-p)^{n-x-1}}{\binom{n}{x}p^{x}(1-p)^{n-x}} = \frac{(n-x)p}{(x+1)(1-p)}$$

그러나 해당 식의 결과에서 n은 매우 큰 수이며, p는 매우 작은 수입니다.

따라서 근차시를 통해 다음과 같이 계산할 수 있습니다.

$$\frac{(n-x)p}{(x+1)(1-p)} \approx \frac{n}{x+1} \cdot \frac{p}{1} = \frac{np}{x+1}$$

여기서 np(np는 이항분포의 평균입니다)를 λ로 두면 다음과 같습니다.

$$\frac{f(x+1)}{f(x)}=\frac{\lambda}{x+1}$$

 

 

위에서 나온 결과에 0,1,2,...를 대입하면 다음과 같습니다.

$$f(0) = ?$$

$$f(1) = f(0) \cdot \lambda$$

$$f(2) = f(1) \cdot \frac{\lambda}{2} = f(0) \cdot \lambda \cdot \frac{\lambda}{2} = f(0) \cdot \frac{\lambda^{2}}{2!}$$

$$f(3) = f(2) \cdot \frac{\lambda}{3} = f(0) \cdot \frac{\lambda^{2} \cdot \lambda}{2! \cdot 3} = f(0) \cdot \frac{\lambda^{3} }{3!}$$

 

 

모든 경우에 대한 확률들의 합은, 확률의 정의에 따라 1이므로 f(0) + f(1) + ... = 1입니다.

 

즉 다음과 같습니다.

$$1 = f(0) \sum^{n}_{x=0}\frac{\lambda^{x}}{x!}$$

$$f(0) = \frac{1}{\sum^{n}_{x=0}\frac{\lambda^{x}}{x!}} = e^{-\lambda} \;\; \; by \;\; Taylor\;\; series\;\;of\;\; e^{x}$$

 

이때 e^x에 대한 Taylor series(테일러 급수)는 다음과 같습니다.

$$e^{x} = 1 + x + \frac{x^{2}}{2!} + \frac{x^{3}}{3!} + \cdots = \sum_{k=0}^{\infty}\frac{x^{k}}{k!}$$

 

결국 다음의 최종 식이 나옵니다.

$$f(x) = e^{-\lambda} \cdot \frac{\lambda^{x}}{x!}$$

그리고 해당 식이 포아송 분포를 따르는 확률변수 X의 p.f가 됩니다.

 

 

정의

0보다 큰 λ에 대해서, parameter λ를 가지는 포아송 분포를 따르는 확률변수 X는 다음과 같이 표기합니다.

(추가로 해당 경우에는 람다는 np이므로 평균(mean)과 같습니다.)

$$X \sim Pois(\lambda)$$

 

 

 

p.f (probability function)

포아송 분포의 p.f는 위에서 유도한 대로 다음과 같습니다.

$$f(x|\lambda) = \left\{\begin{matrix}
 e^{-\lambda} \cdot \frac{\lambda^{x}}{x!}& x=0, 1,2,... \\
 0&otherwise  \\
\end{matrix}\right.$$

 

 

 

 

Expectation(기댓값)

포아송 분포의 Expecation은 다음과 같습니다.

$$E(X) = \lambda$$

 

증명은 다음과 같습니다.

$$E(X) = \sum^{\infty}_{x=0} x \cdot e^{-\lambda} \cdot \frac{\lambda^{x}}{x!} = \sum^{\infty}_{x=0}e^{-\lambda} \cdot \frac{\lambda \cdot \lambda^{x-1}}{(x-1)!}$$

$$=\lambda \sum^{\infty}_{x=1} e^{-\lambda} \cdot \frac{\lambda^{x-1}}{(x-1)!}  $$

(x=0일 때, 위 식의 값은 0이므로 x=1로 바꿀 수 있습니다.)

이때  y = x-1로 두면 다음과 같습니다.

$$=\lambda \sum^{\infty}_{y=0} e^{-\lambda} \cdot \frac{\lambda^{y}}{y!}  $$

$$이때, \;\; 1=\sum^{\infty}_{y=0} e^{-\lambda} \cdot \frac{\lambda^{y}}{y!}  $$

$$따라서, \;\; \lambda \sum^{\infty}_{y=0} e^{-\lambda} \cdot \frac{\lambda^{y}}{y!}  = \lambda$$

 

 

 

 

 

Variance(분산)

포아송 분포의 Variance은 다음과 같습니다.

$$Var(X) = \lambda$$

 

증명은 아래와 같습니다.

$$E(X (X-1)) = \sum^{\infty}_{x=0}x(x-1) \cdot e^{-\lambda} \frac{\lambda^{x}}{x!}$$

$$ =\lambda^{2} \cdot \sum^{\infty}_{x=2} e^{-\lambda} \frac{ \lambda^{x-2}}{(x-2)!}$$

 

y = x-2로 두면 다음과 같습니다.

$$ =\lambda^{2} \cdot \sum^{\infty}_{y=0} e^{-\lambda} \frac{ \lambda^{y}}{(y)!}$$

$$=\lambda^{2}$$

 

따라서 위에서 유도한 대로 다음과 같습니다.

$$E(X^{2}) - E(X) = \lambda^{2}$$

$$E(X^{2}) = \lambda^{2} + \lambda$$

 

위 식을 분산을 구하는 식에 대입하면 다음과 같습니다.

$$Var(X) = E(X^{2}) - (E(X))^{2} = \lambda^{2} + \lambda - (\lambda)^{2} =  \lambda  $$

 

 

 

 

m.g.f(적률생성함수)

포아송 분포의 m.g.f는 다음과 같습니다.

$$\psi(t) = E(e^{tx}) = e^{\lambda(e^{t}-1)}$$

 

증명은 다음과 같습니다.

$$\psi(t) = E(e^{tx}) = \sum^{\infty}_{x=0} e^{tx} \cdot e^{-\lambda} \cdot \frac{\lambda^{x}}{x!}$$

 

$$=e^{-\lambda} \cdot  \sum^{\infty}_{x=0}  \frac{(\lambda e^{t})^{x}}{x!}$$

이 역시 테일러 급수에 의해

$$=e^{-\lambda} \cdot e^{\lambda \cdot e^{t}}$$

$$= e^{\lambda(e^{t}-1)}$$

 

 

 

특성

k개의 독립적인 포아송 분포를 따르는 확률변수가 있다고 하겠습니다.

$$X_1, X_2, ... X_k \;\; : \;\; independent$$

$$\forall i, \;\; X_i \sim Pois(\lambda_i)$$

 

이때 이들 각각을 더한 값도 포아송 분포를 따릅니다.

$$X_1, X_2, ... X_k  \sim Pois(\lambda_1 + \lambda_2 + ... + \lambda_k)$$

 

증명은 다음과 같습니다.

$$\psi_i(t) = m.g.f \;\; of \;\; X_i$$

 

이때 각각의 확률변수 Xi들은 independent 이므로

$$m.g.f \; psi(t) \; of \; X\;\;\;(X = \sum^{k}_{i=1} X_i)$$

$$\psi(t) = \prod^{k}_{i=1}\psi_i(t)$$

$$\prod^{k}_{i=1}e^{\lambda_i(e^{t}-1)}$$

$$e^{\sum_{i=1}^{k}\lambda_i(e^{t}-1)}$$

$$e^{ ( \lambda_1 + \lambda_2 + ... + \lambda_k)(e^{t}-1)}$$

 

 

그리고 이 최종 식은 다음과 같습니다.

$$e^{ ( \lambda_1 + \lambda_2 + ... + \lambda_k)(e^{t}-1)} = m.g.f\;\; Pois(\lambda_1 +\lambda_2 +... + \lambda_k )$$

$$따라서 \;\; X_1, X_2, ... X_k  \sim Pois(\lambda_1 + \lambda_2 + ... + \lambda_k)$$

 

 

 

 

 

이항 분포로부터  푸아송 분포 유도

맨 처음 푸아송 분포에 대해 설명할 때, 평균이 4.5인 포아송 분포가 매개변수 3600과 0.00125를 사용하는 이항 분포에 얼마나 근접한지 알아보았습니다.

이제부터는 위 결과의 일반적인 버전, 즉 n 값이 매우 크고 p 값이 0에 가까울 때 매개변수 n과 p를 갖는 이항분포가 평균 np를 갖는 푸아송 분포에 의해 근사될 수 있다는 것을 알아볼 것입니다.

 

 

각 정수 n과 0 <p<1 인 p에 대해 f(x | n, p)를 매개변수 n, p를 가지는 이항 분포의 p.f라 합니다.

또한 f(x | λ)가 평균 λ인 푸아송 분포의 p.f를 나타냅니다.

즉 다음과 같습니다.

$$f(x|n,p) = p.f \;\; of \;\; B(n,p)$$

$$f(x| \lambda) = p.f \;\; of \;\; Pois(\lambda)$$

 

 

다음과 같이 n이 무한대로 갈 때, n * p_n이 λ로 수렴하는 0과 1사이의 p의 열(sequence)에 대하여,

$$p_1, p_2, ... \;\; be \; a\; sequence \; of \;numbers \;between \; 0 \; and ; 1$$

$$\displaystyle \lim_{ n \to \infty}np_n = \lambda$$

 

이는 이항분포와 푸아송 분포를 사용하여 다음과 같이 표현 가능합니다.

$$\displaystyle \lim_{ n \to \infty} f(x| n, p_n) = f(x| \lambda)$$

 

 

 

 

증명은 다음과 같습니다.

$$f(x| n, p_n) = \binom{n}{x}\cdot p_n^{x} \cdot (1-p_n)^{n-x} = \frac{n \cdot (n-1) \cdots (n-x+1)}{x!}\cdot p_n^{x} \cdot (1-p_n)^{n-x}$$

 

 

$$이때, \;\; \lambda_n = n\cdot p_n, \;\;\; \displaystyle \lim_{ n \to \infty} \lambda_n = \lambda \;\; 이므로$$

$$p^{x}_n = \frac{\lambda_n}{n}$$

 

따라서 위의 식은 다음과 같이 변경됩니다.

$$\frac{n \cdot (n-1) \cdots (n-x+1)}{x!} \cdot ( \frac{\lambda_n}{n})^{x} \cdot (1-\frac{\lambda_n}{n})^{n-x}$$

 

위 식에서 n(n-1)...(n-x+1) 부분을 다음과 같이 분리할 수 있습니다.

$$\frac{\lambda_n^{x}}{x!} \cdot \frac{n}{n}\cdot \frac{n-1}{n} \cdots\frac{n-x+1}{n} \cdot \frac{(1-\frac{\lambda_n}{n})^{n}}{(1-\frac{\lambda_n}{n})^{x}}$$

 

 

위 식에서 n은 매우 큰 수이므로, 다음과 같이 근사치를 구할 수 있습니다.

$$ \frac{n}{n}\cdot \frac{n-1}{n} \cdots\frac{n-x+1}{n}  = 1 \;\;\; as \; n \to \infty$$

$$(1-\frac{\lambda_n}{n})^{x} = 1 \;\;\; as \; n \to \infty$$

$$(1-\frac{\lambda_n}{n})^{n} = e^{-\lambda} \;\;\; as \; n \to \infty$$

 

 

결국 다음과 같은 식이 유도됩니다.

$$\displaystyle \lim_{n \to \infty} f(x | n, p_n) = \frac{\lambda^{x}_n}{x!}e^{-\lambda} =  \frac{\lambda^{x} e^{-\lambda}}{x!} =f(x|\lambda)$$