[확률과 통계] - (3) 확률변수, 누적분포함수(CDF), 이산확률변수, 확률질량함수(pmf)

 

 

 

확률변수(Random Variable)

확률 변수란 표본공간(Sample space) S 안의 원소에 실수를 대응시키는 함수를 의미합니다.

그리고 확률변수 X가 취하는 모든 실수들의 집합(즉 확률변수 X의 치역)을 상태공간(state space)이라 합니다.

 

예를 들어 동전을 던졌을 때 X라는 확률변수를 앞면이 나오는 수라고 정의했을 때,
P(1) = 1/2 이고, P(0) = 1/2입니다.

 

---

 

 

확률분포(probability distribution)

확률변수 X가 취할 수 있는 각각의 값에 확률을 대응시킨 것을 확률변수 X의 확률분포라고 합니다.

확률분포는 확률질량함수(p.m.f)나 확률밀도함수(p.d.f) 등으로 나타낼 수 있습니다.

 

 

 

 

---

 

 

이산확률변수 (Discrete Random Variable)

 

동전을 던졌을 때 앞면이 나오는 횟수를 X로 나타내면, X의 상태공간을 구성하는 숫자는 2개뿐입니다.

그러나 동전을 앞면이 나올 때까지 던진 횟수를 X로 나타내면, X의 상태공간은 {1, 2, 3, ... }이고, 이 상태공간을 이루는 숫자는 무수히 많으나, 그 숫자들은 셀 수 있습니다. (Discrete)

 

위의 경우들 처럼 확률변수 X의 상태공간을 구성하는 숫자는 유한개이거나, 무수히 많더라도 셀 수 있는 경우에 이러한 확률변수를 이산확률변수(discrete random variable)라 합니다.

 

 

 

---

 

 

확률질량함수 (Probability (mass) function,     p.m.f  or  p.f)

동전을 두 번 던지는 경우, 앞면이 나온 횟수를 확률변수 X라 해보겠습니다.

그러면 X의 상태공간은 {0, 1, 2} 입니다.

 

이를 확률변수 X에 대한 확률로 나타내면 다음과 같습니다.

$$P(X = 2) = \frac{1}{4}, \;\;\;\; P(X=1) = \frac{1}{2}, \;\;\;\;P(X=0) = \frac{1}{2}, \;\; $$

 

 

위와 같이 표본공간 안의 사건을 원소에 특성에 따라 확률변수로 변환하면, 확률변수에 대한 확률을 정의할 수 있습니다.

 

이때 확률은 확률변수 X의 상태공간 안에 있는 값 x에 따라 변하므로, 확률변수 X에 대한 확률을 나타내는 함수를 정의할 수 있게 됩니다. 

그리고 그러한 함수를 확률질량함수(probability (mass) function, p.d.f  or  p.f)라고 부릅니다.

 

 

 

 

확률질량함수(probability (mass) function,    p.m.f    or.   p.f )

이산확률변수(discrete random variable) X의 상태공간 안에 있는 각각의 x에 대해, f(x) = P(X = x)이고,

상태공간 속에 있지 않은 모든 실수 x에 대해 f(x) = 0 으로 정의한 함수 f(x)를,

이산확률변수 X의 확률질량함수라 하고 다음과 같이 작성합니다.

 

$$f(x) = 
\left\{\begin{matrix}
 P(X=x),\;\; x\in S_x&  \\0\;\;\;\;\;\;\;\;\;\;\;\;\;\;,\;\; x\notin S_x
\end{matrix}\right.$$

 

 

 

 

 

확률질량함수의 성질

 

1. x가 확률변수 X의 값으로 가능하지 않을 때, x에 대한 확률질량함수의 값은 0입니다.

$$if\;\; x\;\; is \;\; not \;\; possible \;\; value \;\;of \;\;X$$

$$then \;\; f(x) = 0$$

 

2. 모든 x에 대한 확률질량함수의 값을 더한 값은 1입니다.

$$\sum_{\forall x}^{} f(x) = 1$$

 

3. 임의의 두 실수 a와 b에 대해, 이산확률변수 X가 구간 [a, b] 안에 들어갈 확률은 다음과 같습니다.

$$P(a\leq X \leq b)=\sum_{x=a}^{b}f(x)$$

 

4. 정수값을 갖는 확률변수 X의 상태공간 안에 있는 어떤 수 a에 대해 다음의 식이 성립합니다.

$$P(X > a) = 1 - P(X \leq a)$$

$$P(X \geq  a) = 1 - P(X \leq a-1)$$

 

 

5. 임의의 실수 x에 대한 확률질량함수의 값은 0 이상 1 이하입니다.

$$0\leq f(x)\leq 1$$

 

 

 

---

 

 

이산확률변수의 (누적)분포함수(Cumulative Distribution Function, CDF)

 

누적분포함수란 주어진 확률 변수가 특정 값보다 작거나 같을 확률을 나타내는 함수입니다.

 

즉 다음과 같이 정의됩니다.

$$F(x) = P(X \leq x) = \sum_{u\leq x}^{}f(u)$$

 

 

 

 

(이산확률변수의) 누적분포함수의 성질

 

1. C.D.F는 값이 감소하지 않는 함수이며 따라서 임의의 두 수 a, b (a < b)에 대해 다음이 성립합니다.

$$F(a)  \leq  F(b)$$

 

 

2. C.D.F는 x가 무한대로 가면 결국 1로 수렴하며, 음의 무한대로 가면 0으로 수렴합니다.

$$F(\infty) = \displaystyle \lim_{ x \to \infty}F(x) = 1$$

$$F(-\infty) = \displaystyle \lim_{ x \to -\infty}F(x) = 0$$

 

 

3. 임의의 두 수 a, b (a < b)에 대해, C.D.F를 이용하여 다음과 같이 확률을 구할 수 있습니다.

• $$P(a<X\leq b) = F(b) - F(a)$$
• $$P(a\leq X\leq b) = F(b) - F(a) + P(X = a)$$
• $$P(X \geq a) \;\;=\;\; 1 - F(a - 1) \;\;=\;\; 1 - F(a) + P(X=a)$$
• $$P(X > a) \;\;=\;\; 1 - F(a) $$
• $$P(X = a) \;\;=\;\; F(a) - F(a-1)$$

 

4. C.D.F는 항상 우연속입니다.

$$\displaystyle \lim_{ h\to +0}F(x+h) = F(x)$$

 

 

 

 

 

 

---

 

 

 

지금까지는 확률변수가 이산적인 경우에 대하여, 즉 이산확률변수에 대한 확률분포와 확률질량함수, 누적분포함수에 대하여 알아보았습니다.

 

지금부터는 확률변수가 연속적(continuous)인 경우에 대하여, 즉 연속확률변수에 대한 확률분포와 확률밀도함수, 누적분포함수에 대해 알아보도록 하겠습니다.

 

 

 

 

연속확률변수 (Continuous Random Variable)

 

이산확률변수는 확률변수 X가 취할 수 있는 값이 하나하나 떨어져 있으며,

그 값이 유한개이거나 셀 수 있는 값이었습니다.

그러나 새로 산 전구의 수명을 확률변수 X라 하면, X가 취할 수 있는 값은 구간 [0, 무한대) 안의 모든 실수로 나타내어집니다.

 

이와 같이 확률변수 X의 상태공간이 유한구간 [a, b], (a, b) 또는 무한구간 [0, 무한), (-무한, 무한)인 확률변수를 연속확률변수라 합니다.

 

 

 

 

---

 

 

확률밀도함수 (Probability density function,   p.d.f)

 

확률밀도함수는 연속확률변수의 확률분포(즉 연속확률분포)를 나타내는 함수이며,

다음 조건을 만족하는 음이 아닌 함수 f(x)가 존재할 때, X는 연속확률분포를 갖는다고 하며,

이때의 f(x)를 연속확률변수 X의 확률밀도함수라고 합니다.

 

$$\forall{interval [a, b]}$$

$$P(a \leq X \leq b)  = \int_{a}^{b} f(x) dx$$

$$P(X \leq a)  = \int_{-\infty}^{a} f(x) dx$$

$$P(b \leq X )  = \int^{\infty}_{b} f(x) dx$$

 

 

 

 

확률밀도함수의 성질

 

1. 모든 실수 x에 대해, f(x)의 값은 0 이상입니다.

$$\forall{x \in R} , \;\;f(x) \geq 0$$

 

 

2. f(x)의 모든 구간을 적분한 값은 1입니다.

$$\int_{-\infty}^{\infty} f(x) dx =1$$

 

 

3. 임의의 실수 a, b (a < b)에 대해, 연속확률변수 X가 a 이상, b 이하일 확률은 x = a 와 x = b, 그리고 x축과 f(x)로 둘러싸인 부분의 넓이입니다.

$$P(a\leq X\leq b) = \int_{a}^{b}f(x)dx$$

 

4. 연속확률변수 X가 특정한 값 a를 취할 확률은, a가 상태공간 안에 존재하더라도 0입니다.

$$P(X=a) =\int_{a}^{a}f(x)dx =0$$

 

5. (4) 번 성질에 의해, 연속확률변수 X가 취하는 구간의 경계값을 확률 계산에 아무런 영향을 미치지 않으며, 임의의 실수 a, b (a < b)에 대해 다음이 성립합니다.

$$P(X \geq a) = P(X > a)$$

$$P(X \leq  a) = P(X < a)$$

$$P(a\leq X\leq  b)\;\; = \;\;P(a< X\leq  b)\;\; = \;\;P(a\leq X<  b)\;\; = \;\;P(a< X <  b)$$

$$P(a\leq X\leq  b)\;\; = \;\;P(X \leq b) - P(X \leq a)$$

 

 

 

---

 

 

연속확률변수의 누적분포함수(Cumulative Distribution Function, CDF)

 

이산확률변수 X에 대해 누적분포함수 F(x)를 정의한 것과 마찬가지로, 연속확률변수의 분포함수를 다음과 같이 정의할 수 있습니다.

 

$$F(x) \;\;= \;\;P(X \leq x)\;\; = \;\; \int_{-\infty}^{x}f(u)du$$

 

 

(연속확률변수의) 누적분포함수의 성질

1.  누적분포함수 F(x)의 값은 모든 실수 x에 대해 연속적입니다.

$$F \;\; is \;\; continous \;\; for \;\; \forall{x \in R} $$

 

2. 누적분포함수를 미분한 값은 p.d.f 입니다. (단 p.d.f인 f가 x에서 연속적인 경우에만 만족합니다.)

$$f(x) = \frac{\mathrm{d} }{\mathrm{d} x}F(x) \;\;\; where\;\; f \;\; is \;\; is \;\; continuous\;\; at\;\; x$$

 

예를 들어 다음과 같은 c.d.f가 주어졌다고 가정하겠습니다.

$$F(x) = \left\{\begin{matrix}
0 &  x< 0\\
x^{\frac{2}{3}} & 0 \leq x \leq 1 \\
1 &  x > 1 \\
\end{matrix}\right.$$

이때 F는 0과 1 사이에서만 미분가능합니다.

 

따라서

$$f(x) = \left\{\begin{matrix}
\frac{2}{3}x^{-\frac{1}{3}} & 0 < x < 1 \\
0 & otherwise\\
\end{matrix}\right.$$

또한 x=1, x=0일때의 값은 임의의 아무 값으로 정의해 주어도 상관없습니다.

 

 

 

 

3. 확률은 다음과 같이 구할 수 있습니다.

$$P(X \geq a) = 1 - P(X < a) = 1 - F(a)$$

$$P(a \leq  X \leq  b) = P(a <  X \leq  b) = P(a \leq  X < b) = P(a < X <  b) = F(b) - F(a)$$

 

 

 

 

 

---

 

 

Uniform distribution (균등분포)

분포가 특정 범위에서 균등하게 나타나 있는 경우로, 보통 기호를 사용하여 u(a, b)로 나타냅니다

이는 [a, b]에서 동일한 확률을 가진다는 의미입니다.

 

균등분포도 이산균등분포와 연속균등분포로 나뉠 수 있습니다.

 

 

Discrete한 경우

이산확률변수 X가 정의된 모든 구간 a~b에서 동일한 확률값을 가질 때, 

X는 a부터 b 까지의 정수 범위에서 uniform distribution을 갖는다고 합니다.

 

$$f(x) = \left\{\begin{matrix}
 \frac{1}{b-a+1}&  x= a \cdots b\\
 0& otherwise \\
\end{matrix}\right.$$

 

 

Continuous한 경우

연속확률변수 X에 대하여, 확률분포가 특정 범위 [a, b] 내에서 균등하게 나타나 있을 때,

X는 [a, b] 범위에서 uniform distribution 을 갖는다고 합니다.

$$f(x) = \left\{\begin{matrix}
 \frac{1}{b-a}&  x= a \leq x \leq  b\\
 0& otherwise \\
\end{matrix}\right.$$