[확률과 통계] - (6) 기댓값(Expectation)과 분산(Variance), LOTUS(Law of the unconscious statistician, 무의식적인 통계학자의 법칙)

 

 

확률변수 X에 대해, X가 가지는 확률분포는 X에 대한 모든 정보를 가지고 있으며, 이는 우리가 이해하며 사용하기에 너무 거대한 정보입니다.

따라서 우리는 X의 정보에 대한 요약이 필요하며, 이것이 바로 Expectation(mean 혹은 average), 즉 기댓값입니다.

 

 

 

 

 

 

 

기댓값 (expectation)

반복적인 experiment에서, 얻을 수 있는 값의 평균으로서 기대할 수 있는 값을 의미합니다.

 

 

Discrete 한 경우

X가 이산확률변수이며, X에 대한 정의역이 오직 유한(finite, bounded)한 값을 가질 때, (예를 들어 주사위를 던질 때 나올 수 있는 눈의 수)

f(x)를 X에 대한 p.m.f(확률질량함수)라고 한다면 X에 대한 기댓값인 E(X)는 다음과 같습니다.

 

$$E(x) = \sum_{\forall x}^{}xf(x)$$

 

 

 

 

 

예를 들어 Bernoulli Distribution을 가지는 r.v X에 대해, p.m.f는 다음과 같습니다.

$$f(x) = \left\{\begin{matrix}
P \;\;\;\;\;\;\;\; x=1 \\ 1-P \;\; x=0
\end{matrix}\right.$$

 

이 경우, X에 대한 기댓값 E(x)는 다음과 같습니다.

$$E(x) = \sum_{\forall x}^{}xf(x) = 0 * (1-P)\;\; + \;\;1 * P  = P$$

 

 

X에 대한 정의역이 유한하지 않고 무한(infinite, unbounded)할 때, X에 대한 기댓값 E(X)는 오직 다음 경우에만 정의될 수 있습니다.

$$\sum_{x>0}^{}xf(x) \;\;\;\; or \;\;\;\; \sum_{x<0}^{}xf(x) \;\;\;\; is \;\; bounded$$

위에서 bounded의 뜻은 converge, 즉 수렴하는 경우를 의미합니다.

 

 

 

 

 

 

 

Continuous 한 경우

X가 연속확률변수이며, X에 대한 정의역이 오직 bounded(범위(interval)가 제한)일 때

f(x)를 X에 대한 p.d.f(확률밀도함수)라고 한다면 X에 대한 기댓값인 E(X)는 다음과 같습니다.

$$E(X) = \int_{-\infty}^{\infty}xf(x)dx$$

 

 

 

예를 들어 확률변수 X가 p.d.f인 f를 가질 때,

f가 다음처럼 주어졌다고 하면

$$f(x) = \left\{\begin{matrix}
2x & 0<x<1  \\
0 & otherwise \\
\end{matrix}\right.$$

X에 대한 기댓값인 E(X)는 다음과 같습니다.

$$E(X) = \int_{-\infty}^{\infty}xf(x)dx = \int_{1}^{0}2x^{2}dx = [\frac{2}{3}x^{3}]^{1}_0 = \frac{2}{3}$$

 

 

 

X에 대한 정의역이 unbounded(범위가 무제한)일 때, X에 대한 기댓값 E(X)는 오직 다음 경우에만 정의될 수 있습니다.

 

$$E(X) = \int_{0}^{\infty} xf(x)dx \;\;\;\;or\;\;\;\; \int_{-\infty}^{0} xf(x)dx \;\;\;\;is\;\;finite$$

 

 

 

 

 

 

 

 

 

 

 

 

LOTUS(Law of the unconscious statistician, 무의식적인 통계학자의 법칙)

 

X가 확률변수이고, r은 real-value function(즉 정의역과 공역이 모두 실수인 함수)일 때, r(x)에 대한 기댓값, E(r(X))는 다음과 같습니다.

 

 

 

Discrete한 경우

$$E(r(X)) = \sum_{\forall x}^{}r(x)f(x)$$

(f(x)는 X에 대한 p.m.f 입니다)

 

 

 

 

 

Continuous한 경우

$$E(r(X)) = \int_{-\infty}^{\infty}r(x)f(x)dx$$

(f(x)는 X에 대한 p.d.f 입니다)

 

 

증명은 아래를 참조해주세요

https://statproofbook.github.io/P/mean-lotus.html

Law of the unconscious statistician

 

 

 

 

 

 

 

로터스의 사용 예시는 다음과 같습니다.

$$X \;:\;r.v \;\;\;\; with \;\; p.d.f \;\;\;f $$

$$f(x) = \left\{\begin{matrix}
3x^{2} & 0<x<1 \\
 0& otherwise \\
\end{matrix}\right.$$

 

이때 $$E(\frac{1}{X})=?$$

 

 

 

이에 대한 풀이는 다음과 같습니다.

$$E(\frac{1}{X}) = \int_{-\infty}^{\infty}\frac{1}{x}f(x)dx = \int_{1}^{0}\frac{1}{x}3x^{2}dx = [\frac{3}{2}x^{2}]^{1}_0 = \frac{3}{2}$$

 

 

 

 

 

 

 

 

 

 

 

 

 

 

기댓값의 특징(Property) - 선형성(Linearity)

 

Linearity는 다음 2가지 조건을 만족해야 합니다.

1) homogeneity 

$$f(ax) = af(x)$$

 

2) superposition

$$f(x_1 + x_2) = f(x_1) + f(x_2)$$

 

 

 

 

 

 

 

기댓값(Expectation)은 선형성이라는 성질을 가지므로 위 두 성질을 만족하며, 따라서 아래와 같은 특징을 갖습니다.

 

 

1. 확률변수 Y = aX + b (a, b 는 상수)에 대해, 다음을 만족합니다.

$$E(Y) = aE(X)+b $$

 

 

 

이에 대한 증명은 아래와 같습니다.

$$E(Y) = E(aX + b) \overset{\underset{\mathrm{LOTUS}}{}}{=} \int_{-\infty}^{\infty}(ax + b)f(x)dx$$

$$= a\int_{-\infty}^{\infty}xf(x)dx + b\int_{-\infty}^{\infty}f(x)dx$$

$$aE(X) + b$$

 

 

또한 상수 c에 대해 다음이 항상 성립합니다

$$E(c) = c$$

 

 

 

 

 

 

 

2.  어떠한 상수 a에 대해 다음이 성립합니다.

$$P(X\geq a) = 1 \to E(X) \geq a$$

$$P(X\leq a) = 1 \to E(X) \leq a$$

 

 

 

 

이에 대한 증명은 아래와 같습니다.

$$E(X) = \int_{-\infty}^{\infty}xf(x)dx = \int_{a}^{\infty}xf(x)dx \;\;\;\; because \;\; P(x\geq a) =1$$

$$\int_{a}^{\infty}xf(x)dx \geq \int_{a}^{\infty}af(x)dx$$

$$\int_{a}^{\infty}af(x)dx = a P(X\geq a) = a\;\;\;\; because \;\;\; P(X\geq a)=1$$

 

 

 

 

 

 

 

 

 

3.  n개의 확률 변수 X1, X2, ... Xn에 대해 E(X1), E(X2), ... E(Xn)이 finite일 때 다음이 성립합니다.

$$E(X_1 + X_2 + \cdots + X_n) = E(X_1) +E(X_2) +\cdots + E(X_n) $$

 

 

중요한 것은 X1, X2, ... Xn가 independent이든 아니든 성립한다는 것입니다.

 

 

 

따라서 다음도 성립합니다.

$$E(a_1X_1 + a_2X_2 + \cdots + a_nX_n) = E(a_1X_1) +E(a_2X_2) +\cdots + E(a_nX_n) $$

 

 

 

 

 

 

 

 

 

4. 얀센의 부등식(Jensen's inequality)

볼록(convex) 함수 g와 유한한 평균(mean)값을 갖는 확률변수 X에 대하여 다음이 성립합니다.

$$E(g(x)) \geq g(E(x))$$

 

 

 

 

 

5. mutually independent인 n개의 확률변수 X1, X2, ... Xn에 대해

각각의 기댓값이 finite(유한)인 경우, $$E(X_1), \cdots, E(X_n) $$ 

 

다음이 성립합니다.

$$E(\prod_{i=1}^{n}X_i)=\prod_{i=1}^{n}E(X_i)$$

 

 

 

 

Lemma(보조정리)

$$1) \;\;\;P(X \geq a) =1 \;\; or\;\; P(X \leq a)=1 \;\;\;\;\;(a \;\;= \;\;constant) $$

$$2)\;\;\;E(X) = a$$

 

 

위 1) 과 2)가 모두 성립한다면,

$$P(X = a) = 1$$

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

분산(Variance)

분산이란 확률변수가 기댓값으로부터 얼마나 떨어진 곳에 분포하는지를 가늠하는 숫자입니다.

 

확률변수 X와, 유한(finite)한 평균(mean) E(X) = M 에 대하여, X에 대한 분산(variance) Var(X)는 다음과 같습니다.

$$Var(X) = E((X-M)^{2}) = \sigma^{2}$$

 

또한 X에 대한 표준편차(standard derivation)는 다음과 같습니다.

$$\sqrt{Var(X)}$$

 

 

 

 

 

 

또한 분산 Var(X)은 다음과 같이 구할 수 있습니다.

$$Var(X) = E(X^{2}) - M^{2}$$

 

 

이에 대한 증명은 다음과 같습니다.

$$Var(X) = E[(X-M)^{2}] = \sum_{\forall x}^{}(x-M)^{2}f(x)$$

$$=\sum_{\forall x}^{}(x^{2}f(x) - 2Mxf(x) + M^{2}f(x))$$

$$=\sum_{\forall x}^{}x^{2}f(x) - 2M\sum_{\forall x}^{}xf(x) + M^{2}\sum_{\forall x}^{}f(x)$$

 

 

이때

$$E(X^{2})=\sum_{\forall x}^{}x^{2}f(x)$$

$$M= \sum_{\forall x}^{}xf(x)$$

$$\sum_{\forall x}^{}f(x) = 1$$

 

 

$$\therefore \;\; \; Var(X) = E(X^{2}) - M^{2}$$

 

 

 

 

 

 

 

 

분산의 속성

 

 

1. 기본적으로 모든 X에 대해서, Var(X) 는 0 이상이며,

만약 X의 범위가 한정되었다면, 평균(M)은 정의되며(즉 finite한 값을 가짐) 따라서 분산 Var(X)도 정의(즉 finite한 값을 가짐)됩니다.

(즉 정리하자면, X의 범위가 한정(bounded)되거나, 평균이 정의(finite한 값을 가지는)된 경우, 분산은 정의됩니다.)

 

 

 

증명)

Var(X)는 nonnegative한 확률변수 (X - M)의 제곱의 평균입니다. 

또한 X가 만약 bounded된 확률변수인 경우, 그에 대한 평균 역시 존재하며, 따라서 분산도 존재합니다.

 

 

 

 

 

 

 

2. X에 대한 분산이 0 이라는 것은 다음을 만족시키는 상수 c가 존재함을 의미하며, 또한 역도 성립합니다.

$$P(X=c)=1$$

 

 

 

증명)

 

P(X=c) = 1이므로,

$$E(X) = M = c$$

$$P((X-c)^{2}=0) = 1$$

 

$$\therefore \;\;\; Var(X) = E((X-M)^{2}) = 0$$

 

 

 

 

 

 

 

3. Y = aX + b 일 때, 다음이 성립합니다.

$$Var(Y) = a^{2}Var(X)$$

 

 

 

증명)

 

$$Var(Y) = E((Y-M_Y)^{2}) = E(((aX+b) - E(aX+b))^{2})$$

 

이때 $$E(aX+b) = a*E(X)+b$$

 

$$\therefore \;\;\;  E(\;\;((aX+b) - (aM + b))^{2}\;\;) = E((a(X-M))^{2})$$

$$=E(a^{2}(X-M)^{2}) = a^{2}E((X-M)^{2})$$

$$= a^{2}Var(X)$$

 

 

또한 이를 통해 다음을 얻을 수 있습니다.

$$Var(-X) = (-1)^{2}Var(X)=Var(X)$$

 

 

 

 

 

 

 

 

4. X1, X2, ... ,Xn이 Independent 인 경우

$$Var(X_1 + X_2 + \cdots + X_n) = Var(X_1) + Var(X_2) + \cdots + Var(X_n)$$

 

 

 

증명)

n=2인 경우만을 보이도록 하겠습니다.

 

 

두 확률변수의 평균이 다음과 같이 주어졌을 때,

$$E(X_1) = M_1, \;\;\; E(X_2) = M_2$$

$$\therefore \;\;\; E(X_1 + X_2) = M_1 + M_2$$

 

 

$$Var(X_1 + X_2) = E( ( (X_1 + X_2) - (M_1 + M_2) )^{2} ) $$

$$= E( ( (X_1 - M_1) - (X_2 - M_2) )^{2} )$$

$$= E(\;(X_1 - M_1)^{2} \;+\; 2(X_1 - M_1)(X_2 - M_2) \;+ \;(X_2 - M_2)^{2}\;)$$

 

 

 

이때 다음이 성립한다.

$$E((X_1-M_1)^{2}) = Var(X_1)$$

$$E((X_2-M_2)^{2}) = Var(X_2)$$

 

 

 

또한 X1과 X2는 Independent라는 조건이 주어졌으므로 다음이 성립한다.

$$E(2(X_1 - M_1)(X_2 - M_2)) = 2\cdot E((X_1 - M_1)) \cdot E((X_2 - M_2))$$

 

 

 

또한 다음과 같으므로

$$E(X_1 - M_1) = E(X_1) - M_1 = M_1 - M_1 = 0$$

 

 

$$\therefore \;\; Var(X_1 + X_2) =Var(X_1) + Var(X_2)$$

 

 

 

 

 

위를 통해 다음도 성립함을 알 수 있습니다.

X1, X2, ... Xn이 Independent인 경우

$$Var(a_1X_1 + a_2X_2 + \cdots + a_nX_n) = a_1^{2}Var(X_1) + a_2^{2}Var(X_2) + \cdots + a_n^{2}Var(X_n)$$