[확률과 통계] - (7) Moments(적률), m.g.f(적률생성함수), median(중앙값)

 

 

 

Moments(적률)

Moments(적률)는 확률변수를 요약하는데 사용되는 또 다른 수단입니다.

Moment를 이용하여 기댓값, 분산, Skewness(왜도), Kurtosis(첨도)등을 측정할 수 있습니다.

 

 

 

정의는 다음과 같습니다.

$$K-th \;\; Moment \overset{\underset{\mathrm{def}}{}}{=}E(X^{k}),\;\;\;\;\; (k\geq 1)$$

 

 

 

 

k-th moment가 존재하기 위해서는 다음 조건을 반드시 만족해야 하며,

다음 조건을 만족한다면 k-th moment가 존재하는 것입니다.

$$E(|X|^{k}) < \infty$$

 

 

 

만약 확률변수 X가 bounded(유계)인 경우, 즉 유한한 두 수 a, b에 대해 다음을 만족하는 경우 X의 모든 moment는 반드시 존재합니다.

$$P(a \leq X \leq b) = 1$$

 

 

 

 

 

 

Moments의 속성

 

 

1) 만약 k번째 moment가 존재한다면, k보다 작은 j에 대해, j번째 moment도 또한 존재합니다.

 

 

 

증명)

X를 연속확률변수라 가정하도록 하겠습니다.

저희는 j번째 Moment가 존재함을 증명하기 위해 다음을 보이면 됩니다.

$$E(|X|^{k}) < \infty$$

 

 

 

$$E(|X|^{j}) \overset{\underset{\mathrm{LOTUS}}{}}{=} \int_{-\infty}^{\infty}|X|^{j}f(x)dx$$

$$=\int_{|X|\leq 1}|X|^{j}f(x)dx + \int_{|X|>  1}|X|^{j}f(x)dx $$

$$\leq  \int_{|X|\leq 1}^{}f(x)dx + \int_{|X|>1}^{}|X|^{k}f(x)dx \;\;\;\; \because \;\; |X|^{j} < |X|^{k}$$

$$= P(|X| \leq  1) + E(|X|^{k})$$

 

 

 

$$이때 \;\; P(|X| \leq 1) \leq 1이고,\;\; E(|X|^{k})<\infty $$

 

 

따라서 두 항 모두 bounded( 무한대보다 작음 )입니다.

 

 

 

따라서 다음 식도 bounded이며, 따라서 j번째 moment도 존재합니다.

$$\int_{|X|\leq 1}|X|^{j}f(x)dx + \int_{|X|>  1}|X|^{j}f(x)dx $$

 

 

 

 

 

 

 

 

 

 

 

 

 

 

moment generating function (적률생성함수,   m.g.f )

확률변수 X와 실수 t가 주어졌을 때,

X에 대한 m.g.f(적률생성함수)Ψ(t) 는 다음과 같습니다.

$$\psi(t) = E(e^{tX})$$

 

이때 Ψ(t)는 오직 X의 분포에만 의존적입니다.(영향을 받습니다.)

 

 

만약 두 확률변수 X와 Y의 m.g.f가 동일하다면, X와 Y는 동일한 분포를 갖습니다.

 

 

 

 

 

 

 

 

---

 

 

 

Moment를 구하는 법

 

X에 대한 n차 moment를 구하기 위해서

m.g.f를 n번 미분한 후 t=0을 대입하면 n차 moment를 얻을 수 있습니다.

 

이때 Ψ(t)는 0 주변의 열린 구간에 속한 모든 t값들에 대해 유한(finite)해야 합니다.

 

 

 

공식으로는 다음과 같습니다.

$$E(X^{n}) = \psi^{(n)}(0)$$

이때 Ψ^n은 Ψ의 n승이 아니라, Ψ를 n번 미분했다는 뜻입니다.

 

 

 

 

 

예시를 들어보겠습니다.

X는 연속확률변수이며, p.d.f인 f(x)를 가진다고 하겠습니다.

$$f(x)=
\left\{\begin{matrix}
e^{-x} & x>0 \\
 0&  otherwise\\
\end{matrix}\right. $$

 

 

X에 대한 m.g.f는 다음과 같습니다.

$$\psi(t) = E(e^{tX})$$

 

 

 

 

 

이제 n차 적률을 구해보도록 하겠습니다.

$$E(e^{tx}) = \int_{0}^{\infty}e^{tx} \cdot  f(x) dx = \int_{0}^{\infty}e^{tx} \cdot  e^{-x} dx $$

$$=\int_{0}^{\infty}e^{x(t-1)}dx$$

 

이때 다음과 같이 치환하면 $$y = (t-1)x$$

$$dy = (t-1)dx$$

 

 

 

 

이때 t의 범위에 따른 값의 설정을 해주어야 하는데 다음과 같습니다.

 

 

t가 1 이상이라면, 0에서 무한대의 범위를 적분하게 되면 적분의 값은 unbounded(즉 infinte)하게 되며, 따라서 Ψ(t)는 존재하지 않습니다.

 

t가 1 미만이라면 (t-1)은 음수의 값을 가지므로, x가 0에서 무한대로 증가함에 따라, y는 0에서 -무한대로 향하게 됩니다.

 

따라서 다음과 같아집니다.

$$(when \;\; t<1) \;\;\;\;\; \int_{0}^{-\infty}\frac{1}{t-1}\cdot e^{y}dy = \frac{1}{t-1}|^{-\infty}_0 $$

$$= \frac{1}{1-t}$$

 

 $$\therefore \;\; \psi(t) = \frac{1}{1-t} = (1-t)^{-1}$$

따라서 이를 통해 X에 대한 n차 moment를 구할 수 있습니다.

 

 

 

1차  moment

$$\psi'(0) = -(1-t)^{-2} = 1$$

 

 

 

2차  moment

$$\psi''(0) = 2(1-t)^{-3} = 2$$

 

 

 

또한 이를 통해 X에 대한 분산(Variance)도 쉽게 구할 수 있습니다.

$$Var(X) = E(X^{2}) - (E(X))^{2} = 2-1 = 1$$

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

m.g.f의 속성

1. 확률변수 X에 대한 m.g.f를 Ψ_1라 하고 Y = aX + b, Y에 대한 m.g.f를 Ψ_2라 하면

 

 

Ψ_1(at)가 정의된(즉 m.g.f가 finite한) 구간에 대해서 Ψ_2를 다음과 같이 정의할 수 있습니다.

$$\psi_2(t) = e^{bt} \cdot \psi_1(at)$$

 

 

 

 

증명)

$$\psi_2(t) = E(e^{tY}) = E(e^{t(aX+b))})$$

$$ e^{tb}\cdot E(e^{taX}) \;\;\;\;\;\;\;beacuse\;\; e^{tb} \; is\;\; constant$$

$$=e^{tb}\cdot \psi_1(at)$$

 

 

 

 

 

 

 

 

2. X1, X2, ..., Xn이 서로 Independent인 경우  Ψ_i를 X_i의 m.g.f라고 하면, 다음이 성립합니다.

 

확률변수 Y를 다음과 같이 정의하면

$$Y = X_1 + X_2 + \cdots + X_n$$

 

Y에 대한 m.g.f인 Ψ(t)는 모든 i에 대해 Ψ_i(t)가 정의된(즉 finite한 값을 가지는) 모든 t에 대하여, 다음이 성립합니다.

$$\psi(t) = \prod_{i=1}^{n}\psi_i(t)$$

 

 

 

 

증명)

$$\psi(t) = E(e^{tY}) = E(e^{t(X_1 + X_2 + \cdots + X_n)})$$

$$=E(e^{tX_1}\cdot e^{tX_2}\cdots e^{tX_n})$$

$$=E(e^{tX_1}) \cdot E(e^{tX_2}) \cdots E(e^{tX_n}) \;\;\;\; since \;\; X_1, X_2, \cdots, X_n \;\; are \; mutually\; independent$$

$$= \prod_{i=1}^{n}\psi_i(t)$$

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

Median (중앙값)

X에 대한 분포(distribution)의 median(중앙값)은 다음을 만족하는 모든 m의 값(하나가 아닐수도 있음)을 의미합니다.

$$1) \;\;\;P(X \geq m) \geq \frac{1}{2}$$

$$2) \;\;\; P(X \leq m) \geq  \frac{1}{2}$$

 

 

 

1) 중앙값은 여러개 존재할 수 있습니다.

 

2) 모든 분포는 최소 1개의 중앙값을 가지고 있습니다.

 

 

 

 

 

예를 들어보도록 하겠습니다.

이산확률변수 X에 대해 다음과 같다고 하겠습니다.

$$P(X = 1) = 0.1, \;\;\; P(X= 2) = 0.2$$

$$P(X = 3) = 0.3, \;\;\; P(X= 4) = 0.4$$

 

 

 

이때 Median은 다음과 같습니다.

$$1) P(X \geq  3) = 0.7$$

$$2) P(X \leq  3) = 0.6$$

따라서 Median 은 3입니다.

 

 

 

 

또한 여러개의 Median을 가지는 예시는 아래와 같습니다.

연속확률변수 X에 대해 p.d.f가 다음과 같다고 하겠습니다.

$$f(X) = \left\{\begin{matrix}
\frac{1}{2} &0 \leq x\leq 1   \\
1 &  2.5 \leq x\leq 3\\
0 & otherwise \\
\end{matrix}\right.$$

 

 

 

이때 [1,   2.5]에 속하는 모든 m은 아래를 만족하기에 median입니다. 

$$1) P(X \geq  m) = \frac{1}{2}$$

$$2) P(X \leq  m) = \frac{1}{2}$$

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Mean - square error (평균 제곱 오차,  MSE)

실험을 하기 전 실험의 결과로 예측한 값 d에 대해서, 실제로 나온 결과 X와 d 사이의 차이의 평균 구하고 싶을 수 있습니다.

 

이때 X와 d의 오차는 음수일 수도, 양수일 수도 있으나, 우리가 원하는 것은 절대적인 차이를 원하는 것이기 때문에 이를 제곱(square)한 값을 평균내어 구할 것이고, 이것이 바로 MSE입니다.

 

 

즉 간단히 말해 오차의 제곱에 평균을 취한 것입니다.

 

$$MSE \;\; of \; prediction \;d\;\;\;  E((x-d)^{2})$$

 

 

 

 

 

 

 

 

 

 

MSE의 속성

1) 확률변수 X의 평균을 M, 분산을 σ^2라 하면, 모든 예측값 d에 대해 다음이 성립합니다.

$$E((X-M)^{2}) \leq E((X-d)^{2})$$

 

 

위 식이 의미하는 바는 다음과 같습니다.

예측값 d를 M으로 예측했을 때 MSE를 최소화할 수 있다.

 

 

 

 

 

 

증명)

$$E((X-d)^{2}) = E(X^{2} - 2Xd + d^{2}) = E(X^{2}) - 2E(X)d + d^{2}$$

 

이때 이를 d에 대한 함수로 생각하면 아래로 볼록인 2차함수의 형태를 생각할 수 있으며,

이때 해당 함수의 최솟값은 미분한 값이 0이 되는 지점입니다.

 

 

 

즉 위 식을 미분한 값이 0일 때, 즉

$$2d + 2E(X) = 0$$

일 때 해당 함수는 최솟값을 갖습니다.

 

 

따라서 예측값 d를 M으로 예측했을 때, MSE가 최솟값이 됩니다.