[확률과 통계] - (8) Covariance(공분산) & Correlation coefficient(상관계수)

 

Covariance (공분산)

두개의 확률변수에 대한 Joint distribution이 주어졌을 때, 두 확률변수가 얼마나 서로에게 의존적인지 나타냅니다.

 

 

확률변수 X, Y가 유한한 값을 가지는 평균 M_X와 M_Y를 가질 때,

X와 Y에 대한 Covariance(공분산)는 다음과 같습니다.

$$Cov(X,Y) = E((X-M_X)(Y-M_Y))$$

만약 X와 Y의 분산(variance)이 bounded(finite, 유한)하다면, X와 Y의 Covariance(공분산)인 Cov(X, Y)또한 bounded합니다.

 

 

 

또한 위 식을 통해 다음을 유도할 수 있습니다.

 

X와 Y가 finite한 분산(variance)을 갖을 때,

$$Cov(X, Y) = E(XY) - E(X)E(Y)$$

 

이에 대한 증명은 다음과 같습니다.

 

X에 대한 평균 E(X)를 M_X라 하고, Y에 대한 평균 E(Y)를  M_Y라 하면,

$$Cov(X, Y) = E((X-M_X) (Y-M_Y))$$

$$= E(XY - XM_Y -YM_X + M_XM_Y)$$

$$=E(XY) - M_YE(X) - M_XE(Y) + M_XM_Y$$

$$=E(XY) - M_YM_X - M_XM_Y + M_XM_Y$$

$$= E(XY) - M_XM_Y$$

 

 

 

 

Covariance를 구하는 하나의 예시를 살펴보도록 하겠습니다.

연속확률변수 X, Y에 대해, joint p.d.f인 f가 다음과 같습니다.

$$f(x, y) = \left\{\begin{matrix}
2xy + \frac{1}{2} & 0\leq x \leq 1 \;\;and\;\; 0 \leq y\leq 1 \\
 0&  otherwise\\
\end{matrix}\right.$$

이때 X와 Y의 Covariance인 Cov(X,Y)는 다음과 같습니다.

$$M_X = \int_{0}^{1}x \cdot \int_{0}^{1} f(x,y)dy dx $$

$$= \int_{0}^{1} x \cdot (x+ \frac{1}{2})dx \;\;\;\; since \; \int_{0}^{1}f(x,y)dy =  \int_{0}^{1}2xy + \frac{1}{2}dy = \left [  xy^{2} + \frac{1}{2}y\right ]^{1}_0$$

$$= \left [  \frac{1}{3}x^{3} + \frac{1}{4}x^{2} \right ]^{1}_0 = \frac{7}{12}$$

 

또한 X와 Y는 대칭(Symmetric)이므로, 

$$MY = \frac{7}{12}$$

 

따라서

$$Cov(X, Y) = E((X-\frac{7}{12})(Y-\frac{7}{12}) )$$

$$\overset{\underset{\mathrm{LOTUS}}{}}{=} \int_{0}^{1}\int_{0}^{1}(x - \frac{7}{12})(y - \frac{7}{12})(2xy + \frac{1}{2})dxdy = \frac{1}{144}$$

 

 

 

---

 

 

Correlation Coefficient (상관계수)

finite한 variance를 갖는 X와 Y에 대한 Correlation Coefficient는 공분산을 각각의 표준편차의 곱으로 나누어 준 것으로, 다음과 같이 정의됩니다.

$$\rho(X, Y) = \frac{Cov(X,Y)}{\sigma_X\sigma_Y}, \;\;\;\;\; \sigma_X^{2} = Var(X), \;\sigma_Y^{2} = Var(Y)$$

 

 

Correlation Coefficient는 -1~1사이의 값을 가지게 되는데, 그에 대한 증명은 아래와 같습니다.

코시-슈바르츠의 부등식에 의해

$$Cov(X,Y)^{2} \leq  \sigma_X^{2}\cdot \sigma_Y^{2}$$

이며 따라서,

$$\frac{(Cov(X,Y))^{2}}{\sigma_X^{2}\sigma_Y^{2}} \leq 1$$

$$\Rightarrow -1 \leq \rho(X, Y) \leq 1 $$

 

 

이때

ρ(X, Y) > 0 인 경우 positive correlated (X가 증가하면 Y도 증가)

ρ(X, Y) = 0 인 경우 uncorrelated (연관 없음)

ρ(X, Y) < 0 인 경우 negative correlated (X가 증가하면 Y는 감소)

 

 

 

 

공분산과 상관계수의 속성

1. 만약 X, Y가 Independent이며, X의 분산과 Y의 분산 모두 유한(finite)할 때,

$$Cov(X, Y) = 0$$

그러나 Covariance가 0이라고 해서 반드시 Independent인 것은 아닙니다.

 

이에 대한 증명은 다음과 같습니다.

$$Cov(X, Y) = E(XY) - E(X)E(Y)$$

$$= E(X)E(Y) - E(X)E(Y) \;\;\;\; since \;\;\; X,Y \;are \; independent$$

 

 

 

 

2. X는 finite한 분산을 가진 확률변수이며, Y = aX + b일 때,

$$if \left\{\begin{matrix}
 a>0 &  then\;\; \rho(X,Y)=1\\
 a<0 & then\;\; \rho(X,Y)=-1\\
\end{matrix}\right.$$

 

이에 대한 증명은 다음과 같습니다.

$$M_X=E(X), \;\;\;\; M_Y=E(aX+b) = aM_X + b$$

라고 하면, 

 

$$Cov(X, Y) = \sigma_{XY}= E((X-M_X)(Y-M_Y)) = E((X-M_X)(aX+b- (aM_X + b)))$$

$$=aE\left [ (X-M_X)^{2} \right ] = a\sigma^{2}_X$$

 

또한 Y에 대한 분산은, 분산의 특성을 이용하면 다음과 같으므로,

$$\sigma_Y^{2} = a^{2}\sigma^{2}_X$$

$$\sigma_Y= |a|\sigma_X$$

 

 

위 두 식을 이용하여, 공분산(Covariance)을 구하면 다음과 같습니다.

$$\rho_{XY} = \frac{a\sigma_X^{2}}{\sigma_X\sigma_Y}= \frac{a\sigma_X^{2}}{\sigma_X|a|\sigma_X}= \frac{a}{|a|}$$

 

따라서

$$\rho(X, Y) = \frac{a}{|a|} = \left\{\begin{matrix}
 1&  a>0\\
 -1&  a<0\\
\end{matrix}\right.$$

 

 

 

 

 

3. X, Y가 finite한 분산을 가질 때

$$Var(X + Y) = Var(X) + Var(Y) + 2Cov(X, Y)$$

 

이에 대한 증명은 다음과 같습니다.

$$Var(X+Y) = E( \;( (X+Y) - (M_X + M_Y)  )^{2}\; )$$

$$= E((X-M_X)^{2} + 2(X - M_X)(Y-M_Y) + (Y-M_Y)^{2}  )$$

이때

$$ E((X-M_X)^{2}) = Var(X)$$

$$ E((Y-M_Y)^{2}) = Var(Y)$$

$$ E((X - M_X)(Y-M_Y) ) = Cov(X, Y) $$

이므로

$$= Var(X)  + Var(Y) + 2Cov(X, Y)$$

 

 

또한 이를 통해 다음이 성립함을 알 수 있습니다.

$$Var(aX + bY + c) = Var(aX + bY)$$

$$=a^{2}Var(X) + b^{2}Var(Y) +2Cov(aX, bY)$$

$$=a^{2}Var(X) + b^{2}Var(Y) +2abCov(X, Y)$$

 

 

 

 

 

 

4. X1, X2, ... Xn 이 각각 finite한 분산을 가질 때,

$$Var(\sum_{i=1}^{n}X_i) = \sum_{i=1}^{n}Var(X_i) + 2\sum^{}_{i=1} \sum^{}_{j=1}Cov(X_i, X_j), \;\;\;\; only (i<j) $$

 

이에 대한 증명은 다음과 같습니다.

 

$$Cov(X,X) = E((X-M_X)^{2}) = Var(X)$$

이며,따라서

$$Var(\sum_{i=1}^{n}X_i) = Cov(\sum_{i=1}^{n}X_i, \sum_{j=1}^{n}X_j) $$

입니다.

 

이때 다음을 가정하면,

$$E(X_i) = u_i, \;\; E(Y_j) = v_j$$

 

$$E(\sum^{n}_{i=1}X_i) = \sum^{n}_{i=1}u_i, \;\;\;E(\sum^{n}_{j=1}Y_j) = \sum^{n}_{j=1}v_j$$

이며, 따라서 Covariance의 정의를 사용하면

$$Cov(\sum_{i=1}^{n}X_i, \sum_{j=1}^{n}Y_j) = E\left [ (\sum_{i=1}^{n}X_i - \sum_{i=1}^{n}u_i) (\sum_{j=1}^{n}Y_j - \sum_{j=1}^{n}v_j)\right ]$$

$$= E\left [ \sum_{i=1}^{n}(X_i - u_i)\sum_{j=1}^{n}(Y_j - v_j) \right ]
= E\left [ \sum_{i=1}^{n}\sum_{j=1}^{m}(X_i - u_i)(Y_j - v_j) \right ] $$

$$=\sum_{i=1}^{n}\sum_{j=1}^{m}E[(X_i - u_i)(Y_j - v_j)] = \sum_{i=1}^{n}\sum_{j=1}^{m}Cov(X_i, Y_j)$$

 

따라서 위에서 증명한 성질을 이용하여, 

$$Cov(\sum_{i=1}^{n}X_i, \sum_{j=1}^{n}X_j) $$

를 다음과 같이 바꿀 수 있습니다.

$$ = \sum_{i=1}^{n}\sum_{j=1}^{m}Cov(X_i, X_j)$$

이는 i=j일 때와 그렇지 않을 때, 두 가지 경우로 나눌 수 있습니다.

$$= \sum\sum Cov(X_i, X_j), \;\; when\;\; i = j \;\;\;+ \sum\sum Cov(X_i, X_j), \;\; when\;\; i \neq  j$$

 

이때

$$\sum\sum Cov(X_i, X_j) = \sum^{n}_{i=1}Var(X_i)\;\; when\;\; i = j$$

이며,

$$Cov(X, Y) = Cov(Y, X)$$

는 항상 성립하므로,

$$\sum\sum Cov(X_i, X_j)\;\; (when\;\; i \neq j)\;\; = 2\sum Cov(X_i,X_j)\;\; \;(when\;\; i < j)$$

 

 

 

 

 

 

Covariance의 속성에 대한 참고

https://www.probabilitycourse.com/chapter5/5_3_1_covariance_correlation.php

Covariance | Correlation | Variance of a sum | Correlation Coefficient:

http://www.stat.ucla.edu/~nchristo/statistics100C/stat100c_var_cov_operations.pdf