🖥 Computer Science/확률과 통계

Bernoulli Distribution(베르누이 분포) 시행의 결과가 오직 두가지인 분포입니다. 이때, 발생하는 두 가지의 결과를 성공과 실패, 혹은 발생과 미발생 등으로 나누기도 합니다. 확률변수 X를 성공 혹은 사건의 발생일 경우 1, 실패 혹은 특정 사건이 발생하지 않을 경우를 0으로 정합니다. 즉 베르누이 분포는 확률변수가 0과 1, 두가지의 값만 가지는 분포입니다. 이때 다음과 같은parameter p에 대하여, $$P(X = 1) = p, \;\; P(X = 0 ) = 1-p$$ 확률변수 X는 parameter p를 가지는 베르누이 분포를 따른다고 합니다. 즉 확률변수 X가 parameter p를 가지는 베르누이 분포를 가진다고 한다면 다음과 같습니다. $$P(X = 1) = p, P(X= ..

Covariance (공분산) 두개의 확률변수에 대한 Joint distribution이 주어졌을 때, 두 확률변수가 얼마나 서로에게 의존적인지 나타냅니다. 확률변수 X, Y가 유한한 값을 가지는 평균 M_X와 M_Y를 가질 때, X와 Y에 대한 Covariance(공분산)는 다음과 같습니다. $$Cov(X,Y) = E((X-M_X)(Y-M_Y))$$ 만약 X와 Y의 분산(variance)이 bounded(finite, 유한)하다면, X와 Y의 Covariance(공분산)인 Cov(X, Y)또한 bounded합니다. 또한 위 식을 통해 다음을 유도할 수 있습니다. X와 Y가 finite한 분산(variance)을 갖을 때, $$Cov(X, Y) = E(XY) - E(X)E(Y)$$ 이에 대한 증명은 다음..

Moments(적률) Moments(적률)는 확률변수를 요약하는데 사용되는 또 다른 수단입니다. Moment를 이용하여 기댓값, 분산, Skewness(왜도), Kurtosis(첨도)등을 측정할 수 있습니다. 정의는 다음과 같습니다. $$K-th \;\; Moment \overset{\underset{\mathrm{def}}{}}{=}E(X^{k}),\;\;\;\;\; (k\geq 1)$$ k-th moment가 존재하기 위해서는 다음 조건을 반드시 만족해야 하며, 다음 조건을 만족한다면 k-th moment가 존재하는 것입니다. $$E(|X|^{k}) < \infty$$ 만약 확률변수 X가 bounded(유계)인 경우, 즉 유한한 두 수 a, b에 대해 다음을 만족하는 경우 X의 모든 moment는 반..

확률변수 X에 대해, X가 가지는 확률분포는 X에 대한 모든 정보를 가지고 있으며, 이는 우리가 이해하며 사용하기에 너무 거대한 정보입니다. 따라서 우리는 X의 정보에 대한 요약이 필요하며, 이것이 바로 Expectation(mean 혹은 average), 즉 기댓값입니다. 기댓값 (expectation) 반복적인 experiment에서, 얻을 수 있는 값의 평균으로서 기대할 수 있는 값을 의미합니다. Discrete 한 경우 X가 이산확률변수이며, X에 대한 정의역이 오직 유한(finite, bounded)한 값을 가질 때, (예를 들어 주사위를 던질 때 나올 수 있는 눈의 수) f(x)를 X에 대한 p.m.f(확률질량함수)라고 한다면 X에 대한 기댓값인 E(X)는 다음과 같습니다. $$E(x) = \..

이번 글에서는 2개 이상의 확률변수(라고는 하지만 모든 설명은 2개일 때를 가지고 설명합니다)의 조건부 확률과 관련하여 알아보도록 하겠습니다. joint p.f 혹은 p.d.f를 가지는 (이산 혹은 연속)확률변수 X, Y에 대해, $$f_1 \;:\;marginal \;\; p.f \; / \; p.d.f \;\; of \;\; X $$ $$f_2 \;:\;marginal \;\; p.f \; / \; p.d.f \;\; of \;\; Y $$ $$g_1(x|y) = \frac{f(x,y)}{f_2(y)} \;\;\; for \;\; \forall_{Y} \;\; f_2(y)>0$$ Discrete한 경우에 대한 증명 $$f(x | y) = P_{X|Y}(X=x | Y=y) = \frac{P(X = x,..

Multiple Random Variables 지금까지는 하나의 특정한 확률변수(RV)에 대한 확률이 얼마가 되는지만 구해보았습니다. 또한 pdf(Probability Density Function)에서는 X라는 RV의 값이 특정함 범위 안에 들어있을 확률을 구했었습니다. 그러나 이번에는 확률변수가 2개인 경우에 대해서의 확률에 대해서 알아보겠습니다. Joint distribution (결합분포) 2개 이상의 확률 변수(multiful r.v.s)에 의한 분포입니다. X, Y라는 두개의 확률변수가 있을 때, X와 Y의 결합분포는 다음과 같습니다. $$P(X = x_1, Y = y_1)$$ 이러한 경우 Sample Space(표본공간)는 X가 정의된 Sample Space와 Y가 정의된 Sample Spa..

확률변수(Random Variable) 확률 변수란 표본공간(Sample space) S 안의 원소에 실수를 대응시키는 함수를 의미합니다. 그리고 확률변수 X가 취하는 모든 실수들의 집합(즉 확률변수 X의 치역)을 상태공간(state space)이라 합니다. 예를 들어 동전을 던졌을 때 X라는 확률변수를 앞면이 나오는 수라고 정의했을 때, P(1) = 1/2 이고, P(0) = 1/2입니다. 확률분포(probability distribution) 확률변수 X가 취할 수 있는 각각의 값에 확률을 대응시킨 것을 확률변수 X의 확률분포라고 합니다. 확률분포는 확률질량함수(p.m.f)나 확률밀도함수(p.d.f) 등으로 나타낼 수 있습니다. 이산확률변수 (Discrete Random Variable) 동전을 던졌..

Finite Sample Space(유한 표본 공간) 유한 표본 공간(finite sample space)은 다음과 같이 표본공간(Sample Space)이루는 원소의 개수가 유한개인 집합으로 정의됩니다. $$\left| S \right| = n,\;\;\; S = \left\{ s_1, s_2, ... s_n\right\}$$ Simple Sample Space Simple Sample Space는 다음과 같이 정의됩니다. $$S \;\; is \;\; finite \;\;and\;\; P(s_1, occurs) =P(s_2, occurs) = ... P(s_n, occurs) = \frac{1}{n}$$ 따라서 Simple Sample Space S에 속하는 사건 A를 다음과 같이 정의하였을 때, $..