🖥 Computer Science/확률과 통계

가능도(Likehood) 가능도는 우도라고도 불리며, 어떠한 값이 관측되었을 때, 이 값이 어떤 확률 분포로부터 왔을지에 대한 확률을 나타내는 값입니다. 가능도 함수 (Likedhood Function) n개의 임의의 표본 $X_1, X_2, ..., X_n$에 대한 관측된 값들의 벡터 $x = (x_1,x_2, ... x_n)$ [X1 = x1, X2 = x2, ...]에 대하여, 아래 함수가 θ에 대한 결합분포(joint distribution)의 함수로 간주될 때, 이를 가능도 함수(likehood function)(혹은 우도 함수라고도 함)라고 합니다. $$f_n(x|\theta)$$ 이때 x는 벡터( $x=(x_1, x_2, ..., x_n)$ )이며, 각각의 x1, x2, ..., xn들을 동..

데이터를 관찰하기 전 모수의 분포를 사전 분포(prior distribution)라고 합니다. 데이터가 관찰된 후 주어진 모수에 대한 조건부 분포(conditional distribution)를 사후 분포(posterior distributuion)라고 합니다. 즉 다음과 같습니다. $$prior \;\; distribution \;\; \to \;\; f(\theta )$$ $$posterior \;\;distribution \;\; \to \;\; f(\theta \;| \; x_1, x_2, ... \;)$$ Prior Distribution(사전 분포) 모수 θ를 가진 통계적 모델이 있을 때, θ를 확률변수로 취급하고 데이터를 관찰하기 전에 θ에 할당하는 분포를 사전 분포라 합니다. 이때 모수 공..

통계적 추정(Statistical Inference) 모집단이 매우 크다면 해당 집단의 평균, 분산, 표준편차, 상관계수 등의 특성값을 구하기가 매우 어렵습니다. 이러한 경우 모집단으로부터 적당한 수의 표본을 추출하여 해당 집단에 대한 모수를 추정하는 것을 통계적 추정이라 합니다. 이때 표본은 이미 관찰된 값이며, 모수의 값을 얻는 과정이기에 모수를 일종의 Random Variable로 생각할 수 있습니다. 따라서 추출된 표본 X1, ... Xn은 모수가 주어졌을 때의 Conditional distribution으로 표현할 수 있습니다. 모수(Parameter) 모수는모집단의 특성(평균, 분산, 표준편차, 상관계수 등)을 나타내는 값으로, 해당 값들은 모집단을 전수조사 해야만 알 수 있는 값입니다. 그러..

중심극한정리 모집단(Population)이 평균 $\mu$, 분산 $\sigma^2$ 인 임의의 분포를 이룰 때, 이 모집단으로부터 추출된 표본들에 대해서 표본의 크기 n이 충분히 크다면 표본평균은 다음 정규 분포에 수렴한다는 정리입니다. $$\overline{X_n} \; \sim \; N(\;\mu, \; \frac{\sigma^{2}}{n}\; )$$ 린데베르그-레비(Lindeberg and Levy) 중심극한정리 다음과 같이 정의됩니다. 평균 $\mu$, 분산 $\sigma^2$ 를 가지는 모집단으로부터 임의추출한 n개의 표본들에 있을 때, 표본평균은 모든 실수 x에 대해 다음이 성립합니다. $$\displaystyle \lim_{ n\to \infty} P\left ( \frac{\overlin..

큰 수의 법칙(Law of Large Numbers)을 알아보기 전에, 확률의 수렴(Convergence in Probability)에 대하여 알아보겠습니다. 확률의 수렴 확률변수의 열(sequence) Z1, Z2, ... Zn이 모든 0보다 큰 ε에 대하여 다음을 만족할 때, $$\displaystyle \lim_{ n\to \infty} P(\;|Z_n - b|< \epsilon \;) = 1$$ 확률변수의 열(sequence) Z1, Z2, ... Zn은 b로 수렴한다고 정의하며, 다음과 같이 표시합니다. $$Z_n \overset{p}{\rightarrow}b$$ 큰 수의 법칙(Law of Large Numbers) 큰 수의 법칙은 임의의 표본들에 대하여, 표본추출한 표본들의 개수가 충분히 크다..

Markov inequality와 Chebyshev inequality 모두 모집단의 분포를 모를 때 사용 가능한 부등식입니다. Markov’s inequality (마르코브 부등식) Markov's inequality은 음이 아닌 확률 변수가 어떤 양의 실수 이상일 확률의 상계를 나타내는 부등식입니다. 확률과 기댓값의 관계를 설명하고, 확률 변수의 c.d.f에 대해 느슨하지만 유용한 한계를 제공합니다. Markov's inequality은 다음과 같습니다. P(X > 0) = 1 을 만족시키는 확률변수 X에 대하여 다음 부등식이 성립합니다. $$ P(X \geq t) \leq \frac{E(X)}{t} ,\;\;\;\forall{real \;\;t>0}$$ 이는 분산이 없어도 평균으로만 유도 가능한 부..

표본평균(Sample Mean) 모집단에서 독립적(무작위로)으로 n개의 표본들을 (복원)추출하였을 때 해당 표본들의 평균을 구한 값을 의미합니다. $$\overline{X_n} = \frac{1}{n}\sum^{n}_{i=1}X_i$$ 표본평균의 평균과 분산 모집단의 평균이 μ, 분산이 σ^2일 때, 표본평균의 평균과 분산은 모집단의 분포와 상관없이 다음과 같습니다. 표본평균의 평균 : (모집단의 평균과 동일합니다)$$\mu$$ 표본평균의 분산: $$\frac{\sigma^{2}}{n}$$ 증명) 표본평균은 다음과 같으므로 $$\overline{X_n} = \frac{1}{n}\sum^{n}_{i=1}X_i$$ 표본평균의 평균은 다음과 같습니다. $$E(\overline{X_n})=\frac{1}{n}\..

정규분포 (Normal Distribution) 정규분포는 연속 확률 분포에 속하며 아래와 같이 정의됩니다. 확률변수 X가 다음 p.d.f를 갖는 연속 분포를 갖는 경우, 평균(mean) μ 와 분산(variance) σ^2을 가지는 정규분포를 따릅니다. $$p.d.f\;\;\; f(\;x\;|\; \mu,\; \sigma^{2}) \;= \;\;\;\;\frac{1}{\sqrt{2\pi}\sigma} \cdot exp(-\frac{(x-\mu)^{2}}{2\sigma^{2}})\;\;\;\;\;\;\;for\; -\infty < x < \infty $$ 그리고 정규분포는 다음과 같습니다. $$X \sim N(\mu, \sigma^{2})$$ (이때 평균 μ는 bounded(-∞