[확률과 통계] - (16) Prior and Posterior Distributions (사전 분포와 사후 분포)

 

 

 

 

 

 

데이터를 관찰하기 전 모수의 분포를 사전 분포(prior distribution)라고 합니다.

데이터가 관찰된 후 주어진 모수에 대한 조건부 분포(conditional distribution)를 사후 분포(posterior distributuion)라고 합니다.

 

즉 다음과 같습니다.

$$prior \;\; distribution \;\; \to \;\; f(\theta )$$

$$posterior \;\;distribution \;\; \to \;\; f(\theta \;| \; x_1, x_2, ...  \;)$$

 

 

 

 

 

 

 

---

 

 

 

Prior Distribution(사전 분포)

모수 θ를 가진 통계적 모델이 있을 때, θ를 확률변수로 취급하고 데이터를 관찰하기 전에 θ에 할당하는 분포를 사전 분포라 합니다.

 

이때 모수 공간(Parameter Space)이 이산적일 때의 사전 분포에 대한 p.f는 θ에 대한 사전 p.f라고 하며,

사전 분포가 연속적일 경우, 해당 분포의 p.d.f는 θ에 대한 사전 p.d.f라고 부릅니다.

 

사전 p.f/p.d.f는 기호로 다음과 같이 나타냅니다.

$$\xi(\theta )$$

 

 

 

 

 

 

 

 

 

 

Posterior Distribution(사후 분포)

관찰된 데이터 X1, ..., Xn이 주어진 경우,  θ의 조건부 분포(conditional distribution)를 θ의 사후 분포(posterir distribution)라고 합니다.

 

사후 p.f/p.d.f는 기호로 다음과 같이 나타냅니다.

$$\xi(\theta \; | \;x_1, ..., x_n )$$

 

 

 

 

 

 

성질

사후 분포의 p.d.f 혹은 p.f 인 f(x|θ)를 가지는 모집단으로부터 추출한 n개의 임의의 표본  X1, ..., Xn에 대하여,

모수 θ의 값을 알 수 없고, θ에 대한 prior p.f 혹은 p.d.f인 ξ(θ)가 있다고 가정합니다.

 

 

 

이 경우 θ에 대한 posterior p.f 혹은 p.d.f는 다음과 같습니다.

$$\xi(\;\theta\;|\;x\;) = \frac{f(x_1|\theta)\cdots f(x_n|\theta) \;\xi(\theta) }{g_n(x)} \;\;\;for \;\; \theta \in \Omega$$

(x는 x1, ... xn에 대한 벡터 표기법입니다. 즉 x=(x1, x2, ..., xn))

 

 

이때 g_n(x)는 X1, X2, ... , Xn에 대한 marginal joint p.d.f 혹은 p.f 입니다.

 

 

 

 

 

 

증명)

 

( ξ(θ)가 continuous 한 경우에만 증명하겠습니다.   ξ(θ)가 p.f인 경우에도 쉽게 증명될 수 있습니다 )

 

X1, ... , Xn은 p.d.f에 대한 분포에서 무작위로 추출된 표본들이므로, 표본들의 열(sequence)은 i.i.d 이며, 

θ가 주어졌들 때 이들의 conditional joint p.d.f 또는 p.f는 다음과 같습니다. (각 확률변수들이 독립인 경우 joint p.d.f / p.f는 각 p.d.f / p.f 들의 곱과 같습니다)

$$f_n(x_1, ..., x_n | \theta) = f(x_1|\theta) \cdot f(x_2|\theta) \cdots f(x_n|\theta)$$

 

 

이때 벡터 표기법 x=(x1, ..., xn)을 사용하여 위 식을 간단히 쓸 수 있으며, 

위 식에 p.d.f ξ(θ)를 곱하여 n+1 차원의 joint p.d.f 를 얻을 수 있고 다음과 같습니다.

$$f(x, \theta) = f_n(x|\theta) \xi(\theta)$$

 

 

위 식을 Parameter Space에 존재하는 모든 모수들에 대하여 적분하면 X1, ... Xn에 대한 marginal joint p.d.f 를 얻을 수 있습니다. 따라서 X1, ... Xn에 대한 n차원의 marginal joint p.d.f 혹은 p.f인 g_n(x)는 다음과 같이 작성될 수 있습니다.

$$g_n(x) = \int_{\Omega} f_n(x|\theta)\; \xi(\theta) d\theta$$

 

 

 

이때 사후 p.d.f는 다음과 같아야 합니다.

$$\xi(\theta|x ) = \frac{f_n(x|\theta) \; \xi(\theta)}{g_n(x)} \;\;\; for\; \theta \in \Omega$$

 

 

 

이는 매개변수 및 무작위 샘플에 대해 다시 정의된 Bayes 정리입니다.