[확률과 통계] - (17) 최대가능도 방법(최대우도법) (Maximum Likelihood Estimator, MLE)

 

 

 

 

가능도(Likehood)

가능도는 우도라고도 불리며, 어떠한 값이 관측되었을 때, 이 값이 어떤 확률 분포로부터 왔을지에 대한 확률을 나타내는 값입니다.

 

 

 

 

 

 

 

 

 

 

가능도 함수 (Likedhood Function)

 

n개의 임의의 표본 $X_1, X_2, ..., X_n$에 대한 관측된 값들의 벡터 $x = (x_1,x_2, ... x_n)$ [X1 = x1, X2 = x2, ...]에 대하여, 아래 함수가 θ에 대한 결합분포(joint distribution)의 함수로 간주될 때, 이를 가능도 함수(likehood function)(혹은 우도 함수라고도 함)라고 합니다.

$$f_n(x|\theta)$$

 

 

이때 x는 벡터( $x=(x_1, x_2, ..., x_n)$ )이며,

각각의 x1, x2, ..., xn들을 동일한 모집단으로부터 추출된 Random Sample로써,

i.i.d 이므로 다음과 같습니다.

$$f_n(x|\theta) = f_n(x_1|\theta) \cdot  f_n(x_2|\theta) \cdots  f_n(x_n|\theta)$$

 

 

가능도 함수는 특정한 모수 θ를 가진 확률분포로부터 표본들이 나올 확률들을 모두 곱한 값으로, 해당 값이 클수록 해당 모수를 가진 분포를 따를 확률이 높아집니다. 

 

 

 

 

 

 

 

 

 

추정량(estimator)

추정량은 표본값들로부터 모수의 값을 추정하는 방법(함수)입니다.

 

 

 

 

 

추정값(estimate)

추정값은 추정량(estimator)을 사용하여 측정된 모수의 값입니다.

 

 

 

 

 

 

 

 

 

최대가능도 방법(최대우도법) (Maximum Likelihood Estimator, MLE)

 

최대가능도 방법은 다음과 같습니다.

 

$$\delta(x) =\theta \;\;\;\; witch \;\; the\; likehood\; function \; f_n(x|\theta) \;\;\;is \; maximum$$

$$\hat{\theta} = \delta(X) \;\;\;\; \hat{\theta} \; is\; estimator\; of \; \theta$$

 

 

 

$\delta{(x)}$ 와 $\hat{\theta}$ 를 다음과 같이 정의하였을 때,

$\delta{(x)}$ :  가능도 함수가 최대가 되게 하는 $\theta$
$\hat{\theta}$ = $\delta{(X)}$  : $\hat{\theta}$ 는 $\theta$ 의 estimator(추정량)

(이때 $\delta{(x)} \in \Omega$,  $\theta \in \Omega$  가능도 함수(likehood function) = $f_{n}( x \;| \;\theta )$) 

 

 

 

maximum likehood estimator (최대 가능도 추정량(방법))

$\hat{\theta}$  : maximum likehood estimator of θ (θ에 대한 최대 가능도 추정량 (혹은 최대우도법/최대가능도 방법 등) )

$\hat{\theta}$ = $\delta{(X)}$라 정의했으므로,$\hat{\theta}$  은 X에 대한 함수로 나타내어집니다.

 

 

 

 

 

 

maximum likehood estimate (최대 가능도 추정값)

위 경우에서  X= x가 관측되었을 때,

$\delta{(x)}$의 값 : maximum likehood estimate of θ (θ에 대한 최대 가능도 추정값)

 

 

 

 

 

 

 

 

 

 

 

 

예제)