[확률과 통계] - (2) 순열, 조합, 조건부확률, 베이즈 정리

 

 

 

Finite Sample Space(유한 표본 공간) 

유한 표본 공간(finite sample space)은 다음과 같이 표본공간(Sample Space)이루는 원소의 개수가 유한개인 집합으로 정의됩니다.

$$\left| S \right| = n,\;\;\; S = \left\{ s_1, s_2, ... s_n\right\}$$

 

 

 

Simple Sample Space 

Simple Sample Space는 다음과 같이 정의됩니다.

$$S \;\; is \;\; finite \;\;and\;\; P(s_1, occurs) =P(s_2, occurs) =  ... P(s_n, occurs) = \frac{1}{n}$$

 

따라서 Simple Sample Space S에 속하는 사건 A를 다음과 같이 정의하였을 때, 

$$A = \;an \;\;event\;\; contains \;\;exactly \;\;m \;\;outcome.$$

 

A가 발생할 확률은 다음과 같습니다.

$$P(A) = \frac{m}{n}$$

 

예시)
3개의 동전을 던지는 경우
S = { HHH, HHT, HTH, HTT, THH, THT, TTH, TTT }
P( HHH ) = P( HHT ) = ... = P( TTT ) = 1/8

P( obtain H on the 1st toss ) = 4/8 = 1/2

 

 

---

 

 

Counting methods

 

Multiplication Rule (곱셈 규칙)

 

K개의 단계로 이루어진 experiment를 가정해보겠습니다.

Step Level		number of Possible outcomes
1st step	->	n1
2st step	->	n2
.	->	.
.	->	.
.	->	.
k st step	->	nk

 

 

$$S =  \left\{ (u_1, u_2, ... u_i) \right\}, \;\;  u_i \;\;는 \;\;i번째 \;\;step의 \;\;결과 $$

$$| S | = n_1 \cdot n_2 \cdot \cdots n_k$$

 

예시) 2개의 주사위를 굴릴 때
1st Step -> 6
2st Step -> 6

=> 6 * 6 = 36개의 가능한 결과 


예시) 비밀번호의 조합
Password - 0~9까지의 아무런 숫자나 가능, 총 4자리
10 * 10 * 10 * 10 = 10^4

 

 

---

 

Permutation (순열)

서로 다른 n개에서 r개를 선택하여 순서대로 나열하는 방법을 순열(Permutation)이라고 하고, 기호로는 다음과 같이 나타냅니다.

$$nPr$$

순열은 순서가 있어야 하며, 뽑을 때는 중복을 허락하지 않습니다.

 

 

순열을 구하는 공식은 다음과 같습니다.

$$nPr = \frac{n!}{(n-r)!}$$

 

예시) 25명의 학생들 중, 1명의 회장과 1명의 부회장을 뽑는 경우
(첫번째 학생이 회장, 두번째 학생이 부회장이라고 가정할 수 있으므로, 분명히 순서가 있으며, 
학생은 서로 다 다르므로 중복은 허용하지 않는다.)

25P2 = 25 * 24 




예시) 6개의 모두 다른 책들을 선반에 정리하는 경우
(순서가 있으며, 중복은 없는 경우이다.)

6P6 = 6!




예시)4개의 다른 수학 책과 2개의 다른 과학 책 
(+조건 : 각각의 수학책과 과학책은 각각 consecutively하게 배열되어야한다(연속적으로 배열 -> 즉 '수과수' 같은 경우 X) )

4!(수학책) * 2!(과학책) * 2!(수학책과 과학책 그룹의 순서)

 

 

 

---

 

 

Combination(조합)

 

서로 다른 n개 중에서, 순서를 생각하지 않고 r개를 선택하는 방법을 조합(Combination)이라고 합니다.

(순서가 없고, 중복은 허락되지 않습니다.)

 

기호는 다음과 같습니다.

$$\binom{n}{r}$$

 

조합을 구하는 공식은 다음과 같습니다.

$$ \frac{n!}{(n-r)! * r!}$$

 

 

 

 

---

 

 

조건부확률 (Conditional Probability)

사건 B가 발생하였을 때, 사건 A가 발생할 확률을 조건부 확률이라 하고 다음과 같이 표기합니다.

$$P(A | B)$$

 

구하는 공식은 다음과 같습니다.

$$P(A | B) = \frac{P(A\cap B)}{P(B)}$$   (P(B) >0이다)

 

 

예시 : 주사위 2개를 던질 때

S = { (a, b) | , a = 첫 번째 시도의 결과, b = 두 번재 시도의 결과 }
A = { (a, b) | , a + b < 8 }
B = { (a, b) | , a + b is odd }


P(A | B)  =  P( A ∩ B ) / P(B)

B ┌─ 3   (1, 2), (2, 1)
   ├─ 5   (1, 4), (2, 3), (3, 2), (4, 1)
   ├─ 7   (1, 6), (2, 5), ... (6, 1)
   ├─ 9   (3, 6), (4, 5) (5, 4), (6, 3)
  └─ 11  (5, 6), (6, 5)

P(B) = 1/2 , P( A ∩ B) = 12/36 = 1/3
P(A | B) = 2/3

 

 

 

 

Multiplication rule for conditional probability

$$1)If \;\; P(B) > 0 \to P( A \cap B ) = P(A | B) \cdot P(B) $$

$$2) If \;\;P(A) > 0 \to P( A \cap B ) = P(B | A) \cdot P(A) $$

 

 

 

 

지금까지는 두가지 사건에 대한 조건부 확률을 구했지만, n가지 사건에 대한 조건부확률도 쉽게 구할 수 있습니다.

 

 

Generalization form (일반화)

다음과 같은 n개의 사건들에 대하여,

$$A_1, A_2, ..., A_n, \;\;\; (P(A_i) > 0)$$

$$P(A_1 \cap A_2 \cap A_3 \cap ... \cap  A_n) = $$

$$P(A_1) \cdot P(A_2|A_1) \cdot P(A_3| A_1 \cap A_2) \cdots P(A_n | A_1 \cap A_2 \cap A_3 \cap ... \cap A_{n-1})$$

 

 

 

 

 

 

전확률 공식 (Conditional probability and partitions)

partition

$$S : \;\; Sample \;\; Space$$

$$B_1, B_2, ..., B_k \;\; form \;\;a\;\; partition\;\; of \;\; S$$

$$\leftrightarrow  i) \;\;\bigcup_{i=1}^{k}B_i = S \;\;\;\;\; ii)\;\;B_1, ..., B_k \;\;are\;\; mutually\;\;disjoint$$

 

이 말의 뜻은 각각의 사건들을 Union한 것이 S이며, 따라서 B1, ... Bk 는 mutually disjoint입니다.

확률이 0이 아닌 사건들 B1, B2, ... ,Bi이 표본공간 S의 분할(Partiotion)이라 하면,

모든 i에 대해, P(Bi) >0이며, 모든 이벤트는 S의 부분집합입니다.

 

$$Since \;\; B_1, ... , B_k \;\;is\;\; Partition \;\;of\;\; S$$

$$A = (B_1 \cap A) \cup (B_2 \cap A) \cdots \cup (B_k \cap  A)$$

$$Since \;\; B_1 \cap A,\; B_2 \cap A,\;\cdots  B_k \cap A,\;\; are\;\; mutually\;\;disjoint$$

$$P(A) = \sum_{i=1}^{k}P(B_i\cap A), \;\; since \;\; P(B_i)>0 \;\;\; by \;\;Axiom(3)$$

$$따라서\;\; \forall{i}\;\; P(A) = \sum_{i=1}^{k}P(A|B_i)\cdot P(B_i)$$

 

 

 

 

 

 

Independent Event

두개의 사건 A와  B가 Independent라는 것은 다음과 같이 정의됩니다.

$$P( A | B )  = P(A) $$

$$따라서  P(A \cap B) = P(A) \cdot P(B) $$

 

즉 P(A ∩ B) = P(A) * P(B) 라는 조건이 주어진다면, 이는 Independent한 사건입니다.

 

 

 

 

 

Independence of complement (여집합의 독립)

A와 B라는 두 Indepentent한 사건이 있을 때, A와 Bc(B의 여집합) 또한 Independent입니다.

 

증명은 다음과 같습니다.

$$P(A \cap B^{c}) = P(A) - P(A \cap B) $$

$$=P(A) - P(A) \cdot P(B) \;\; \because \;\; A \;\; and \;\; B \;\; are\;\; independent)$$

$$=P(A)(1-P(B))$$

$$=P(A)\cdot P(B^{c})$$

 

이는 사건이 여러개일 경우에도 성립합니다.

 

 

---

 

Bayes' theorem (베이즈 정리)

 

 

베이즈 정리는 다음과 같습니다.

 

$$P(\;B\;|\;A \;)   =  \frac{P(A|B) \cdot P(B)}{P(A)}$$ 

 

• P(B)는 사전 확률입니다.
• P(B|A)는 A의 값이 주어진 경우에 대한 B의 사후 확률입니다.
• P(A|B)는 B가 주어졌을 때의 A의 조건부 확률로써, 가능도(Likehood)입니다.
• P(A)는 A에 대한 사전 확률로써, 증거(Evidence) 입니다. 

 

 

 

 

사용 예시)

다음과 같이 B1, B2, ... Bk가 전체집합 S의 partition일 때,

$$B_1, ..., B_k \;\; is \;\; partition \;\; of \;\; S$$

$$\forall i, P(B_i)>0$$

 

 

다음의 확률이 주어졌다고 가정하겠습니다.

$$ P(B) $$

$$ P(A|B_1), ..., P(A|B_k) \;\;\; (P(A) > 0) \;\;$$

 

 

이때 B1, B2, ..., Bk는 S의 Partition이므로 다음이 성립합니다.

$$ \sum_{l=1}^{k}P(A|B_l) \cdot P(B_l)   = P(A)$$

 

 

 

즉 P(A)와 P(B), 그리고 P(A|B_1), ...P(A|B_n)이 주어진 경우에 베이즈 정리를 사용하여 다음 확률을 구할 수 있습니다.

$$ P(B_1|A), ..., P(B_k|A) $$

 

 

 

 

 

구하는 과정은 다음과 같습니다.

 

모든 1~k 범위의 모든 i에 대해서, 

$$ P(B_i|A) = \frac{P(B_i \cap A)}{P(A)} = \frac{P(A|B_i) \cdot P(B_i)}{P(A)} $$

$$= \frac{P(A|B_i) \cdot P(B_i)}{P(\bigcup_{l=1}^{k} (A\cap B_i))}$$

$$= \frac{P(A|B_i) \cdot P(B_i)}{\sum_{l=1}^{k}P(A\cap B_l)}$$

$$ = \frac{P(A|B_i) \cdot P(B_i)}{\sum_{l=1}^{k}P(A|B_l) \cdot P(B_l)}$$

 

 

 

 

 

 

 

예시

3개의 기계(m1, m2, m3)중 하나가 아이템 I를 생산한다.

1) m1이 I를 생산활 확률 = 0.2
2) m2이 I를 생산활 확률 = 0.3
3) m3이 I를 생산활 확률 = 0.5

4) m1에 의해 생상된 I가 불량품일 확률 = 0.01
5) m2에 의해 생상된 I가 불량품일 확률 = 0.03
6) m3에 의해 생상된 I가 불량품일 확률 = 0.03

문제 : if I가 불량품일 때, 그것이 m2에 의해 생산되었을 확률

1,2,3 을 각각 A1, A2, A3로 생각하고,
I가 불량품일 사건을 B라고 생각하자.

P(A_1) = 0.2,   P(A_2) = 0.3,   P(A_3) = 0.5
P(B|A_1)=0.01,   P(B|A_2)=0.03,   P(B|A_3)=0.03
로 둘 수 있고,
I가 불량품일 때(B), 그것이 m2에 의해 생산(A_2)되었을 확률은 다음과 같이 표현할 수 있다.
P(A_2|B)

 

풀이

$$P(A_2|B) = \frac{P(A_2\cap B)}{P(B)}= \frac{P(B|A_2) \cdot P(A_2)}{P(B)} = \frac{P(B|A_2) \cdot P(A_2)}{\sum_{i=1}^{3}P(B|A_i) \cdot P(A_i)} $$

 

 

 

 

 

 

 

 

 

 

 

참고

https://www.youtube.com/watch?v=Y4ecU7NkiEI&t=391s