[시스템 프로그래밍] 소수의 표현 (부동소수점)

 

 

 

 

 

 

 

컴퓨터에서는 소수를 표현하기 위해 부동소수점 표현을 사용합니다.

 

 

부동소수점 표현은 $V = x \times 2^{y}$ 형태의 소수를 인코딩합니다.

 

현재 대부분의 컴퓨터는 IEEE 부동소수점 표준 의 방식을 지원합니다.

 

이제부터 숫자를 어떻게 IEEE 부동소수점 형식으로 나타내는지와, 

숫자를 해당 형태로 정확하게 나타낼 수 없을 때 수행하게 되는 근사(rounding)에 대해 알아보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

🧐 비율 이진수

부동소수점에 대해 알아보기 전, 비율 이진수에 대해 알아보도록 하겠습니다.

 

비율 이진수의 표기는 다음과 같습니다.

 

$$b_m \;b_{m-1}\; ... b_2\; b_1\; b_0\; .\; b_{-1} \;b_{-2}\; ... \;b_{-n+1}\; b_{-n}$$

 

이진 소수점 좌측의 숫자들은 $2^i$ 형태의 자릿값을 가지며, 

우측의 값은 $\frac{1}{2}^{i}$  의 자리값을 가집니다.

 

 

 

위의 표기법에 따르면 0.11...1 형태의 숫자들이 1 바로 아래의 수를 나타냅니다.

예를 들어 0.111111은 $\frac{63}{64}$ 을 나타냅니다.

 

 

 

위의 표기법은 $\frac{x}{2}^{k}$ 형태로 표시되는 소수들만 정확하게 표현 가능하며, 

$\frac{1}{3}$ 등은 정확하게 표시할 수 없습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🧐 IEEE 부동소수점 표시

IEEE 부동소수점 표준은 수를 $V = $ $(-1)^{s}$ $\times$ $M$ $\times$ $2^{E}$ 형태로 나타냅니다.

 

위의 표시에서 $s$, $M$, $E$가 의미하는 바는 각각 다음과 같습니다.

 

$s$ : 부호비트 $s$ 는 숫자가 음수인지 양수인지를 결정합니다.

즉 음수인 경우 $s = 1$ 이며, 양수인 경우 $s = 1$ 입니다.
이때 0을 나타내기 위한 부호 비트는 특별하게 다룹니다.

$M$ : 유효숫자 $M$ 은 $[1.0, \; 2.0)$  또는 $[0.0, \; 1.0)$ 사이의 실수 값을 표시합니다.

$E$ : 지수 $E$ 는 2의 제곱으로, 자리값을 제공합니다.

 

 

 

 

 

 

부동소수점 수의 비트들은 위 값들을 인코딩하기 위해 세개의 필드로 나뉘어집니다.

 

$(-1)^{s} \times M \times 2^e$ 인코딩 포맷

 

MSB(최대유효비트) s는, 부호 $s$ 를 직접 인코딩합니다.

exp 필드는 $E$를 인코딩합니다.

frac 필드는 $M$을 인코딩합니다.

 

 

 

 

 

 

 

 

 

 

⭐️ 필드의 길이

정밀도에 따라 인코딩되는 필드의 길이가 달라지는데 다음과 같습니다.

Single 정밀도의 경우 ( float )

exp는 8비트, frac은 23비트의 길이를 가지며 따라서 총 32비트의 길이를 가집니다.

 

Double 정밀도의 경우 ( double )

exp는 11비트, frac은 52비트의 길이를 가지며 따라서 총 64비트의 길이를 가집니다.

 

 

이 외에도 확장 정밀도(Extended precision)가 있는데, 다음과 같습니다.

확장 정밀도 : exp는 15비트, frac은 63비트를 사용합니다. 총 80비트의 길이를 가지며 1비트는 사용하지 않습니다.

이는 Intel(인텔) 호환 컴퓨터에서만 사용됩니다.

 

 

 

 

 

 

주어진 비트 표시로 인코딩된 값은 exp의 값에 따라 다음 세가지의 경우로 달라집니다.

정규화(Normalized) 값 : exp가 모두 0이 아니며, 모두 1이 아닌 경우

비정규화(Denormalized) 값 : exp가 모두 0인 경우

특수 값(Special values) : exp가 모두 1인 경우

 

각각의 경우에 대해서 살펴보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🧐 정규화된 값 (Normalized Values)

exp의 비트 패턴이 모두 0이 아니며, 모두 1이 아닌 경우, 정규화 인코딩을 사용합니다.

 

이 경우 지수 필드( $E$ )는 부호형 정수를 바이어스(Bias) 형태로 표시됩니다.

 

 

 

 

 

 

 

⭐️ 지수( $E$ )의 표시

지수 값은 다음과 같이 표시됩니다.

$$E = exp - Bias$$

 

따라서 인코딩되는 exp 필드는 다음과 같습니다.

$$exp = E + Bias$$

 

 

Bias는 정밀도의 종류에 따라 달라지는데, 

단일(Single) 정밀도에서는 $Bias = 127 \;( 2^7- 1)$ 이며,

이중(Double) 정밀도에서는 $Bias = 1023 \;( 2^{10}- 1)$ 입니다.

 

 

 

 

 

 

 

 

 

 

⭐️ Bias 사용 이유

Single 정밀도의 경우 지수 $E$ 는 -126에서 127 사이의 값을 가질 수 있습니다.

그러나 해당 값에 Bias를 더하면 음수 범위의 지수 $E$ 의 값을 1에서 254 사이의 값, 즉 양수의 값을 가질 수 있습니다.

 

마찬가지로 Double 정밀도에서도 Bias로 인해 exp는 1에서 2046 사이의 값을 가질 수 있습니다.

 

양수의 값을 가지게 하는 이유는 exp 필드의 위치와도 관련이 있습니다.

 

우선  $V = $ $(-1)^{s}$ $\times$ $M$ $\times$ $2^{E}$  의 식에서, $M$ 보다 $E$ 가 크기를 비교하는 데 있어서 더 중요하게 작용합니다.

즉 정수로 치면 $E$ 가 MSB쪽에 가까운 것입니다.

 

정수에서의 크기 비교를 생각해 보면, 010000과 001111 를 비교하는 경우 010000이 더 크다는 것을 바로 알 수 있습니다.

이는 MSB에서부터 시작하여 수를 비교해 나가기 때문이며, 이와같은 방식을 소수에서도 사용하기 위해 

 

$S$ | $EXP$ | $M$  의 형식으로 인코딩을 진행하는 것입니다.

 

이때 만약 EXP가 음수의 값이 올 수 있다면, MSB인 $S$ 이후에, 그 다음 수에 대해서도 음수와 양수를 구분해줄 필요성이 생김니다.

 

이때 Bias를 더해 양수 범위로 만들어 준다면, 이를 신경쓰지 않고 계산해 줄 수 있기 때문에 Bias를 사용합니다.

 

 

 

 

 

 

 

 

 

 

 

⭐️ 유효숫자 $M$

유효숫자 $M$ 은 묵시적으로 1로 시작하는 것으로 간주합니다.

 

즉 다음과 같습니다.

$$M = 1.xxx...xx_2$$

xxx...xx 는 frac 부분이며
$frac = 000...0$ 일때 최소( $M = 1.0$ )이며,
$frac = 111...1$ 일때 최대( $M = 2.0 - \epsilon $ )입니다.

이렇게 함으로써 1비트를 무료로 표시할 수 있게 됩니다.

 

 

 

 

 

 

 

⭐️ 정규화 값 예제

float F = 15213.0;  // 단일정밀도

 

 

$15213_{10} = 111\; 0110\;1101\; 1101_2 $ 입니다.

 

이를 $(-1)^{s} \times M \times 2^{E}$ 형태로 나타내면 다음과 같습니다.

 

$111\; 0110\;1101\; 1101_2 = 1.$$110 \;1101\; 1011 \;01_2$ $\times 2^{13}$

$s = 0$
$M = 110\; 1101\; 1011\; 01_2$
$E = 13$

 

 

 

 

 

이제 이를 인코딩하면 다음과 같습니다.

frac은 단일 정밀도에서 23비트의 길이를 가지므로
$frac =$$ 110\;1101\;1011\;01$$00\; 0000\; 0000_2$   총 23비트

참고 : $M = 110\; 1101\; 1011\; 01_2$

 

exp는 단일 정밀도에서 8비트의 길이를 가지며,
단일 정밀도에서 Bias의 값은 $2^{8-1} - 1 = 127 $ 이므로

$exp =$ $E$ $+$ $bias$$=$ $13$ $+$ $127$$= 140 = 1000\; 1100_2$       총 8비트

 

 

 

 

위를 합쳐 인코딩하면 다음과 같습니다.

$s$ $exp$ $frac$


$=$ $0$$100$  $0110$ $0$$110$ $1101$ $1011$ $0100$ $0000$ $0000$

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🧐 비정규화 값 (Denormalized Values)

exp의 비트 패턴이 모두 0인 경우에 해당됩니다.

 

 

인코딩 방법은 아래와 같습니다.

지수 $E$ 의 경우 $E = 1 - Bias$ 입니다.

유효숫자 $M$ 의 경우 $M = 0.xxx..xx_2$ 입니다.

 

이때 $1 - Bias$ 를 사용하는 이유는, 비정규화 값에서 정규화 값으로 부드럽게 이어지게 하기 위해서입니다.

 

정규화 값에서 $exp$ 의 최소값은 (single 정밀도의 경우) 0000 0001 입니다.

또한 $M$ 의 값은 1.0000...00입니다.

이때 $E$ 의 값은  - 126입니다.

 

이는 $1 - Bias$ 의 값과 동일하며,

비정규화 값에서 $M$ 의 최대값은 0.1111...11입니다.

따라서 $1-Bias$ 를 사용하여 비정규화 값에서 정규화 값으로 부드럽게 이어집니다.

 

 

 

 

 

 

⭐️ 사용 목적

비정규화 인코딩은 두가지 목적으로 사용됩니다.

 

첫번째 목적은 0을 나타내기 위함입니다.

해당 경우 $exp = 000...0$ 이며, $frac = 000...0$ 입니다.

정규화 인코딩으로는 항상 $M$ 이 1 이상의 수를 가지므로
0을 나타낼 수 없기 때문에
0을 표시하기 위해 비정규화 인코딩을 사용합니다.

비정규화 인코딩에서는 $+0$ 과 $-0$ 의 비트 표시가 다르다는 것에 주의하여야 합니다.

 

 

두번째 목적은 0에 매우 근접한 값들을 나타내는 데 있습니다. 

해당 경우 $exp = 000...0$ 이며, $frac \neq 000...0$ 입니다.

이는 Gradual underflow 특성을 제공하는데, 이는 가능한 숫자의 값들이 0.0 근처에서 같은 간격을 가진다는 것을 의미합니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🧐 특수 값 (Special Values)

exp의 비트 패턴이 모두 1인 경우에 해당됩니다.

 

 

 

 

⭐️ 사용 목적

첫번째 목적은 무한대를 표시하기 위해 사용합니다.

해당 경우 $exp = 111...1$ 이며, $frac = 000...0$ 입니다.

무한대는 두 개의 매우 큰 곱셈이나, 0으로 나누는 경우 등 오버플로우를 나타낼 수 있습니다.

 

 

 

두번째 목적은 Not a Number(NAN)를 표시하기 위해 사용합니다.

해당 경우 $exp = 111...1$ 이며, $frac \neq 000...0$ 입니다

이러한 값들은 결과값이 실수나 무한대가 아닌 $\sqrt{-1} $ 등의 결과로 반환됩니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🧐 부동소수점 예제

$exp$ 가 4비트, $frac$ 이 3비트를 갖는 가상의 8비트 IEEE 부동소수점 형식 예제입니다.

 

바이어스는 $2^{4-1} = 7$ 입니다.

 

 

 

가장 큰 비정규화 수 $\frac{7}{512}$ 와, 가장 작은 정규화 수 $\frac{8}{512}$ 가 부드럽게 연결되는 것을 볼 수 있는데,

 

이는 위에서 잠깐 언급하였듯이 $1-Bias$ 를 $E$ 로 사용하였기 때문입니다.

 

 

 

 

또한 표시 가능한 숫자들이 0 부근에서 조밀하게 모여있는 것을 알 수 있습니다.

 

조금 더 간단하게 나타내기 위해, $exp$ 가 3비트, $frac$ 이 2비트를 갖는 가상의 6비트 IEEE 부동소수점 형식으로 표시하는 경우를 생각해 보면 아래와 같습니다.

6비트 부동소수점 형식으로 표시 가능한 값들

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🧐 근사법 (Rounding)

부동소수점 산술연산은 표시방법이 제한된 범위와 정밀도를 갖기 때문에 실제 연산의 근사값을 사용할 수밖에 없습니다.

 

근사시킬 때 중요한 문제는 어떤 값이 정확히 중간에 위치하는 경우, 이것을 '어느 방향으로 근사시키는가' 입니다.

 

 

IEEE 부동소수점 형식은 아래 네 가지의 근사 방법을 정의합니다.

 

	$1.40	$1.60	$1.50	$2.50	-$1.50
0 방향	$1	$1	$1	$2	-$1
내림 ($-\infty$)	$1	$1	$1	$2	-$2
올림 ($+\infty$)	$2	$2	$2	$3	-$1
인접짝수 (default)	$1	$2	$2	$2	-$2

 

 

 

 

 

 

 

 

 

 

 

 

⭐️ 인접 짝수 (Round-To-Even)

인접짝수 또는 짝수근사법은, 두 개의 가능한 값의 정 중앙 값인 경우에 최소 자리값이 짝수가 되도록 근사하는 방법입니다.

 

예시를 들면 다음과 같습니다.

 

소수점 2번째 자리로 근사하는 경우입니다.

1.2349999	$\to$	1.23	중간보다 작은 경우
1.2350001	$\to$	1.24	중간보다 큰 경우
1.2350000	$\to$	1.24	중간인 경우 - 값 올림이 발생
1.2450000	$\to$	1.24	중간인 경우 - 값 내림이 발생

 

 

 

 

 

 

 

짝수근사법은 여러 상황에서 쓰일 수 있는데, 한가지 예시로 이진 소수에서의 짝수근사를 살펴보도록 하겠습니다.

이진 소수에서 짝수는 최소 유효 값이 0인 경우를 의미합니다.

 

이때 근사의 대상이 되는 중간값은, 근사하는 자리의 우측의 비트가 다음과 같아야 합니다.

$.xx$$x$$1000...0_2$

(근사의 대상은 주황색으로 표시하였습니다.)

 

 

예를 들어 $\frac{1}{4}$ 자리로 근사하는 경우( 즉 이진 소숫점 이하 2번째 자리로 근사하는 경우 ) 다음과 같습니다.

값	이진수	근사값	연산	근사값(10진수)
$2 + \frac{3}{32}$	10.00011	10.00	$\frac{1}{2}$보다 작은 경우	$2$
$2 + \frac{3}{16}$	10.00110	10.01	$\frac{1}{2}$보다 큰 경우	$2 + \frac{1}{4}$
$2 + \frac{7}{8}$	10.11100	11.00	$\frac{1}{2}$인 경우 - 값 올림	$3$
$2 + \frac{5}{8}$	10.10100	10.10	$\frac{1}{2}$인 경우 - 값 내림	$2 + \frac{1}{2}$

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🧐 부동소수점 만들기

지금까지 살펴본 내용을 바탕으로 부동소수점으로 변환하는 예시를 살펴보도록 하겠습니다.

 

 

 

⭐️ 예시 1 : $128_{10}$

IEEE-754 부동소수점 표준에 따라, 단일 정밀도 부동소수점으로 바꿔보도록 하겠습니다.

frac 부분은 총 23 비트여야 합니다.

 

 

 

⭐️ 예시 2 : $9.6875_{10}$