[컴퓨터 구조] 메모리[3] - 캐시 성능 측정하기

 

 

 

 

🧐 캐시 성능 측정

해당 글에서 CPU 시간(time)에 대해 잠깐 살펴보았듯이, CPU 시간은 클럭 사이클의 수와 클럭 사이클 시간의 곱으로 표현할 수 있었습니다.

 

이때 클럭 사이클의 수는 다시 CPU가 프로그램을 수행하는 데 쓴 클럭 사이클과, 메모리 시스템을 기다리는 데 사용한 클럭 사이클로 나누어볼 수 있습니다.

일반적으로 적중 시간(hit time)은 CPU 클럭 사이클의 일부로 간주합니다.

CPU Time = (CPU 클럭 사이클(hit time 포함) + 메모리 지연 클럭 사이클) X 클럭 사이클 시간(Clock Cycle Time)

 

메모리 지연 클럭 사이클은 주로 캐시 실패 때문에 발생하며, 읽기와 쓰기 시에 발생되는 지연 사이클의 합으로 정의할 수 있습니다.

메모리 지연 클럭 사이클 = 읽기 지연 사이클 + 쓰기 지연 사이클

 

읽기 지연 사이클은 프로그램당 읽기 접근의 수와 읽기 시의 실패 손실(miss penalty) 클럭 사이클의 수, 읽기 실패율에 의해 정의됩니다.

읽기 지연 사이클 = $\frac{읽기 접근 횟수} {프로그램}$ $\times$ 읽기 실패율 $\times$ 읽기 Miss Penalty

 

쓰기의 경우는 더 복잡합니다.

쓰기 지연 사이클 = $\frac{쓰기 접근 횟수} {프로그램}$  $\times$ 쓰기 실패율 $\times$ 쓰기 Miss Penalty + 쓰기 버퍼 지연

그러나 대부분의 경우 쓰기 버퍼 지연이 매우 작기 때문에 무시할 수 있습니다.

 

 

이로 인해 대부분의 즉시 쓰기(write through) 캐시 구현 방식에서 읽기 실패 손실과 쓰기 실패 손실은 같습니다.

따라서 메모리 지연 클럭 사이클은 다음과 같이 정의할 수 있습니다.

메모리 지연 클럭 사이클 = $\frac{메모리 접근 횟수} {프로그램}$  $\times$ 실패율 $\times$ Miss Penalty

 

다음과 같이 쓸 수도 있습니다.

메모리 지연 클럭 사이클 = $\frac{Intstructions} {프로그램}$ $\times$ $\frac{Misses} {명령어}$ $\times$ Miss Penalty 

 

 

 

 

 

 

 

 

 

🧐 예시

다음과 같이 주어졌을 때, 성능을 측정해 보도록 하겠습니다.

• Instruction Cache Miss Rate(명령어 캐시 실패율) = 2%
• Data Cache Miss Rate(데이터 캐시 실패율) = 4%
• Miss penalty(실패 손실) = 100 Cycle
• 메모리 지연이 없을 때 CPI = 2 (파이프라인의 지연 등을 고려)
• Load & Store 명령어는 전체 명령어의 36%

 

 

 

우선 명령어 수가 I일 때, 명령어 캐시와 데이터 캐시 각각의 실패 사이클을 구해보도록 하겠습니다.

명령어 캐시는 모든 명령어의 실행 시마다 접근합니다.

명령어 캐시 실패 사이클 = I $\times$ 0.02 $\times$ 100 = 2 $\times$ I

 

데이터 캐시는 명령어 캐시와는 다르게 특정 명령어(ld, sd)에서만 접근합니다.

데이터 캐시 실패 사이클 =  I $\times$ 0.36 $\times$ 0.04 $\times$ 100 = 1.44 $\times$ I

 

 

 

 

이를 통해 메모리 지연을 포함한 실제 CPI(명령어 당 Cycle 수)를 구해보면 다음과 같습니다.

CPI = 2 + 2 + 1.44 =  5.44

 

만약 지연이 발생하지 않는 완벽한 캐시(즉 CPI = 2)가 있다면, 성능은 다음과 같이 좋아집니다.

$\frac{5.44}{2}$ = 2.72배

 

 

 

 

 

 

 

 

🧐 메모리 시스템과 프로세서의 성능 사이의 관계

메모리 시스템은 그대로일 때, CPU만을 더 빠르게 만든다면 메모리 지연에 걸리는 시간이 전체 실행시간 중에서 더 큰 부분을 차지하게 될 것입니다.

 

예를 들어, 앞선 예시 상황에서 클럭 속도(클럭 사이클 시간의 역수)는 변화시키지 않고, CPU의 성능을 높여 CPI가 2에서 1로 줄어들었다고 가정하겠습니다.

파이프라인을 개선하면 이렇게 만들어낼 수 있습니다.

 

이때 캐시 실패가 있는 시스템의 CPI는 1 + 2 + 1.44 = 4.44가 되므로, 완벽한 캐시를 갖는 시스템이 $\frac{4.44}{1}$ = 4.44배 더 빠르게 됩니다.

 

실행시간 중 메모리 지연에 쓰인 사이클의 비율로써 비교한다면 다음과 같습니다.

$\frac{3.44}{5.44}$ = 63% 에서  $\frac{3.44}{4.44}$ = 77%로 증가합니다.

 

 

마찬가지로 메모리 시스템의 변화 없이 클럭 속도를 증가시키는 것 또한 캐시 실패로 인한 성능 손실을 증가시킵니다.

메모리 지연이 더 많은 클럭 사이클을 사용하게 되기 때문입니다.

 

 

 

 

 

 

 

 

 

 

 

🧐 캐시 성능을 향상시키기 위한 방법

앞의 예제와 식들을 통하여 다음을 통해 캐시의 성능을 높일 수 있음을 살펴보았습니다.

Miss Rate(캐시 실패율) 줄이기
ex) associative cache

Miss penalty(실패 손실) 줄이기
ex) multi-level cache

 

또한 앞선 예제와 식들에서는 적중 시간은 캐시의 성능을 결정하지 않은 것처럼 보입니다.

그러나 적중시간이 증가한다면 메모리 시스템에서 한 워드를 접근하는데 걸리는 전체 시간이 증가할 것이고, 따라서 CPU 시간 또한 늘어날 수 있습니다.

hit time(적중 시간) 줄이기

적중시간이 늘어나는 하나의 예시는 캐시 크기의 증가입니다.

더 큰 캐시는 당연히 더 긴 접근시간을 필요로 합니다.

 

 

 

위의 캐시 실패율을 줄이는 예시로써 associative cache가 나와있습니다.

이는 다음 글에서 살펴보겠지만, 이는 directed mapped cache 와는 다른 캐시 구조이며, 실패율은 감소시키지만 적중 시간을 증가시킬 수 있습니다.