[컴퓨터 구조] 메모리[5] - Multilevel Cache

 

 

 

이전 글에서 살펴본 associative cache는 miss rate를 줄이는 방식으로 성능을 개선하였습니다.

 

이번에 살펴볼 Multilevel cache는 miss penalty를 감소시켜 성능을 높이는 방법입니다.

 

 

 

 

 

🧐 Multilevel Cache

현대의 모든 컴퓨터는 캐시를 사용합니다.

프로세서의 빠른 속도와 상대적으로 점점 느려지는 DRAM의 접근시간의 차이를 더욱 줄이기 위해서, 대부분의 마이크로프로세서는 캐시를 한 계층 더 지원합니다.

L1 cache(1차 캐시, primary cache) : 프로세서와 가장 가까운 캐시. 속도를 위해 I cache와 D cache로 나뉩니다.

- Instruction Cache (I cache) : 메모리의 TEXT 영역 데이터를 다루는 캐시입니다.
- Data Cache (D cache) : TEXT 영역을 제외한 모든 데이터를 다루는 캐시입니다.

L2 cache : 용량이 큰 캐시. miss rate를 줄이는 것에 중점을 둡니다. 보통 마이크로프로세서와 같은 칩에 있습니다.

L3 cache : 일부 고급 시스템에서 사용하며, 멀티 코어 시스템에서 여러 코어가 용유하는 캐시입니다.

L2 캐시는 L1 캐시에서 실패가 발생하면 접근합니다.

 

만약 원하는 데이터가 L1에는 없으며 L2에 존재할 때 miss penalty는 L2 캐시의 접근시간이 되며 이 값은 메인 메모리 접근시간보다 훨씬 짧습니다.

 

그러나 L1 캐시와 L2 캐시 모두 데이터를 갖고 있지 않은 경우, 메인 메모리 접근이 필요하며, 이 경우에는 더 큰 miss penalty가 발생합니다.

 

L2 캐시를 사용하여 얼마나 큰 성능 향상을 얻을 수 있는지 살펴보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

🧐 성능 향상 예시

클럭 속도가 4 GHz이고 모든 참조가 1차 캐시에서 적중된다고 가정했을 때의 기본 CPI가 1인 프로세서를 생각해 보도록 하겠습니다.

 

실패 처리까지 포함하여 메인 메모리 접근시간이 100ns이고,

1차 캐시에서 명령어 하나당 실패율이 2%라고 가정하겠습니다.

 

접근시간이 5ns인 2차 캐시를 충분히 많이 추가하여 메인 메모리까지 가야 하는 실패의 비율을 0.5%로 낮출 수 있는 경우, 프로세서의 성능이 얼마나 빨라지는지 살펴보겠습니다.

메인 메모리로 가는 경우의 실패 손실 : 100ns $\times$ 4GHz = 400 클럭 사이클

캐시가 한 계층만 있는 경우의 유효 CPI는 다음과 같습니다.

'전체 CPI = 기본 CPI + 명령어 하나당 메모리 지연 사이클 수' 이므로,
1 + 400 $\times$ 0.02 = 9

 

 

2차 캐시가 있는 경우, 1차 캐시 실패가 2차 캐시에서 처리될 수도 있고 메인 메모리에서 처리될 수도 있습니다.

2차 캐시 접근에 따른 실패 손실을 다음과 같습니다.

5ns $\times$ 4GHz = 20 클럭 사이클

만약 캐시 실패가 2차 캐시에서 처리된다면 위 값이 전체 Miss penalty가 됩니다.

 

하지만 메인 메모리까지 가서 실패를 처리하게 된다면 전체 Miss penalty는 2차 캐시 접근과 메인 메모리 접근시간의 합인 420 사이클이 됩니다.

 

따라서 2단계 캐시에서 전체 CPI는 두 캐시에서 발생하는 지연 사이클과 기본 CPI의 합이 됩니다.

'전체 CPI = 기본 CPI + 명령어 하나당 1차 캐시 지연 + 명령어 하나당 2차 캐시 지연' 이므로,
1 + 20 $\times$ 0.02 +  400 $\times$ 0.05= 3.4

 

따라서 2차 캐시를 갖는 프로세서는 $\frac{9}{3.4} = 2.6$ 배만큼 빨라지게 됩니다.

 

 

 

 

 

 

 

 

 

🧐 캐시의 설계 고려사항

1차 캐시와 2차 캐시의 설계 고려사항은 매우 다릅니다.

 

1차 캐시(primary cache)

클럭 사이클의 단축이나 파이프라인 단계의 축소가 가능하도록 적중시간(hit time) 최소화에 중점을 둡니다.

단일 캐시와 비교할 때 multilevel cache의 1차 캐시는 대게 더 작습니다.

또한 1차 캐시는 크기를 작게 하고 miss penalty를 줄이기 위해 블록 크기가 작습니다.

 

 

 

 

 

2차 캐시(Level-2 cache)

긴 메모리 접근시간으로 인한 손실을 줄이도록 실패율(miss rate)에 중점을 둡니다.

2차 캐시는 단일 캐시와 비교할 때 접근시간이 덜 중요하기 때문에 크기가 훨씬 더 큽니다.

(속도가 줄어도 되기 때문에 저렴한 캐시를 많이 사용할 수 있습니다.)

 

따라서 단일 캐시에 적절한 블록 크기보다 더 큰 블록을 2차 캐시에 사용하여 miss rate를 줄일 수 있습니다.

또한 2차 캐시는 miss rate를 줄이는 데 집중해야 하므로 1차 캐시보다 더 높은 Associativity를 많이 사용합니다.