캐시 메모리

1. 개요[편집]

---

Cache Memory, Hardware Cache.

컴퓨터 시스템의 성능을 향상시키기 위해 별도로 탑재된 캐시 전용 메모리.

레지스터, 메인 메모리와 함께 메모리 계층 구조의 전통적인 핵심 계층 중 하나이다. 프로그램에서 직접적으로 읽거나 쓸 수 없고 하드웨어의 메모리 관리 시스템이 내부적으로 제어한다. 대부분 프로그램은 한번 사용한 데이터를 재사용할 가능성이 높고, 그 주변의 데이터도 곧 사용할 가능성이 높은 데이터 지역성을 가지고 있다. 데이터 지역성을 활용하여 메인 메모리에 있는 데이터를 캐시 메모리에 불러와 두고, 프로세서가 필요한 데이터를 캐시 메모리에서 먼저 찾도록 하면 시스템 성능을 향상시킬 수 있다.

캐시 메모리의 가격은 21세기 현재도 메모리 소자 중에서 가장 비싼 편이며, 지난 20년 간 가격이 3%정도 떨어지는 데 불과했다.

2. 상세[편집]

---

2.1. 배경[편집]

---

프로세서의 클럭 속도가 매우 빨라짐에 따라 프로세서 밖에 있는 메인 메모리와의 속도 차이가 현저하게 증가했는데, 이 때문에 프로세서 클럭 속도를 아무리 올려도 메인 메모리에서 데이터를 빠르게 제공해 주지 못하여 전체 시스템 성능이 증가하기 어렵게 되었다. 폰 노이만은 1946년 그의 논문 "Preliminary Discussion of the Logical Design of an Electronic Computing Instrument" 에서 캐시 메모리의 필요성을 예견했다.

2.2. 캐시에 사용되는 메모리의 종류[편집]

---

메모리 기술은 주로 축전기를 사용하는 DRAM과 플립플롭을 사용하는 SRAM으로 나뉘는데, DRAM은 가격이 싸고 용량 대비 크기가 작지만 속도가 느리고, SRAM은 속도는 빠르지만 가격이 매우 비싸고 용량 대비 크기가 크다는 단점이 있다. 그래서 DRAM을 사용자가 직접 장착하게 하는 대신, CPU와 DRAM 사이에 SRAM을 별도로 두어서 DRAM의 데이터를 직접 접근하는 것보다는 빠르게 접근할 수 있도록 한다.

현행 CPU 내부 캐시 메모리는 SRAM 중에서도 6T SRAM으로 사용되고 있는데, 물론 어디까지나 현세대 기준 일반적인 경우이고, SRAM이 무조건 캐시로만 활용된 것은 아니며, DRAM, 심지어 플래시 메모리도 캐시로 활용될 수 있다. 플래시 메모리 기반 SSD에서 지원하는 SLC 캐싱이 대표적인 예시.

2.3. 멀티 레벨 캐시 메모리[편집]

---

시스템에 장착된 캐시의 용량과 성능이 점점 증가하면서 캐시의 캐시로 사용되는 메모리가 추가되었는데, 이것을 적용된 순서대로 L(Level) 1, L2, L3 … 라고 호칭한다. 가장 고성능이자 작은 용량이 탑재된 L1 캐시 메모리에, L1 캐시 메모리에서 데이터를 퍼가기 위한 캐시 메모리로 사용하기 위해 L1보다는 용량이 많지만 그 대신 약간 더 느린 L2 캐시 메모리가 추가되었으며, L2 캐시 메모리에서 데이터를 퍼가기 위한 캐시 메모리로 사용하기 위해 이후 L2보다는 용량이 많지만 그 대신 약간 더 느린 L3 캐시 메모리가 추가되었고… 하는 식이다. L3 캐시 메모리가 마지막 레벨의 캐시 메모리일 경우, L3 캐시 메모리를 LLC라고 부르기도 한다.

2.4. 작동 원리: 데이터 지역성[편집]

---

캐시 메모리는 데이터 지역성(Locality)의 원리를 이용한다. 데이터 지역성은 시간 지역성(Temporal locality), 공간 지역성(Spatial Locality), 순차적 지역성(Sequential Locality)으로 나뉘는데, 시간 지역성이란 for나 while 같은 반복문에 사용하는 조건 변수처럼 한번 참조된 데이터는 잠시 후에 또 참조될 가능성이 높다는 것이고, 공간 지역성이란 A[0], A[1]과 같은 데이터 배열에 연속으로 접근할 때 참조된 데이터 근처에 있는 데이터가 잠시 후에 사용될 가능성이 높다는 것이며, 순차적 지역성이란 분기(branch)가 발생하는 비순차적 실행이 아닌 이상 명령어들이 메모리에 저장된 순서대로 실행하는 특성을 이용한 원리로 순차적일 수록 다음 순서의 데이터가 사용될 가능성이 높다.

쉽게 예를 들자면 무지하게 지랄맞고 부지런한 상사가 한 시간 전에 작년과 금년 재무결산 보고서를 가져오라고 했을 때, 어차피 순서대로 정리되어 있는 내년과 내후년 재무결산보고서도 가져오라고 할지 모르니까 그것도 묶음째로 근처에 준비해 놓는 식이다.

또 다른 예로는 캐시는 지갑이라고 생각하면 된다. 지갑 혹은 주머니가 없다면 우리가 현금(Cash)이 필요할 때마다 매번 은행이나 ATM에 가야 할 것이다. 이는 당연히 매우 귀찮고 시간도 많이 걸린다. 하지만 우리가 현금을 지갑에 넣고 다님으로써 시간을 절약할 수 있다.

CPU가 메모리에 데이터를 요청할 때, DRAM에 접근하기 전에 일단 캐시 메모리에 접근하여 데이터 존재 여부를 확인한다. 캐시 메모리는 메인 메모리인 DRAM보다는 그 사이즈가 매우 작아서 데이터를 모두 저장할 수 없다. DRAM이 보통 수 GB 단위 정도인데 인텔 i5, i7에 들어가는 캐시 메모리는 작게는 수 KB ~ 많게는 수 MB 정도이다. 캐시 메모리는 DRAM의 데이터 일부를 가지고 있다가 CPU가 요청한 데이터가 캐시 메모리에 없으면 CPU를 잠시 기다리게 한 후 DRAM에서 해당 데이터를 가져온 후 CPU에게 넘겨 준다. CPU는 캐시의 존재를 알고 있지만, 그 위에서 실행되는 프로그램은 메인 메모리의 주소만 지정하거나 캐시 적중률을 위해 힌트를 줄 수는 있어도[1], 프로그래머가 캐시 메모리를 직접 지정할 수는 없다. 이렇게 그 존재가 외부에 드러나지 않기 때문에 캐시 메모리는 CPU에 투명(transparent)하다고 한다. 투명하지 않은 작은 온칩 메모리는 Scratchpad Memory라고 부른다.

캐시 메모리에 데이터를 저장할 때 공간 지역성을 최대한 활용하기 위해 해당 데이터뿐만 아니라 옆 주소의 데이터도 같이 가져와 미래에 쓰일 것을 대비한다. CPU의 경우, DRAM에는 프로그램을 수행하는 명령어(Instruction)와 그 명령이 실행되는 데이터(Data)가 함께 들어 있는데, 명령어는 읽기만 하고 데이터는 읽기와 쓰기를 동시에 하므로 캐시 메모리 내에 이들을 각각 명령어 캐시 메모리(Instruction Cache)와 데이터 캐시 메모리(Data Cache)에 저장한다.

보통 L1 캐시 메모리에는 명령어 캐시와 데이터 캐시 메모리가 따로 있고, L2 캐시 메모리는 딱히 둘의 구분 없이 하나의 캐시 메모리로 구성된다. L1 캐시 메모리는 CPU에 직접 데이터를 공급해 주기 때문에 빠른 접근 지연 시간(Access latency)이 매우 중요한데, 명령어는 보통 공간 지역성이 높고 데이터는 보통 시간 지역성이 높다. 이 둘을 나누어 서로 다른 지역성을 이용할 수 있다. 또한 명령어와 데이터를 동시에 읽어올 수 있게 함으로써 CPU의 파이프라이닝 성능을 향상시킬 수 있다.

2.5. 캐시 메모리의 목표[편집]

---

• 캐시 적중률의 최대화 & 부적중률(不的中率)의 최소화
• 캐시 레이턴시의 최소화
• 캐시 대역폭의 최대화
• 캐시 정책 및 알고리즘의 최적화
• 캐시 부적중에 따른 패널티의 최소화
• 데이터 일관성 보장
• 데이터 일관성에 따른 오버헤드 최소화

캐시 메모리는 궁극적으로 성능 향상을 목적으로 등장한 전용 메모리이다. 성능에 영향을 주는 요소에 대한 자세한 설명은 아래 항목에 후술.

2.6. 캐시 메모리 성능의 요소[편집]

---

캐시 메모리의 스펙을 따질 때 십중팔구 캐시 메모리 용량만 보는 경우가 많다. 제조사가 캐시 메모리 관련 스펙을 표기할 때 용량만 표기하기 때문. 대부분 DRAM으로 구성된 메인 메모리와 마찬가지로 레이턴시, 쓰루풋, 병렬 처리 능력이 캐시 메모리의 성능을 결정하는 주요 지표이지만, 수치화 할 수 있는 적중률(반대로는 적중 실패율), 수치화 하기 어려운 각종 캐시 정책(알고리즘)들과 캐시 일관성 프로토콜들도 캐시 메모리의 성능에 영향을 주므로 이론적인 성능과 실제 성능의 괴리감이 메인 메모리보다 더 클 수 있다.

2.6.1. 캐시 적중과 캐시 부적중[편집]

---

CPU가 데이터를 요청하여 캐시 메모리에 접근했을 때 캐시 메모리가 해당 데이터를 가지고 있다면 이를 '캐시 적중(cache hit)'이라고 부르고, 해당 데이터가 없어서 DRAM에서 가져와야 한다면 '캐시 부적중(cache miss)'라 부른다. 캐시 부적중할 경우의 처리 방법은 캐시 정책에 따라 다르며, 데이터를 읽어 오는 시점으로 사용하기도 한다. 캐시 적중의 정도를 나타내는 지표가 캐시 적중률(cache hit ratio)인데 퍼센트 단위(%)로 표현하려면 '(캐시 적중 횟수) / [ (캐시 적중 횟수) ＋ (캐시 부적중 횟수) ]× 100' 또는 '(캐시 적중 횟수) / (전체 요청 및 접근 횟수) × 100'으로, 당연히 높을 수록 좋다. 반대 개념인 캐시 부적중률(cache miss ratio)은 '1 - (캐시 적중률)'이다.

2.6.1.1. 캐시 부적중의 종류[편집]

---

캐시 부적중(miss)이 나는 경우는 대부분의 경우 3가지로 나눌 수 있는데

• Compulsory miss(또는 Cold miss): 해당 메모리 주소를 처음 불렀기 때문에 나는 미스. 예를 들어 프로그램을 새로 켜거나 하는 경우 발생한다. 간혹 사용할 데이터를 미리 프리페치하는 경우가 아닌 이상 사실상 예방이 불가능한 캐시 미스지만, 전체 컴퓨터 이용 시간에 비하면 굉장히 드물게 나는 미스 유형이라 전체적인 성능에 영향을 미치는 정도는 작다.
• Conflict miss: 캐시 메모리에 A 데이터와 B 데이터를 저장해야 하는데, A와 B가 같은 캐시 메모리 주소에 할당돼서 나는 캐시 미스다. 예를 들어 내가 휴대폰과 따뜻한 커피캔은 항상 외투 오른쪽 주머니에만 넣는 습관이 있다고 하자. 평상시에는 오른쪽 주머니에 휴대폰만 넣고 다니는데, 어느 날 친구에게 커피캔을 받아서 잠시 휴대폰을 가방 속에 넣어두고 커피캔을 오른쪽 주머니에 넣었다. 이때 휴대폰을 오른쪽 주머니에서 찾으려고 한다면 그때 conflict miss가 난다. direct mapped cache에서 가장 발생빈도가 높고, n-associative cache에서 n이 커질수록 발생빈도가 낮아지지만 대신 n이 커질수록 캐시 속도가 느려지고 파워도 많이 먹는다.
• Capacity miss: 캐시 메모리에 공간이 부족해서 나는 캐시 미스. 위의 conflict miss는 캐시에 공간이 남아도는데도 불구하고 주소 할당 때문에 나는 미스지만, capacity miss는 주소 할당이 잘 되어있더라도 공간이 부족하면 나는 미스다. 캐시 공간이 작아서 벌어지는 일이므로 캐시 크기를 키우면 해결되지만, 캐시 크기를 키우면 캐시 접근속도가 느려지고 파워를 많이 먹는다는 단점이 생긴다.

만약 대부분의 메모리 요청이 캐시 미스라면 차라리 캐시 메모리를 안 쓰는 게 더 빠르다. 하지만 다행히도 캐시 적중 실패율이 단순 작업 기준으로 평균 10% 안쪽이기 때문에 캐시 메모리를 통해 컴퓨터 시스템의 평균 성능을 크게 향상시킬 수 있으며 클럭 속도, 코어 개수와 함께 컴퓨터 성능에서 매우 큰 비중을 차지한다. 그러나 많은 사람들이 캐시 메모리에 대해 잘 모르며 실제 캐시 메모리가 없이 클럭 속도가 더 높은 CPU가 클럭 속도는 낮지만 캐시 메모리가 있는 CPU보다 대체로 더 나쁜 성능을 보여준다. 셀러론이 저렴한 데에는 다 이유가 있다

어떤 이는 컴퓨터에 사용된 도박의 원리라고 하기도 하는데, 이는 캐시 메모리의 작동 원리가 도박에서 돈을 거는 것과 유사하기 때문이다. 캐시 적중 실패율이 낮으면 도박에 질 확률이 낮다는 의미이기도 하므로 대부분 이기는 도박이라 할 수 있다.

2.6.1.2. 응용 프로그램 특성별 캐시 적중률[편집]

---

렌더링 전문 작업에서의 캐시 적중률


게임에서의 캐시 적중률

위의 슬라이드 이미지는 인텔이 2019년 E3에서 공개한 자료로, 캐시 특성상 렌더링 작업의 경우 처리 과정이 게임보다 비교적 단순하기 때문에 캐시 적중률이 높게 측정된다. 반면에, 게임은 렌더링 작업과는 다르게 GPU에게 지시하는 렌더링 명령뿐만 아니라 프레임 업데이트, 물리 연산, 애니메이션 연산, 사운드 연산, 입출력, 네트워크 등 복합적으로 처리되는 과정이라서 캐시 적중률이 생각보다 높지 않다. 그렇기 때문에 게임이 렌더링 작업보다 캐시 용량에 더 민감한 편이다.

2.6.1.3. 캐시 부적중률의 중요성[편집]

---

캐시 적중에 관한 문제는 적중률을 기준으로 판단하는 경우가 많지만, 학계 및 관련 업계에서는 캐시 적중률보다는 캐시 '부적중률'에 초점을 맞춘다. 가령, 캐시 적중률이 98%에서 99%로 증가되었을 때, 적중률 기준으로 계산하면 겨우 약 1%밖에 향상되지 않은 것으로 해석할 수 있지만, 부적중률 기준으로 계산하면 2%에서 1%로 무려 50%나 감소된 것으로도 해석할 수 있기 때문.

캐시 적중률 98%와 99%의 차이가 별거 아닌 것처럼 보일지라도, 한 번이라도 캐시 부적중되면 캐시 메모리보다 느린 메인 메모리로 가야 하는 시간적인 패널티 뿐만 아니라, 지연된 시간으로 인한 전체적인 평균 대역폭 패널티까지 연쇄적으로 발생하기에 부적중률에 민감할 수밖에 없다.

2.6.2. 캐시 정책 및 알고리즘[편집]

---

캐시 메모리 성능 향상에 있어서 적절한 캐시 정책 및 알고리즘을 취해야 유효 레이턴시를 최소화하면서 유효 대역폭을 끌어 올릴 수 있다.

2.6.2.1. 캐시 메모리의 논리적 기본 단위[편집]

---

일반적인 캐시 메모리의 물리적 구조는 그냥 수많은 SRAM 셀들이 2차원 또는 3차원으로 배열된 모습일 뿐이다. 하지만, 캐시 메모리의 용량이 메인 메모리에 비해 매우 적어서 성능 향상을 목적으로 효율적으로 관리하기 위해서는 논리적 구조로써 파악할 필요가 있다.

• 캐시 엔트리
  • 캐시 블록 : 데이터 그룹 단위로, 캐시 메모리에 담겨질 실질적인 데이터가 이곳에 있다.
  • 캐시 태그
    • 태그 비트 : 캐시 블록의 고유 식별 값으로, 실질적인 데이터가 담겨져 있지 않지만 그 데이터들을 식별하기 위해 추가로 할당되어 있다.
    • 유효 비트 : 해당 캐시 블록의 올바른 데이터가 있는지 판별해주는 플래그 비트로, 캐시 태그에 포함되어 있다.

캐시 엔트리는 캐시 메모리의 데이터를 구분하는 논리적인 최소 단위로, 이들이 모여서 캐시 메모리 전체를 구성한다. 흔히 몇 MB 캐시 메모리라는 것은 정확히 따지면 몇 MB만큼의 실질적인 데이터를 담을 수 있는 캐시 메모리를 의미하는데, 다시 말해서 캐시 태그에 할당된 용량을 제외한 용량이라는 뜻이다. 따라서, 캐시 메모리의 실제 용량은 캐시 태그에 할당된 용량만큼 더 추가된 용량인 셈이다. 다만, 캐시 태그가 실질적인 데이터가 아니기 때문에 일종의 오버헤드(overhead)로 취급되며, 식별 목적으로 쓰이므로 일반적으로 캐시 블록에 비하면 매우 작은 용량만 할당된다. 이 캐시 엔트리들을 어떻게 배치할 것인지는 캐시 배치 정책에 따른다.

2.6.2.2. 캐시 배치 정책 (Cache Placement Policy)[편집]

---

흔히 캐시 사상(Mapping) 구조라고도 부르는 정책으로, 여러 캐시 엔트리들을 배치하는 방법을 설명하는 정책이기도 하다.

• Direct Mapped Cache

}}} ||
}}} ||
}}} ||
}}} ||
}}}

• Fully Associative Cache

}}} ||<|1><-2><height=32>
}}} ||
}}}

• Set Associative Cache

}}} ||<|1><-2><height=32>
}}} ||
}}} ||<|1><-2><height=32>
}}} ||<|1><-2><height=32>
}}} ||
}}} ||<|1><-2><height=32>
}}} ||<|1><-2><height=32>
}}} ||
}}} ||<|1><-2><height=32>
}}} ||<|1><-2><height=32>
}}} ||
}}} ||
}}}

• 예시) 인텔 코어 i9-9900K + DDR4 SDRAM 128 GB인 메인 메모리
  • L3 캐시 메모리 데이터 가용량 : 16 MB (= 2²⁴ Byte)
    • L3 캐시 블록 용량 : 64 Byte (= 2⁶ Byte)
    • L3 캐시 배치 정책 : 16-way Set Associative
    • L3 캐시 세트당 캐시 라인의 수 : 16개 (= 2⁴개)
    • L3 캐시 블록의 수 : 262,144개 (= 2¹⁸개)
    • L3 캐시 세트의 수 : 16,384개 (= 2¹⁴개)
  • 메인 메모리 주소 비트 : 37-bit ([math(\because)] 128 GB = 2³⁷ Byte)
    • L3 캐시 블록 오프셋 비트 : 6-bit ([math(\because)] 64 = 2⁶)
    • L3 캐시 세트 인덱스 비트 : 14-bit ([math(\because)] 16,384 = 2¹⁴)
    • L3 캐시 태그 비트 : 17-bit ([math(\because)] 37 - (6 + 14) = 17)
  • L3 캐시 메모리 오버헤드 : 3.3203125%
  • L3 캐시 메모리 실제 용량 : 16.53125 MB

2.6.2.3. 캐시 포함 정책 (Cache Inclusion Policy)[편집]

---

• Inclusive 정책
• Exclusive 정책
• NINE (Non-Inclusive Non-Exclusive) 정책

2.6.2.4. 캐시 교체 정책 (Cache Replacement Policy)[편집]

---

• Random 정책
• FIFO(First-In-First-Out) 정책
• LRU(Least Recently Used) 정책
• LFU(Least Frequently Used) 정책

2.6.2.5. 캐시 쓰기 정책 (Cache Writing Policy)[편집]

---

• Write-through 정책
• Write-back (Write-behind) 정책
• Write allocate (Fetch on write) 정책
• No-write allocate (Write-no-allocate 또는 Write around) 정책

2.6.3. 캐시 일관성 (Cache Coherence)[편집]

---

캐시 일관성은 공유 메모리 시스템에서 각각의 CPU 코어들이 가진 로컬 캐시 메모리 간의 일관성을 의미한다. 코어별로 자신 만의 로컬 캐시 메모리를 가지고 다른 여러 코어들과 캐시 메모리를 공유하고 있을 때, 캐시의 갱신으로 인한 데이터 불일치 문제가 발생할 수 있는데, 이러한 현상을 효과적으로 막기 위해 여러 종류의 일관성 프로토콜이 등장하게 되었다.

캐시 일관성이 확보되면 MLP 능력이 향상되어 유효 레이턴시를 줄일 수 있고, 캐시 미스되더라도 뛰어난 MLP 능력 덕분에 레이턴시 패널티를 줄일 수 있다.

• 소프트웨어 방식
• 하드웨어 방식
  • 디렉터리 기반 구조
  • 스누핑 구조

2.6.4. 캐시 레이턴시[편집]

---

캐시 메모리의 레이턴시는 데이터 요청부터 처리 시작하기까지의 걸리는 시간으로, 메인 메모리의 레이턴시와 본질적으로 같다. 레이턴시의 중요도가 떨어졌던 메인 메모리와는 다르게, 중요도가 높다. CPU에 더 가까운 메모리 구조이기 때문. 멀티 레벨 캐시 메모리 구조를 채택하고 있는 CPU의 경우 같은 캐시 메모리라도 상위 레벨일수록 레이턴시가 짧고 더욱 민감해지는 특징을 지니고 있다.

또한, 캐시 메모리 용량이 클수록 캐시 적중률이 높아지지만 레이턴시가 늘어난다는 단점이 있다.

2.6.4.1. 캐시 메모리 엑세스 패턴[편집]

---

캐시 메모리 엑세스 패턴은 캐시 메모리에 담겨진 데이터를 어떤 방식으로 접근하는지를 구분한 개념으로, 엑세스 패턴에 따른 레이턴시 편차가 나타난다. 데이터 지역성에 따라 순차적일수록 캐시 적중률이 높고 레이턴시가 짧지만 랜덤할수록 캐시 적중률이 떨어지고 레이턴시가 길어진다. 현대 프로세서는 레이턴시라는 약점을 감추는 기술이 고도화되어 있기 때문에 한 가지의 엑세스 패턴만으로는 레이턴시를 종합적으로 가늠하기 어렵다. 엑세스 패턴 구분없이 한 가지 엑세스 패턴을 기준으로만 측정된 AIDA64 Cache & Memory Benchmark의 레이턴시 값을 맹신해서는 안 되는 이유이기도 하다.

2.6.4.2. 유효 레이턴시[편집]

---

데이터에 접근하기까지의 걸리는 시간을 의미하는 레이턴시는 엄밀히 따지면 캐시 적중되었을 경우를 전제로 하는 개념이다. 하지만 실제 캐시 메모리를 전체적으로 보면 캐시 적중되지 않은 데이터도 혼재되어 있는데다 분기 예측기(Branch Predictor) 덕분에 프리페치(Prefetch)가 발전되면서 분기 예측 없이 인출(fetch)했을 때보다 더 높은 캐시 적중률을 보여주다보니 괴리가 발생할 수밖에 없는데, 이러한 특성을 반영한 실질적인 레이턴시라고 보면 된다.

특정 엑세스 패턴에서 레이턴시가 1ns일 때 10개의 스레드가 동시에 캐시 메모리에 접근하여 캐시 적중되었을 경우 전체적으로 보면 레이턴시가 1ns로 보이겠지만, 스레드 1개가 캐시 미스되어 레이턴시 패널티를 받을 경우 전체적으로 보면 모두 적중했을 때보다 더 길게 보일 수 있다.반대로 분기 예측까지 동원되면 분기 예측 없이 수행했을 때보다 캐시 적중률을 더 높일 수 있으므로 레이턴시 패널티를 덜 받게 됨으로써 전체적인 레이턴시가 짧아지는 것처럼 보여진다. 이러한 특성을 활용하여 캐시 메모리 용량 증가에 따른 레이턴시 증가를 어느 정도 감출 수 있다.

2.6.5. 캐시 쓰루풋 및 대역폭[편집]

---

캐시 메모리의 쓰루풋은 일정 시간 단위의 데이터 처리량으로, 메인 메모리의 쓰루풋과 같은 개념이다. 실제 캐시 메모리는 여러 채널 및 여러 스레드를 동원하여 처리되므로 사실상 대역폭으로 봐도 무방하다.

2.6.5.1. 유효 대역폭[편집]

---

유효 레이턴시와 마찬가지로, 캐시 대역폭에도 유효 대역폭이 있다. 메인 메모리의 유효 대역폭처럼 병목 현상에 따른 부분도 있지만, 캐시 메모리에는 적중률 개념도 있기 때문에 적중률까지 고려한 대역폭이라고 보면 된다.

2.6.6. 병렬 처리[편집]

---

병렬 처리는 멀티 프로세서 또는 멀티코어 프로세서에 따른 SMT와 하이퍼스레딩같은 코어당 2-way SMT이 등장하면서 나타난 성능 요소로, 캐시 메모리 레벨에서의 병렬 처리 능력이기 때문에 Memory-level parallelism, 줄여서 MLP라고도 부른다. 싱글코어 싱글스레딩 CPU인 시절에는 하나의 스레드만 캐시 메모리에 접근하므로 싱글스레드 기준의 레이턴시와 대역폭만 고려했으나, 2000년대 이후 일반 가정용 PC에도 멀티스레딩 시대가 오면서 멀티스레드 기준의 레이턴시와 대역폭으로 고려해야 정확하게 가늠할 수 있다. 일반적으로 스레드 개수가 많을수록 더 많은 데이터를 접근할 수 있으므로 그만큼 처리량도 많아지니, 캐시 메모리 성능이 어느 정도까지는 대체로 높게 나타난다.

MLP가 가능해지면서 캐시 메모리의 목표 중 하나인 '캐시 미스에 따른 레이턴시의 최소화'에 결정적인 요소가 되었다. 쉽게 말해서 일련의 작업이 주어졌을 때 1명이 실수해도 도와줄 사람들이 많을 수록 신속하게 수습할 수 있는 것과 비슷하다고 보면 된다. 단, 일정 용량 이상에 도달하면 캐시 메모리 성능이 정체되거나 오히려 저하되므로, 스레드 개수가 많아도 캐시 메모리 용량이 적으면 대용량 MLP에 불리하다.

2.7. 캐시 메모리의 종류[편집]

---

• CPU 캐시 메모리
• GPU 캐시 메모리
• SSD 캐시 메모리
• Digital Signal Processor 캐시 메모리
• TLB

2.8. 역사[편집]

---

2.8.1. CPU 캐시 메모리[편집]

---

초창기 캐시 메모리는 1969년에 출시된 IBM의 System/360 Model 85부터 존재했다. 지금의 메인 메모리처럼 카드 및 스틱 형태의 모듈이나 메인보드에 붙어서 CPU와 메인 메모리 사이에 독립적인 칩으로 존재했으나, CPU 집적도가 높아지면서 모토로라 68000 시리즈 기준 1984년에 출시된 68020부터, x86 기준으로 1989년에 출시된 인텔 80486부터 CPU 안에 캐시 메모리가 포함되게 되었다. 캐시 메모리가 내장된 CPU가 등장한 이후에도 CPU 외부에 별도 장착되는 캐시 메모리를 L2 캐시 메모리로 취급했었는데 L2 캐시 메모리는 CPU 클럭 속도와는 별개로 작동했기 때문에, 캐시 메모리의 클럭 속도가 시스템 전반적인 속도에 영향을 주었다.[4] 펜티엄 이후 CPU에서 펜티엄용 메인보드는 CPU 근처에 용량이 정해진 온보드 캐시 메모리뿐만 아니라 별도의 캐시 메모리 슬롯까지 있어서 필요한 경우에 L2 캐시 메모리를 증설할 수도 있었는데 이것이 스틱형 캐시 모듈의 마지막 세대이기도 했다.

그 이후에는 L2 캐시 메모리도 CPU 칩 패키징 내에 넣으려는 시도가 있었고, x86 아키텍처 중 인텔에서는 1995년 11월 출시된 펜티엄 프로에서, AMD에서는 1999년 출시된 K6-III에서 최초로 실현되었다. L2 캐시 메모리가 CPU 내에 통합되기 시작한 시기에는 캐시 메모리가 실장된 형태가 On-die, On-package(MCM)로 구분되어 있었다. On-die 캐시는 하나의 다이 안에 CPU 코어와 L2 캐시 메모리가 함께 포함되어 있는 것이고, On-package 및 그와 유사한 용어는 CPU 코어와 L2 캐시 메모리 다이는 서로 나뉘어 있지만 하나의 패키징된 칩 안에서 서로 연결된 형태를 가리킨다. L2 캐시 메모리까지 CPU에 내장된 덕분에 메인보드에 실장되어 있던 캐시 메모리는 하위 레벨로 밀려나 L3 캐시 메모리로 명명되었다. L2 캐시 메모리까지 내장된 K6-III가 장착된 메인보드의 경우 온보드된 L3 캐시 메모리를 TriLevel Cache라고 불렀다.

인텔은 펜티엄 프로 시리즈에서 하나의 칩 안에 CPU 코어와 L2 캐시 메모리 다이를 모두 올리는 형태를 사용했다. 그러나 가격 문제 때문에 일반 사용자를 대상으로 한 펜티엄 2와 초기 펜티엄 3 카트마이 및 셀러론 모델에서는 CPU 코어와 L2 캐시 메모리를 별도 칩으로 분리했고, CPU 형태도 소켓에서 슬롯으로 바꾸었다. 슬롯 1이 사용되던 시기의 인텔 CPU에서는 CPU 코어와 별개로 외부 제조사에서 만든 캐시 메모리용 SRAM이 붙어 있었고, 셀러론은 캐시 메모리가 붙어 있지 않거나 용량이 더 작았다. AMD도 K6-III에서 On-die L2 캐시 메모리를 도입했으나, 인텔과 같은 이유로 인해서 초기형 애슬론은 슬롯 형태로 전환했다. 이 당시 쓰인 외부 캐시는 기술력 및 단가의 한계때문에 제조사와 모델에 따라 다르지만 CPU 클럭 스피드의 30~50%의 속도로 동작했다. 그러나 기술이 발전하여 On-die 캐시 메모리를 만들기 쉬워졌고, 외부 캐시 메모리의 클럭 레이트를 끌어 올리는 데에는 한계가 있기 때문에 인텔은 멘도시노 셀러론[5], 펜티엄 3 코퍼마인, AMD는 애슬론 선더버드부터 On-die L2 캐시 메모리로 복귀했다. 슬롯이 다시 소켓으로 돌아간 것은 보너스. 캐시 메모리의 속도 역시 CPU와 동기화돼서 성능 또한 향상되었다.

인텔은 초창기의 인텔 셀러론 시리즈인 코빙턴에서 L2 캐시 메모리를 없앴다가 엄청난 성능 저하를 보였다. 물론 L2 캐시 메모리가 원래 없었던 펜티엄 MMX와 동급 내지는 약간 더 나은 성능이긴 했으나, L2 캐시 메모리 있는 CPU와의 성능 격차가 너무 컸다. 이후 인텔은 아무리 저가형 모델이라고 하더라도 L2 캐시 메모리는 용량이 작더라도 항상 달고 나오기 시작했다. 펜티엄 3 ~ 4 의 전환기에는 일부 투알라틴 코어의 셀러론은 L2 캐시가 256KB나 되어 코퍼마인 펜티엄 3 보다 높은 성능인 제품도 있었다.

현세대에는 최소 L2, 보통 L3까지 존재한다. L3 캐시 메모리가 내장된 CPU는 인텔은 2002년 1세대 제온 MP 시리즈인 포스터 MP부터 도입되었다.


데스크탑 제품군에서는 2003년에 출시된 갤러틴 제온을 기반으로 급조된 펜티엄 4 Extreme Edition[6], 2008년 이후의 인텔 코어 i 시리즈가 있으며 AMD는 2007년 AMD 페넘 시리즈에서 L3 캐시 메모리를 도입한 후, AMD 페넘 II 시리즈, AMD FX 시리즈, AMD RYZEN 시리즈 등이 있다. 당연히 단계가 내려갈수록 용량은 증가하며, 반대급부로 속도는 상대적으로 떨어지게 된다. 물론 코어2 쿼드같이 L2 캐시가 12MB나 달린 깡패가 있긴 하다[7]

참고로 2600K 조차 L3캐시가 8MB이며 13100F의경우 16MB다. 12900K 조차도 L2캐시가 14MB다.

Intel Pentium 4 프로세서 부터 도입된 캐시 계층중 Trace 캐시와 현대 x86프로세서의 경우 uOP 캐시라는 개념이 도입되었는데 이는 x86이 CISC 라는 점에서 생긴 특징적인 캐시이다.
CISC라는 특성상 한개의 명령어는 프로세서 입장에서 보면 한개를 초과하는 동작을 하는 추상적인 명령어가 존재하며 가변적인 길이라는 특징을 가지고 있으므로 이 명령어를 실행시키기 위해서는 파이프라인이 복잡해진다. 이 때문에 P6 아키텍처의 경우 파이프라인을 경량화하고 효율성을 증가시키기 위해 RISC의 설계 철학을 도입하여 CISC 명령을 RISC와 같이 개별 명령어로 쪼갠 uOP (Micro operation)개념을 도입했다. 하지만 CISC 명령어를 uOP으로 변환하는 과정을 매 인스트럭션 사이클마다 반복해야 하므로 디코더의 부하가 증가하는 것에 비해 uOP 캐시를 사용하면 CISC에서 uOP로 디코딩된 RISC같은 명령어가 들어 있어 디코딩 단계를 우회하는데 사용된다.

2015년 2분기 인텔의 코어 5세대 브로드웰 아키텍처 i7-5775c가 출시되었다. eDRAM 128MB의 초고용량[8] L4 캐시 메모리를 탑제했다. 주 목적은 CPU 내부의 내장 그래픽 캐시용이지만 내장 그래픽을 사용하지 않으면 CPU의 L4 캐시 메모리로 전환해 사용가능하다. 당시 기준으로 개인용 CPU에 128MB 용량이라는 큰 캐시메모리를 사용했으나 5세대 브로드웰 자체가 바로 얼마 뒤 나온 6세대 스카이레이크에 밀려서 크게 주목받지 못했다. 그러나 성능향상 하나는 확실해서 캐시 메모리 의존도가 높은 게임 분야나 서버분야[9]는 7세대 카비레이크와 맏먹거나 소폭 우위였을 정도로 성능이 좋았다.

2022년 4월 3D V-Cache 기술을 사용한 Ryzen 7 5800X3D가 출시되었다. 100MB에 준하는 대용량 캐시를 수직적층이라는 기술로 접목시켜 실현시킨 제품이다. 용량이 큰 만큼 캐시적중률이 크게 오르고, 수직으로 CPU코어 위에 가까이 얹어놓았기에 기존 대용량 캐시의 단점인 레이턴시도 크게 늘어지지 않는다.[10] 이에 따라 게임(맵 연산 등)에서 월등한 성능을 보여주며 게임 전용 CPU라는 타이틀을 획득하게 된다. 안타깝게도 게임/서버 외의 다른 작업[11]은 고용량의 캐시 메모리가 필요하지 않기에 (이 용량까지 활용할 알고리즘이 없기에) 성능향상은 미진한 편이긴 하며 3D V캐시 제품군은 오히려 발열을 더신경써야되기에[12] 코어 i나 Non 3D V-Cache 라이젠이 좋다.

이처럼 인텔과 AMD의 주도아래 캐시 메모리의 중요성이 부각되면서 CPU 캐시 메모리 용량이 증가 추세에 있다. 또한 ARM Cortex-X 시리즈 등 고성능 ARM 프로세서에서도 가격 조정을 위해 원래 설계상에서 있던 캐시 메모리를 AP 제조사들이 커스텀하면서 반토막 냈다가 성능에 크게 영향을 받기도 하여 이런 행위를 자제하게 되는 등 다른 CPU 아키텍처에서도 캐시 메모리의 중요성이 커졌다.

2.8.2. GPU 캐시 메모리[편집]

---

그래픽 카드의 GPU 캐시 메모리는 1999년에 등장한 GPU 개념이 잡히기 이전 시절의 프로세서에도 존재했지만, 구체적인 정보가 알려져 있지 않았다. 기껏해야 비디오 게임 콘솔의 GPU가 캐시 메모리처럼 쓸수있는 eDRAM 용량 정도였다. GPU 개념이 등장한 이후에도 한동안 찾아내기 어려운 정보였다가 2006년 NVIDIA의 지포스 8 시리즈, 2007년 AMD의 라데온 HD 2000 시리즈부터 용량 정보가 알려지기 시작했다.

CPU처럼 계층 구조가 정립되어 있는데, GPU 전체 레벨에서의 캐시 메모리를 L2 캐시 메모리 혹은 전역 공유 캐시 메모리라고 부르고, NVIDIA의 SM(스트림 멀티프로세서)나 AMD의 SIMD 코어 레벨에서의 캐시 메모리를 L1 캐시 메모리, 로컬 공유 캐시 메모리라고 부르는 편이다. 단, L1 캐시와 로컬 공유 캐시는 서로 별개로 존재하는 영역이기 때문에 어떤 기능을 수행하냐에 따라 거쳐가는 캐시 메모리가 다를 수 있으며, 이 레벨에는 명령어 캐시 메모리, 상수 캐시 메모리도 따로 존재하므로 계층 구조가 은근히 복잡하다. GPU에서의 L1 캐시 메모리는 읽기만 가능한 L1 텍스처 캐시 메모리에 해당한다. L2 캐시 메모리도 과거에는 읽기만 가능한 L2 텍스처 캐시 메모리였으나, 읽기와 쓰기 모두 가능한 L2 공유 캐시 메모리로 발전되었다. 따로따로 존재했던 L1 텍스처 캐시 메모리와 로컬 공유 캐시 메모리도 하나의 L1 캐시 메모리라는 영역의 일부로써 할당되는 방식으로 변경되었다.

2014년 NVIDIA의 맥스웰 아키텍처부터 SM 내에서도 4개의 파티션으로 세분화되면서 파티션마다 명령어 버퍼가 추가되었는데, 2017년 볼타 아키텍처부터는 아예 L0 캐시 메모리로 정립되었다. AMD도 마찬가지로 2019년 RDNA 아키텍처가 처음 도입된 라데온 RX 5000 시리즈부터 계층이 분화되어 기존의 L1 캐시 메모리가 L0로 격상되고 L1와 L2 사이에 캐시 메모리 계층이 추가되어 이를 L1 캐시 메모리로 명명됨에 따라 3계층 구조로 정립되었다.

인텔 내장 그래픽도 기능별 캐시 메모리가 존재했으나 계층 구조가 뚜렷하지 않았고, 2012년 아이비브릿지 세대에 들어서야 L3 캐시 메모리가 등장하면서 모양새를 갖추기 시작했다. 그런데 CPU의 L3 캐시 메모리와 혼동되는 문제 때문인지 CPU의 L3 캐시 메모리를 LLC(라스트 레벨 캐시) 메모리로 취급해 버린데다, 2013년 하스웰 세대부터 Iris Pro Graphics가 내장된 CPU 한정으로 추가된 eDRAM이 L4 캐시 메모리라고도 부르게 되면서 캐시 메모리 레벨 명칭이 애매해졌다. 참고로 eDRAM은 속도가 빠르고 대역폭도 넓다보니 eDRAM이 없는 기존의 HD Graphics 계열과는 차원이 다른 성능을 보여줬다. 가격도 차원이 달랐다. 그나마도 성능이 레이븐 릿지에 못 미친 것은 덤

2.9. 캐시 메모리와 버퍼 메모리[편집]

---

하드 디스크 사이의 속도 향상을 위해서 적게는 수 MB, 많게는 수백 MB 정도의 메모리를 달아서 좀 더 빠른 입력에서도 대응하여 출력이 가능하도록 지원한다. 이를 버퍼 메모리라고 부르며, 하드 디스크에 있는 버퍼 메모리라고 해서 디스크 버퍼라고도 부르는데 얼핏 보면 캐시 메모리와 비슷해 보이지만, 목적이 전혀 다른 용도의 메모리이다. 캐시 메모리는 성능 향상을 목적으로 나온 메모리인 반면, 버퍼 메모리는 성능에 상관없이 사용자가 원하는 데이터 입출력을 완전하게 구현하기 위한 목적으로 나온 메모리라는 것. 이에 대한 자세한 내용은 버퍼 문서 참조.

SSD에도 동일한 개념의 버퍼 & 캐시 겸용 메모리가 달려 있는데 시스템 메모리에 흔히 보는 DDR 계열의 SDRAM이 사용된다. SSHD의 경우 하드 디스크의 버퍼를 아예 저용량의 SSD랑 섞어버린 것.

메인 메모리의 일부를 떼어서 HDD/SSD의 데이터를 캐싱하는 것도 가능하며 이를 페이지 캐시라고 부른다. DOS 시절 1MB 메모리가 달린 286 이상의 컴퓨터에는 640kiB를 넘어가는 상위 메모리 영역의 일부를 디스크 캐시로 사용할 수 있도록 해 주는 유틸리티가 여러 종류 있었다. 이후 Windows 95로 넘어오면서 운영체제에서 자체적으로 디스크 캐시를 제공하게 되었다. Linux 등의 유닉스 계열 운영체제도 디스크 캐시를 기본 기능으로 보유하고 있다. '디스크 캐시'라고 부르기도 하지만, 보조 저장 장치에 탑재된 '디스크 버퍼'와 혼동될 뿐만 아니라 메인 메모리 용량 부족으로 보조 저장 장치의 일부 용량을 메인 메모리 용도로 할당해서 사용하는 디스크 스왑와는 전혀 다른 개념이므로 주의할 것.

3. 관련 자료[편집]

---

• TECHSPOT Explainer: L1 vs. L2 vs. L3 Cache

4. 관련 문서[편집]

---

• 캐시
• RAM
• 메인보드
• CPU
• GPU
• Digital Signal Processor