Cache Memory

Cache Memory
Cache memory adalah memori kecepatan
tinggi, tetapi berukuran kecil, yang digunakan
untuk menyimpan salinan data / instruksi yang
sering diakses oleh CPU.
Cache memory berfungsi menjembatani
perbedaan kecepatan antara CPU dan Memori
Utama.
Dalam implementasinya jenis memori yang
digunakan untuk cache adalah statik RAM
(SRAM).
Cache Memory
Operasi Cache

CPU meminta isi suatu lokasi memori

Memeriksa apakah data terdapat di
cache
Jika ada di cache, ambil data dari cache
(cepat)
Jika tidak ada di cache, copy isi memori
ke cache dan kirimkan data yang diminta
ke CPU (lambat).
Locality of Reference

Pada saat eksekusi program, memori

cenderung membaca suatu cluster di
memori.
Contoh : Loop
Cache Design

Ukuran cache
Pemetaan (Mapping Function)
Algoritma Penggantian (Replacement
Algorithm)
Write Policy
Ukuran Blok
Jumlah Cache
Ukuran Cache

Kecepatan
Semakin besar ukuran cache semakin
cepat (sampai ukuran tertentu)
Apabila ukuran cache semakin besar,
proses pengecekan cache lebih lama.
Harga
Semakin besar cache, semakin mahal
Pemetaan

Blok-blok memori utama akan dipetakan

ke slot-slot cache.
Ukuran memori utama jauh lebih besar
dari ukuran cache (C << M) sehingga
tidak semua blok memori utama dapat
ditempatkan pada cache.
Untuk itu diperlukan suatu cara untuk
memetakan blok memori utama ke
cache.
Pemetaan
Teknik Pemetaan

Direct mapping
Fully associative mapping
Set associative mapping
Teknik Pemetaan

Untuk menjelaskan teknik-teknik

pemetaan ini digunakan data-data
berikut :
Ukuran memori utama = 216 word
Ukuran cache = 211 word.
Ukuran blok memori = ukuran slot cache =
16 word = 24 word.
Jumlah blok memori = 216 / 24 = 4096 blok
Jumlah slot cache = 211 / 24 = 128 slot.
Direct mapping

Aturan pemetaannya:
i = j modulus m

di mana:
i = nomor slot cache

j = nomor blok memori utama

m = jumlah slot cache

Direct mapping
Direct mapping
Contoh:
Tentukan pada slot mana blok 0, 1,128,140 akan dipetakan.

Jawab:
Blok 0 :
i = j modulus m
i = 0 modulus 128
i=0
Jadi blok 0 akan dipetakan ke slot 0.

Dengan cara yang sama :

Blok 1 Slot 1
Blok 128 Slot 0
Blok 140 Slot 12
Struktur Alamat

7 bit pada field SLOT menentukan di slot mana word

tersebut seharusnya disimpan.
4 bit pada field WORD menentukan posisi word pada
slot tersebut.
5 bit pada field TAG menentukan blok memori yang
mana yang saat itu tersimpan di cache.
Struktur Alamat

Contoh :
Saat ini salinan word-word dari blok 0
sedang ada di slot 0. Word-word dari blok 0
memiliki alamat 0000 0000 0000 0000
sampai 0000 0000 0000 1111.
5 bit tertinggi dari word tersebut akan
disimpan pada tag yang ada pada cache.
Berarti pada saat word-word dari blok 0 ada
di slot 0, maka pada tag slot 0 akan
tersimpan bilangan 00000.
Struktur Alamat
Misalkan CPU akan mengambil sebuah word
dengan alamat 0000 0000 0000 0000.
Maka yang pertama kali diproses adalah 7 bit
pada field SLOT = 000 0000.
Ini berarti data tersebut seharusnya tersimpan
pada slot 0.
Untuk memastikan apakah word tersebut ada
pada pada slot 0, 5 bit tertinggi dari alamat
tersebut (0000 0) dibandingkan dengan isi tag
slot 0. Ternyata sama, kesimpulannya word
tersebut ada di cache.
Struktur Alamat
Misalkan CPU akan mengambil sebuah word
dengan alamat 1000 0000 0000 0000.
Maka yang pertama kali diproses adalah 7 bit
pada field SLOT = 000 0000.
Ini berarti data tersebut seharusnya tersimpan
pada slot 0.
Untuk memastikan apakah word tersebut ada
pada pada slot 0, 5 bit tertinggi dari alamat
tersebut (1000 0) dibandingkan dengan isi tag
slot 0 (0000 0). Ternyata tidak sama,
kesimpulannya word tersebut tidak ada di
cache.
Keuntungan & Kelemahan Direct
Mapping
Keuntungan teknik direct mapping adalah
pada kesederhanaan proses pemetaannya.
Selain itu pada saat proses pengecekan ada
tidaknya word di cache hanya satu tag yang
perlu dicek isinya.
Kelemahan teknik direct mapping adalah
kurang fleksibel, sebuah blok harus dipetakan
ke slot yang tetap, sehingga tidak bisa
memanfaatkan slot yang kosong.
Fully associative mapping

Teknik ini digunakan untuk mengatasi

ketidakfleksibelan teknik direct mapping.
Pada teknik ini setiap blok boleh
dipetakan ke blok mana saja. Dengan
cara ini pemetaan lebih fleksibel dan
dapat memanfaatkan slot-slot yang
kosong.
Fully associative mapping
Struktur Alamat

4 bit pada field WORD menentukan posisi

word pada slot tersebut.
12 bit pada field TAG menentukan blok
memori yang mana yang saat itu tersimpan di
cache (pada slot tersebut).
Struktur Alamat
Contoh:
Misalkan CPU akan mengambil sebuah word
dengan alamat 0000 0000 0000 0000.
Pada teknik direct mapping, yang pertama kali
diproses adalah 7 bit pada field SLOT untuk
menentukan isi TAG slot mana yang akan
dibandingkan dengan 5 bit teratas dari alamat word
tersebut.
Sedangkan pada teknik fully associative mapping,
karena tiap blok bisa menempati slot mana saja,
maka harus dilakukan pengecekan pada isi tiap TAG
untuk menentukan apakah sebuah word ada di
cache atau tidak.
 Kelemahan utama teknik ini adalah
lambatnya proses pengecekan karena
harus dilakukan proses pengecekan
pada tiap TAG.
Set Associative Mapping

Teknik ini merupakan kombinasi kedua

teknik sebelumnya.
Pada teknik ini beberapa slot
dikelompokkan menjadi sebuah set.
Ukuran tiap set dapat diatur.
Tiap blok harus dipetakan pada set
tertentu, tetapi bebas dipetakan pada
slot mana saja, yang merupakan
anggota dari set tersebut.
Set Associative Mapping

Aturan pemetaan :
i = j modulus s

di mana:
i = nomor set cache
j = nomor blok memori utama

s = jumlah set
Set Associative Mapping
Struktur Alamat

6 bit pada field SET menentukan di SET mana

word tersebut mungkin disimpan.
6 bit pada field TAG menentukan blok memori
yang mana yang saat itu tersimpan di cache
(pada slot tersebut).
4 bit pada field WORD menentukan posisi
word pada slot tersebut.
Struktur Alamat
Misalkan CPU akan mengambil sebuah word dengan
alamat 1111 0000 0000 0000.
Maka yang pertama kali diproses adalah 6 bit pada field
SET = 00 0000.
Ini berarti data tersebut mungkin tersimpan pada SET 0.
Selanjutnya untuk mengetahui apakah word tersebut
memang ada pada pada SET 0 atau tidak, 6 bit tertinggi
dari alamat tersebut (1111 00) dibandingkan dengan isi
tiap TAG yang ada pada SET 0.
Jika ada yang sama, berarti word tersebut ada pada
SET 0 pada slot yang isi TAG-nya sama dengan
keenam bit tersebut. Jika tidak ada yang sama, berarti
word tersebut tidak ada di cache dan harus diambil dari
memori utama.
Keuntungan

Keuntungan teknik ini adalah lebih

fleksibel dibanding dengan teknik direct
mapping, tetapi juga proses
pembandingan isi tagnya relatif lebih
cepat dibanding teknik fully associative
karena jumlah tag yang dibandingkan
lebih sedikit.
Algoritma pergantian
Pada teknik direct mapping, jika sebuah blok
akan disalinkan ke sebuah slot dan slot
tersebut sedang terisi, maka blok yang baru
tersebut langsung akan menggantikan blok
yang lama.
Pada teknik fully associative dan set
associative mapping, jika sebuah blok akan
disalinkan ke slot cache dan semua slot saat
itu penuh, maka harus ditentukan isi slot mana
yang harus diganti. Untuk itu diperlukan suatu
algoritma penggantian.
Algoritma pergantian

Algorima penggantian yang bisa

digunakan adalah :
First In First Out (FIFO) : mengganti blok
yang paling lama menempati cache.
Least Recently Used (LRU) : mengganti
blok yang paling lama tidak digunakan.
Least Frequently Used (LFU) : mengganti
blok yang paling jarang digunakan.
Random : mengganti secara acak.
Write Policy

Sebelum sebuah blok yang berada di

dalam cache dapat diganti, harus
diketahui apakah blok tersebut sudah
diubah selama di cache atau tidak.
Bila belum diubah, blok lama dapat
langsung ditindih.
Bila sudah diubah, maka isi memori
utama harus diperbaharui.
Write Policy

Ada 2 write policy yang biasa digunakan,

yaitu:
Write Through
Write Back
Write Through

Penulisan dilakukan pada cache dan

juga memori utama
Akan menyebabkan banyak trafik
Memperlambat proses penulisan
Write Back

Pada awalnya, perubahan hanya dilakukan di

cache.
Sebuah bit akan diset apabila update terjadi.
Pada saat blok akan diganti, penulisan pada
memori hanya dilakukan apabila bit tersebut
dalam keadaan diset.
Setiap I/O harus mengakses langsung ke
cache karena isi memori utama tidak valid.
Rangkaian menjadi rumit.
Ukuran kinerja cache

Ukuran kinerja cache, dilihat

berdasarkan miss ratio :
Hit ratio (HR) = Jumlah referensi yang
mengacu pada cache / total jumlah
referensi
Miss ratio (MR) = 1 - HR
Intel Processors Cache
80386 no on chip cache
80486 8k using 16 byte lines and four way set
associative organization
Pentium (all versions) two on chip L1 caches
Data & instructions
Pentium 4 L1 caches
8k bytes
64 byte lines
four way set associative
L2 cache
Feeding both L1 caches
256k
128 byte lines
8 way set associative
Pentium 4 Diagram (Simplified)
Pentium 4 Core Processor
Fetch/Decode Unit
Fetches instructions from L2 cache
Decode into micro-ops
Store micro-ops in L1 cache
Out of order execution logic
Schedules micro-ops
Based on data dependence and resources
May speculatively execute
Execution units
Execute micro-ops
Data from L1 cache
Results in registers
Memory subsystem
L2 cache and systems bus
Pentium 4 Design Reasoning
Decodes instructions into RISC like micro-ops before L1 cache
Micro-ops fixed length
Superscalar pipelining and scheduling
Pentium instructions long & complex
Performance improved by separating decoding from scheduling
& pipelining
(More later ch14)
Data cache is write back
Can be configured to write through
L1 cache controlled by 2 bits in register
CD = cache disable
NW = not write through
2 instructions to invalidate (flush) cache and write back then
invalidate