KRIPTOGRAFI

TEORI INFORMASI

Entropy &
Kode Huffman

Claude E Shannon
 Teori Informasi
Teori informasi merupakan disiplin ilmu dalam bidang
matematika terapan yang berkaitan dengan
kuantisasi data sehingga data atau informasi dapat
disimpan dan dikirim melalui suatu kanal komunikasi.

• Seberapa besar kompresi data/sumber informasi

dapat dilakukan (Entropy H)
• Seberapa besar kecepatan transmisi suatu
komunikasi (Kapasitas kanal C)
 Bit dan Byte
Bit dan Byte
bit (b)
 Binary digit/digit biner (0, 1)
 unit satuan terkecil dalam komputasi digital
 Diperkenalkan oleh John Tukey 1947
 Biasanya untuk satuan transfer speed

Byte (B)
 1 byte = 8 satuan bit
 satuan informasi yang lebih besar dr bit
 Diperkenalkan oleh Dr. Werner Buccholz 1956
 Biasanya untuk satuan kapasitas penyimpanan data
Konversi
1 byte = 8 bit (1 bit = 1/8 byte)

Contoh
Paket layanan internet bandwidth 1 Mbps (1 mega bit per
second atau 1.024 kilo bit per second)
Untuk mengetahui berapa kecepatan download/transfer
maka dikonversi kedalam satuan byte.
1.024 kbps/8=128 KBps (kilo byte persecond)
Artinya, kecepatan transfer data adl 128 KB dalam satu
detik.
Misal file dgn kapasitas 460,8 MB (460.800 KB), dibutuhkan
waktu (460.800 KB/128 KB/s)=3.600 s (1 jam)
 Teori Informasi
• Sumber informasi
• Kandungan informasi
• Entropy

Sumber informasi adalah suatu obyek yang menghasilkan

event, dimana keluaran sumber informasi bergantung
dari distribusi probability.
Sumber informasi dapat dianggap sebagai device yang
menghasilkan pesan dan dapat berupa analog atau
diskrit.
 Klasifikasi Sumber Informasi
• Memory: munculnya simbol bergantung pada
simbol sebelumnya.
• Memoryless: munculnya simbol tidak
bergantung pada simbol sebelumnya.
• Sumber Informasi Diskrit yang memoryless
disebut Discrete Memoryless Source (DMS)
 Kandungan Informasi
Diberikan sumber informasi diskrit yang
memoryless (DMS)
S   s1 , s2 ,..., sn 
dengan masing-masing peluang/probability
setiap simbol informasi p  si   pi dengan  p  s    p  1
n n

i i
i 1 i 1

maka, kandungan informasi dari simbol si :

 1 
I  si   log 2     log 2 p  si  bit
 p  si  
Contoh
Sebuah sumber informasi DMS memiliki symbol

dan dengan masing-masing 1 1 probabilitasnya

1
S   s1 , s2 , s3 , s4  ; p1  , p2  , p3  p4 
2 4 8

Tentukan kandungan informasi untuk masing-

masing sumber informasinya!
I  s1   log 2 2  1 bit I  s3   I  s4   log 2 8  3 bit
Solusi:
I  s2   log 2 4  2 bit
 Entropy
• Entropy adalah ukuran yang menyatakan
jumlah informasi di dalam pesan.
• Entropy merupakan parameter yang
menyatakan kandungan informasi rata-rata
persimbol.
• Entropy berguna untuk memperkirakan
jumlah bit rata-rata untuk menkodekan
elemen pesan.
Entropy dari sumber S yang mempunyai simbol-
simbol si dan probabilitas pi oleh Claude E
Shannon dirumuskan :
n
H  S    pi  2 log pi 
i 1

S : Pesan; pi : peluang kemunculan simbol ke-i

n : banyaknya simbol berbeda dalam pesan

Contoh
Entropy untuk pesan yang menyatakan pesan jenis kelamin=1 bit,
entropi yang menyatakan pesan nama hari=3 bit.

Contoh
Misalkan S adalah string “AABBCBDB”, dengan p(A)=2/8, p(B)=4/8,
p(C)=1/8 dan p(D)=1/8.
Tentukan Entropy untuk masing-masing sumber informasi!
Solusi:
n=4 (A, B, C dan D)
Entropy pesan
22 2 4 4 1 1 1  1  14
H  S   log    2 log    2 log    2 log    1,75 bit
8 8 8 8 8 8 8 8 8

Artinya, setiap simbol dikodekan sebanyak 1,75 bit.

Latihan
Tentukan entropy untuk masing-masing dari
sumber informasi
 Sifat-Sifat Entropy
1) 0  H  S   log  n  2

2) H  S   0  p  1, i dan p  0, j  i
i j

3) H  S   log  n   p  1 , i  1, 2,..., n
2
i
n

Bukti: (1)
 p     1 
n n n
H  S    pi log  pi  H  S    log
 pi
2
 2
i
2
log  pi 
i 1 i 1 i 1  pi 
 1 
0  pi  1  log  pi   0
2

 pi 
 
n
n
H  S    2 log  pi  i  2 log  pi    2 log  n 
 p  pi
i 1

i 1
Bukti: (3)
  pi  
n
n
1
H  S    2 log  2 log  pi    2 log  n  dengan pi 
 pi  pi
i 1

i 1 n

(2) Silakan dicoba sendiri

Entropy sistem kriptografi adalah ukuran kunci

K. Semakin besar entropy semakin sulit
memecahkan cipherteksnya.
 Laju Bahasa dan Laju Mutlak
Laju Bahasa (rate of language), didefinisikan
r = H(S)/N bit/huruf, dengan N : panjang pesan
Laju normal Bahasa inggris adalah 1 bit/huruf sd 1,5 bit/huruf untuk N
besar.
Laju Mutlak (absolut rate), didefinisikan
R = log2(L) bit/huruf,
dgn L : jumlah karakter di dalam bahasa.

L dalam bahasa Inggris (26 huruf),

R = log2(26) = 4,7 bit/huruf.
L dalam pesan Kode standar Amerika/ ASCII (American Standard Code of
Information Interchange) (256 karakter),
R = log2(256) = 8 bit/huruf.
 Redundansi
Redundansi bahasa, didefinisikan oleh
D = R – r bit/huruf

Contoh
Dalam Bahasa Inggris, dengan r=1,3 bit/huruf, R=4,7
bit/huruf, redundansi D = 4,7 -1,3 = 3,4
Artinya, setiap huruf dalam Bahasa Inggris membawa 3,4 bit
informasi redundan (mubazir).
Dalam pesan ASCII, dengan r=1,3 bit/huruf, R=8 bit/huruf,
redundansi D = 8 -1,3 = 6,7 bit/huruf.
Kriptanalis menggunakan redundansi alami dari bahasa
untuk mengurangi kemungkinan jumlah plainteks.

Makin besar redundansi, makin mudah melakukan

kriptanalis.
Implementasi kriptografi dilengkapi dengan program
kompresi sebelum mengenkripsi pesan.
Kompresi mengurangi redundansi pesan.
Salah satu metode untuk kompresi adalah Huffman
Coding
 Pengkodean Sumber (Source Coding)

• Merupakan proses konversi informasi DMS ke

bentuk binary sequence (deret biner)
• Perangkatnya disebut “Source Encoder”.
Blok sistem proses source coding
 Pengkodean Huffman
(Huffman Coding)

• Source coding ini adalah salah satu kode yang

optimum dan mempunyai efisiensi yang tinggi
• Prosedurnya:
1. Mengurutkan simbol berdasarkan peluangnya dari terbesar ke terkecil.

2. Menjumlahkan peluang terkecil 2 simbol dan

mengurutkan kembali peluang mulai yang terbesar ke terkecil.

3. Memberi tanda bit “0” untuk peluang yang lebih kecil dan tanda bit “1”
untuk peluang yang lebih besar. (kiri 0 dan kanan 1/ kiri 1 kanan 0)

4. Mengulangi langkah di atas sampai jumlah peluangnya = 1

Kelebihan
• Simbol yang sering muncul dalam
kalimat/string dipresentasikan dalam kode
yang lebih pendek.
• Lebih sederhana dibandingkan kode ASCII
• Hasil yang diperoleh lebih rendah daripada
kode ASCII
• Kode Huffman mampu mengkompres data
lebih dari 50%.
Kelemahan
• Kode Huffman tidak bersifat unik tetapi bias, artinya
kode untuk setiap karakter beda-beda pada setiap
pesan bergantung pada kerapatan kemunculan
karakter (antar orang satu dengan lainnya bisa beda
hasil kodenya)
• Keputusan apakah akan diletakkan di sebelah kanan
atau kiri akan memberikan kode yang berbeda-beda,
akan tetapi tetap saja tidak akan mengubah panjang
kode yang diperolehnya secara keseluruhan.
• Proses dan langkah-langkah mendapatkan kode
Huffman relatif lebih panjang dan rumit.
Contoh
Tentukan keluaran Source Coding dengan prosedur
Huffman untuk keluaran DMS sebanyak 6 simbol dengan
peluangnya 0,05; 0,06; 0,10; 0,19; 0,25; 0,35 !
Solusi:
Luaran Source Coding
“HARI INI KITA MAKAN SIANG DI MANA”
Gunakan kode Huffman untuk mengkompress pesan
tersebut!
Solusi:
Menentukan kerapatan/frekuensi kemunculan dan
peluang
Pohon biner
Kode Huffman
Latihan
1. Diketahui simbol-simbol keluaran DMS
sebagai berikut:
Dengan menggunakan
prosedur Huffman, tentukan
simbol-simbol (codeword)
output Source Coding !

2. Tentukan kode Huffman dari pesan

“MATEMATIKA”
Terkait KODE HUFFMAN
Silakan bisa searching dan dibaca lebih jauh…