Kuliah 4

Source Coding (samb)

Indrabayu
bhayu16@yahoo.com
Klasifikasi Kode
Misal Sumber dengan 4 Simbol dikodekan dlm kode biner sbb:
1. Fixed-Length Codes
adalahkode denganpanjang tetap(fixed). Contoh : code 1 dan 2.
2. Variabel-Length Codes
adalahkode denganpanjang tidak sama /bervariasi. Contoh : semua code kecuali code 1 dan 2.
code 1 code 2 code 3 code 4 code 5 code6
00 00 0 0 0 1
01 01 1 10 01 01
00 10 00 110 011 001
11 11 11 111 0111 0001
x
i
x
1
x
2
x
3
x
4
Klasifikasi Kode (Lanjutan)
3. Distinct Codes
bila tiap codeword berbeda dengan codeword yang lainnya. Contoh :
Semua kecuali code 1.
4. Prefix-Free Codes
Bila tidak ada codeword yang dibentuk dengan menambah simbol-
simbol kode pada codeword yang lainnya. Contoh : code 2, 4, & 6.
5. Uniquely Decodable Codes
bila simbol semula dapat dikodekan kembali secara unik. Contoh : code
3 bukan Uniquely Decodable Codes.
6. Instantaneous Codes
Bila akhir kode dapat dikenali tanpa melihat kode pesan keseluruhan.
Yang termasuk dlm prefix-free codes umumnya juga instantaneous
codes.
7. Optimal Codes
bila instantaneous codes dan mempunyai panjang minimal.
Ketidaksamaan Kraft
Misal DMS X dengan alphabet {x
i
}( i= 1,2,,m).
Diasumsikan panjang codeword yang berkaitan dengan
x
i
adalah n
i
.
Kondisi perlu dan cukup agar diperoleh instantaneous
binary codes adalah :
disebut sebagai ketidaksamaan Kraft.

s =
m
i
n
i
K
1
1 2
Kuis
Dari tabel sebelumnya, cari kode yg memenuhi
Kraft ineguality
Jawab
Kode 1
Kode 2
1
4
1
4
1
4
1
4
1
2
4
1
= + + + = =

i
n
i
K
1
4
1
4
1
4
1
4
1
2
4
1
= + + + = =

i
n
i
K
Kuis
Kode 3
Kode 4
Kode 5
Kode 6
5 , 1
4
1
4
1
2
1
2
1
2
4
1
= + + + = =

i
n
i
K
1
8
1
8
1
4
1
2
1
2
4
1
= + + + = =

i
n
i
K
94 , 0
16
1
8
1
4
1
2
1
2
4
1
= + + + = =

i
n
i
K
94 , 0
16
1
8
1
4
1
2
1
2
4
1
= + + + = =

i
n
i
K
ENTROPY CODING
Disain suatu variable-length code sedemikian rupa
sehingga panjang codeword rata-rata mendekati
entropy DMS disebut dengan entropy coding.
Beberapa contoh pengkodean adalah :
- Shannon-Fano Coding
- Huffman Coding
- Lempel-Ziv Coding, dll
( ) ( ) | | ( ) ( ) ( ) ( )

= =
= = =
m
i
i i
m
i
i i i
x P x P x I x P x I E X H
1
2
1
b/simbol ) / 1 ( log
Shannon-Fano Coding
Pengkodean ini dapat dilakukan dengan prosedur
sederhana, yang disebut dengan algorithma
Shannon -Fano sbb:
1. Daftar simbol-simbol sumber urut berdasar
besarnya peluang (dari terbesar menurun hingga
terkecil)
2. Bagi menjadi dua set dgn jumlah peluang masing-
masing set sama/mendekati sama. Beri tanda 0
untuk set atas dan 1 untuk set bawah.
3. Lanjutkan proses diatas, sampai pembagian tidak
dimungkinkan lagi.
Contoh Shannon-Fano Coding
xi P(xi) Step 1 Step 2 Step 3 Step 4 Codeword
0 00 0
0 1 01
0 10
0 110
0 1110
x1
x2
x3
x4
x5
x6
0,30
0,25
0,20
0,12
0,08
0,05
1
1
1
1
1
1
1
1
1 1 1111
H(X) = 2,36 b/simbol
L = 2,38 b/simbol
q= H(X)/L = 0.99
Huffman Coding
Umumnya Huffman Coding menghasilkan kode
optimum. Prosedur Huffman Coding adalah sbb:
1. Daftar simbol-simbol sumber urut berdasar
besarnya peluang (dari terbesar menurun hingga
terkecil)
2. Kombinasikan peluang dua simbol dgn peluang
terkecil. Dengan Jumlah peluang tersebut,
Urutkan kembali daftar simbol point 1: langkah
ini disebut reduksi -1. Prosedur ini diulang
hingga tinggal dua peluang.
Huffman Coding
Umumnya Huffman Coding menghasilkan kode
optimum. Prosedur Huffman Coding adalah sbb:
3. Mulai pengkodean pada reduksi terakhir, dengan
memilih 0 (merupakan simbol pertama dari
codeword) pada peluang pertama dan 1 pada
peluang kedua.
4. Ulangi prosedur ini sampai reduksi pertama.
Contoh Huffman Coding
x
i
P(x
i
) Code
x
1
x
2
x
3
x
4
x
5
x
6
0,30
0,25
0,20
0,12
0,08
0,05
00
01
11
101
100
100
0,30
0,25
0,20
0,13
0,12
0
1
0,30
0,25
0,25
0,20
0
1
0,45
0,30
0,25
0
1
0,55
0,45
0
1
H(X) = 2,36 b/simbol
L = 2,38 b/simbol
q= H(X)/L = 0.99
0
1
Yg mana yg dipilih?
Terlihat pada contoh sebelumnya, shannon-fano dan
Huffman memberi efisiensi yg sama.
Bgmn dgn kraft inequality?
Shannon-fano :
Huffman
In this case, both is ok
1
16
1
16
1
8
1
4
1
4
1
4
1
= + + + + + = K
1
16
1
16
1
8
1
4
1
4
1
4
1
= + + + + + = K
kuis
Bagaimana bila semua
probabilitas
kemunculan sama
Mana yg lebih baik,
shannon atau huffman
x
i
P(x
i
)
x
1
X
2
X
3
X
4
X
5
0.2
0.2
0.2
0.2
0.2
Dgn Shannon
Bisa dua cara (cara 1)
x
i
P(x
i
) Step 1 Step2 Step 3 kode
x
1
x
2
x
3
x
4
x
5
0.2
0.2
0.2
0.2
0.2
0
0
1
1
1
0
1
0
1
1
0
1
00
01
10
110
111
Dgn Shannon
(cara 2)
x
i
P(x
i
) Step 1 Step2 Step 3 kode
x
1
x
2
x
3
x
4
x
5
0.2
0.2
0.2
0.2
0.2
0
0
0
1
1
0
1
1
0
1
0
1
00
010
011
10
11
Dgn Shannon
Entropy
Panjang kode rata
Efisiensi
Kraft inequality

=
= = =
5
1
2 2
32 . 2 ) 2 . 0 log 2 . 0 ( 5 ) ( log ) ( ) (
i
i i
x P x P X H

= + + + + = =
5
1
4 . 2 ) 3 3 2 2 2 ( 2 . 0 ) (
i i
n x P L
967 . 0
4 . 2
32 . 2 ) (
= = =
L
X H
q
1
8
1
8
1
4
1
4
1
4
1
= + + + + = K
Dgn Huffman
x
i
P(x
i
)
x
1
x
2
x
3
x
4
x
5
0.2
0.2
0.2
0.2
0.2
0.4
0.2
0.2
0.2
0.4
0.4
0.2
0.6
0.4
0
1
0
1
0
1
0
1
01
000
001
10
11