TEKNIK INFORMASI DAN PENGKODEAN

ASSIGNMENT II (TUGAS -2)

TIC-LECTURE-05-HUFFMAN CODING
Nama

: Nurhayati

NIM

: 4613217078

QUESTION
1. Cari Entropy H(s) untuk sumber S = {X, Y, Z} dengan masing masing probabilitas P = {0.1, 0.2, 0.7} dan
Bandingkan dengan rata rata panjang codeword Huffman Lhuff dihitung dengan single letter dan pasangan
letter. Apakah Lhuff cukup memuaskan mendekati H(s) ? Kalau tidak adakah ruang untuk perbaikan?
SOLUTION
Diket : S = {X, Y, Z}
P = {0.1, 0.2, 0.7}
Ditanya : Dengan Kondisi Single Letter dan Pasangan Letter
a. Entropy H(s)
b. Panjang codeword Huffman Lhuff
c. Efficiency
Jawab :
Single Letter
S
X
Y
Z

Simbol
X
Y
Z

Pi
0.1
0.2
0.7

Pi
0.1
0.2
0.7

0.3

1.0
1

Codeword
00
01
1

li
2
2
1

a. Hs    Pi log  Pi

Hs   0.1 log  0.1  0.2 log  0.2  0.7 log  0.7
Hs   0.1 3.32  0.2 2.32  0.7 0.51
Hs  0.332  0.464  0.357
Hs  1.153 /!"!#
b. LHuff = Pi li = (0.1 x 2) + (0.2 x 2) + (0.7 x 1) = 1.3 bit/karakter
$%

c. Efficiency = &$'(( ) 100% 

.+,
.,

) 100%  88.69%

Pasangan Letter
S
XX
XY
XZ
YX
YY
YZ
ZX
ZY
ZZ

.. x ..
0.1 x 0.1
0.1 x 0.2
0.1 x 0.7
0.2 x 0.1
0.2 x 0.2
0.2 x 0.7
0.7 x 0.1
0.7 x 0.2
0.7 x 0.7

Pi
0.01
0.02
0.07
0.02
0.04
0.14
0.07
0.14
0.49

Mengurutkan Probabilitas yang paling kecil

S
XX
XY
YX
YY
XZ
ZX
YZ
ZY
ZZ

Pi
0.01
0.02
0.02
0.04
0.07
0.07
0.14
0.14
0.49

0.03

0.05

0.09

0
0

0.23

0.14

0.51

0
1

1.0

0.28
0

1
0

Simbol
XX
XY
XZ
YX
YY
YZ
ZX
ZY
ZZ

Pi
0.01
0.02
0.07
0.02
0.04
0.14
0.07
0.14
0.49

Codeword
100110
100111
1011
10010
1000
111
1010
110
0

li
6
6
4
5
4
3
4
3
1

a. Hs    Pi log  Pi

H(s) = - 0.01 log2 0.01 0.02 log2 0.02 0.07 log2 0.07 0.02 log2 0.02 0.04 log2 0.04 0.14 log2 0.14
= - 0.07 log2 0.07 0.14 log2 0.14 0.49 log2 0.49
H(s) = - 0.01 (- 6.64) 0.02 (- 5.64) 0.07 (- 3.84) 0.02 (- 5.64) 0.04 (- 4.64) 0.14 (- 2.84)
= - 0.07 (- 3.84) - 0.14 (- 2.84) 0.49 (- 1.03)
H(s) = 0.0664 + 0.1128 + 0.2688 + 0.1128 + 0.1856 + 0.3976 + 0.2688 + 0.3976 + 0.5047
H(s) = 2.32 bit/event

b. LHuff = Pi li = (0.01 x 6) + (0.02 x 6) + (0.07 x 4) + (0.02 x 5) + (0.04 x 4) + (0.14 x 3) + (0.07 x 4)

= (0.14 x 3) + (0.49 x 1)
= 2.33 bit/karakter
c. Efficiency =

$%
)
&$'((

100% 

.,
.,,

) 100%  99.57%

Kesimpulan
Single Letter :
H(s) = 1.153 bit/event
LHuff = 1.5 bit/karakter
Efficiency = 88.69 %
Pasangan Letter :
H(s) = 2.32 bit/event
LHuff = 2.33 bit/karakter
Efficiency = 99.57 %

Dengan menggunakan single letter dan pasangan letter, nilai LHuff sudah mendekati nilai H(s).

Dengan menggunakan pasangan letter, nilai LHuff mendekati nilai H(s).

Jika diinginkan efficiency yang besar dapat dilakukan perbaikan dengan menambahkan jumlah huruf dalam
symbol tetapi dengan konsekuensi menggunakan table konversi yang lebih besar.