SUMBER INFORMASI

DISKRET DENGAN MEMORY

Disusun untuk :
Memenuhi Tugas Mata Kuliah
TEORI INFORMASI
Di susun oleh:

Agung Julian Perkasa

(03111004022)

KEMENTRIAN PENDIDIKAN NASIONAL

UNIVERSITAS SRIWIJAYA
Jl. Palembang-Prabumulih Km. 32 Ogan Ilir-Sumsel 30662 http://unsri.ac.id Telp :
(0711) 580069, 580073 Tahun Ajaran 2012/2013

Agung Julian Perkasa (03111004022)

SOAL 1
Contoh: Misalkan suatu sumber dengan memory U= {0,1} memenuhi proses Markov order-2. Dalam
hal ini ada 4 states yang mungkin yaitu S1=00, S2=01, S3=10, S4=11. Diketahui probalitas transisi
sebagai berikut:
P(0|00) = P(1|11) = 0.8 i.e P(S1|S1) = P(S4|S4) = 0.8
P(0|01) = P(1|10) = 0.5 i.e P(S3|S2) = P(S2|S3) = 0.5

DITANYA:
a.
b.
c.
d.
e.

Peluang masing-masing state (P(S1), P(S2), P(S3), P(S4)) ?

Entropi ?
Pengkodean Hoffman ?
Panjang rata-rata kode ?
Efisiensi ?

PENYELESAIN SOAL

a. Peluang masing-masing state (P(S1), P(S2), P(S3), P(S4))

Dari informasi diatas dapat disumpulkan P(1|00) = P(0|11) = 0.2 dan P(1|01) = P(0|10) = 0.5. secara
matriks dapat dituliskan
S1
S2
S3
S4

S1
0.8
0
0.5
0

S2
0.2
0
0.5
0

S3
0
0.5
0
0.2

Maka dapat dihitung:

P ( S 1 )=P ( S 1 ) P ( S 1|S 1 ) + P ( S 2 ) P ( S 1|S 2 ) + P ( S 3 ) P( S 1S 3)

0.8 P ( S 1 ) +0+0.5 P ( S 3 )
P ( S 2 )=P ( S 1 ) P ( S 2|S 1 )+ P ( S 2 ) P ( S 2|S 2 )+ P ( S 3 ) P (S 2S 3)
0.2 P ( S 1 )+ 0+0.5 P ( S 3 )
P ( S 3 ) =P ( S 1 ) P ( S 3|S 1 ) + P ( S 2 ) P ( S 3|S 2 ) + P ( S 3 ) P(S 3S 3)
0.5 P ( S 2 ) +0.2 P ( S 4 )

S4
0
0.5
0
0.8

Agung Julian Perkasa (03111004022)

P ( S 4 )=P ( S 1 ) P ( S 4|S 1 )+ P ( S 2 ) P ( S 4|S 2 )+ P ( S 3 ) P (S 4S 3)

0.5 P ( S 2 ) +0+0.8 P ( S 4 )
Sehingga diperoleh suatu sistem persamaan linear dengan 4 persamaan dan 4 variabel. Solusi yang
diperoleh adalah

P ( S 1 )=P ( S 4 )=5 /14 ; P ( S 2 )=P ( S 3 )=2/14.

Persamaan diatas dapat disederhanakan menjadi:

P ( S 1 )=

8
5
P ( S 1 )+ P ( S 3 ) (1)
10
10

P ( S 2 )=

2
5
P ( S 1 ) + P ( S 3 ) (2)
10
10

P ( S 3)=

5
2
P ( S 2 ) + P ( S 4 ) (3)
10
10

P ( S 4 )=

5
8
P ( S 2 ) + P ( S 4 ) (4)
10
10

P ( S 1 ) + P ( S 2 ) + P ( S 3 ) + P ( S 4 ) =1 (5)

Dari persamaan 1 maka dapat dicari nilai

P ( S 1 )=

8
5
P ( S 1 )+ P ( S 3 )
10
10

5
8
P ( S 3 ) =P ( S 1 ) P ( S 1 )
10
10
5
2
P( S 3) = P ( S 1)
10
10
P ( S 1 )=

50
5
P ( S 3 )= P ( S 3 ) (6)
20
2

Dari persamaan 4 dapat dicari nilai P(S4)

P ( S 4 )=

5
8
P ( S 2)+ P( S 4)
10
10

5
8
P ( S 2 )=P ( S 4 ) P ( S 4 )
10
10
5
2
P ( S 2 )= P ( S 4 )
10
10

P (S 1)

Agung Julian Perkasa (03111004022)

P ( S 4 )=

50
5
P ( S 2 )= P ( S 2 ) (7)
20
2

Subtitusi persamaan 6 dan persamaan 7 ke persamaan 5

P ( S 1 ) + P ( S 2 ) + P ( S 3 ) + P ( S 4 ) =1
5
5
P ( S 3 ) + P ( S 2 )+ P ( S 3 ) + P ( S 2 ) =1
2
2
5
5
P ( S 2 ) + P ( S 2 )+ P ( S 3 ) P ( S 3 ) + 1
2
2
7
7
P ( S 2 ) + P ( S 3 )=1
2
2
7
7
P ( S 2 ) =1 P ( S 3 )
2
2
2
P ( S 2 )= P ( S 3 ) (8)
7

Subtitusikan persamaan 8 dan persamaan 6 ke persamaan 2

P ( S 2 )=

2
5
P ( S 1) + P ( S 3)
10
10

2
2 5
5
P ( S 3 ) =
P (S 3 ) + P (S 3)
7
10 2
10

2
1
5
P ( S 3 ) = P ( S 3 ) + P ( S 3 )
7
2
10
1
5
2
P ( S 3 ) + P ( S 3 )+ P ( S 3 )=
2
10
7
5+ 5+10
2
P ( S 3 )=
10
7
2 P ( S 3 )=
P (S 3)=

2
7

2
14

Subtitusikan P(S3) ke persamaan 6 sehingga didapat P(S1)

5
P ( S 1 )= P ( S 3 )
2

Agung Julian Perkasa (03111004022)

P ( S 1 )=

5 2
2 14

P ( S 1 )=

10 5
=
28 14

( )

Subtitusikan P(S3) ke persamaan 8 sehingga didapat P(S2)

2
P ( S 2 )= P ( S 3 )
7
2 2
P ( S 2 )=
7 14

P ( S 2 )=

42 2
=
14 14

P (S 3)=

2
14

Subtitusikan P(S2) ke persamaan 7 sehingga didapat P(S4)

5
P ( S 4 )= P ( S 2 )
2
P ( S 4 )=

5 2
2 14

P ( S 4 )=

10 5
=
28 14

( )

Pembuktian jumlah seluruh peluang adalah 1

P ( S 1 ) + P ( S 2 ) + P ( S 3 ) + P ( S 4 ) =1
5 2 2 5
+ + + =1
14 14 14 14
b. Entropi ?

H (U )=

5
5
2
2
2
2
5
5
log log log log
14
14 14
14 14
14 14
14

0,5305+0,4010+0,4010+ 0,5305
H (U )=1,863
c. Pengkodean Hoffman ?

Agung Julian Perkasa (03111004022)

U
S1

Phase-1

Phase-2

5
14

5
14

5
14

S4

5
14

5
14

9
14

S2

2
14

4
14

S3

2
14

d. Panjang rata-rata kode ?

L=

5
5
2
2
1+ 2+ 3+ 3
14
14
14
14

0,3571+0,7142+0,4287+0,4287
L=1,9287

e. Efisiensi ?

H (U )
L log r

log r=log 2=1

H (U )
L log r

1,8630
1,9287 . 1

=0,9659=96,59 =97

CODE
1
01
000
001

Agung Julian Perkasa (03111004022)

SOAL 2:
A
1/2
1/4
1/3

A
B
C

B
1/2
0
1/3

C
0
3/4
1/3

DITANYA:
a.
b.
c.
d.
e.

Peluang masing-masing state (P(A), P(B), P(C),) ?

Entropi ?
Pengkodean Hoffman ?
Panjang rata-rata kode ?
Efisiensi ?

PENYELESAIAN SOAL:
a. Peluang masing-masing state (P(A), P(B), P(C),) ?

Maka dapat dihitung:

P ( A )=P ( A ) P ( A| A )+ P ( B ) P ( A|B ) + P ( C ) P( AC)

1
1
1
P ( A ) + P ( B )+ P ( C )
2
4
3
P ( B ) =P ( A ) P ( B| A ) + P ( B ) P ( B|B ) + P ( C ) P( BC)

1
1
P ( A ) + 0+ P ( C )
2
3
P (C )=P ( A ) P ( C| A ) + P ( B ) P ( C|B ) + P ( C ) P(CC)
3
1
0+ P ( B ) + P ( C )
4
3
Dapat diserderhanakan persamaan menjadi :

1
1
1
P ( A )= P ( A )+ P ( B ) + P (C ) (1)
2
4
3
1
1
P ( B ) = P ( A ) + P ( C ) ( 2)
2
3
3
1
P (C )= P ( B )+ P ( C ) (3)
4
3

Agung Julian Perkasa (03111004022)

P ( A )+ P ( B ) + P ( C )=1 (4)

Dari persamaan 3 maka di dapat P(C)

3
1
P (C ) = P ( B ) + P ( C )
4
3
1
3
P (C ) P ( C ) = P ( B )
3
4
2
3
P (C )= P ( B )
3
4
9
P (C )= P ( B ) (5)
8

Subtitusikan persamaan 5 ke persamaan 4

P ( A )+ P ( B ) + P ( C )=1
9
P ( A )+ P ( B ) + P ( B )=1
8
17
P ( B )=1
8

P ( A )+

P ( A )=1

17
P ( B ) (6)
8

Subtitusikan persamaan 6 ke persamaan 2 sehingga didapat P(B)

1
1
P (B)= P ( A)+ P (C )
2
3
P (B)=

1
17
9
1 P ( B ) + P ( B )
2
8
24

1 17
9
P (B)= P ( B)+ P (B )
2 16
24
P (B)+

17
9
1
P ( B ) P ( B ) =
16
24
2

48+5118
1
P ( B )=
48
2
48+5118
1
P ( B )=
48
2
81
1
P ( B )=
48
2
P (B)=

48
8
=
162 27

Agung Julian Perkasa (03111004022)

Subtitusikan P(B) ke persamaan 6

P ( A )=1

17
P ( B)
8

P ( A )=1

17 8
8 27

P ( A )=1

136
216

( )
17 8
P ( A )=1 ( )
8 27
P ( A )=

216136 80 10
=
=
216
216 27

Subtitusikan P(B) ke persamaan 5

9
P (C ) = P ( B )
8
P (C ) =

9 8
8 27

P (C ) =

72
9
=
216 27

( )

Pembuktian jumlah semua peluang sama dengan satu

P ( A )+ P ( B ) + P ( C )=1
10 8 9
+ + =1
27 27 27
b. Entropi ?

H (U )=0.29 log 0.290.33 log 0.330.37 log 0.37

0,5179+0,5278+0,5307
H (U )=1,5764

c. Pengkodean Hoffman ?
U
A

10
27 =0.37

Phase-1

10
27

CODE
1

Agung Julian Perkasa (03111004022)

C

9
27 =0.33

8
27 =0.29

17
27

00
01

d. Panjang rata-rata kode ?

L=0,291+0,322+ 0,372

0,29+0,64+ 0,74
L=1,67
e. Efisiensi ?

H (U )
L log r

log r=log 2=1

H (U )
L log r

1,5764
1,67 . 1

=0,9439=94,39 =94

SOAL 3
Contoh: Misalkan suatu sumber dengan memory U= {0,1} memenuhi proses Markov order-2. Dalam
hal ini ada 4 states yang mungkin yaitu S1=00, S2=01, S3=10, S4=11. Diketahui probalitas transisi
sebagai berikut:
P(0|00) = P(1|11) = 0.8 i.e P(S1|S1) = P(S4|S4) = 0.8
P(0|01) = P(1|10) = 0.5 i.e P(S3|S2) = P(S2|S3) = 0.5
DITANYA:
a. Peluang masing-masing state (P(S1), P(S2), P(S3), P(S4)) ?
b. Entropi ?
c. Pengkodean Hoffman ?

Agung Julian Perkasa (03111004022)

d. Panjang rata-rata kode ?
e. Efisiensi ?

PENYELESAIN SOAL

a. Peluang masing-masing state (P(S1), P(S2), P(S3), P(S4)) ?

Dari informasi diatas dapat disumpulkan P(1|00) = P(0|11) = 0.2 dan P(1|01) = P(0|10) = 0.5. secara
matriks dapat dituliskan
S1
0.6
0
0.2
0

S1
S2
S3
S4

S2
0.4
0
0.8
0

S3
0
0.8
0
0.4

S4
0
0.2
0
0.6

Maka dapat dihitung:

P ( S 1 )=P ( S 1 ) P ( S 1|S 1 ) + P ( S 2 ) P ( S 1|S 2 ) + P ( S 3 ) P( S 1S 3)

0.6 P ( S 1 ) +0+ 0.2 P ( S 3 )

P ( S 2 )=P ( S 1 ) P ( S 2|S 1 )+ P ( S 2 ) P ( S 2|S 2 )+ P ( S 3 ) P (S 2S 3)

0.4 P ( S 1 ) +0+ 0.8 P ( S 3 )

P ( S 3 ) =P ( S 1 ) P ( S 3|S 1 ) + P ( S 2 ) P ( S 3|S 2 ) + P ( S 3 ) P(S 3S 3)

0.8 P ( S 2 ) +0.4 P ( S 4 )
P ( S 4 )=P ( S 1 ) P ( S 4|S 1 )+ P ( S 2 ) P ( S 4|S 2 )+ P ( S 3 ) P (S 4S 3)

0.2 P ( S 2 ) +0+0.6 P ( S 4 )
Sehingga diperoleh suatu sistem persamaan linear dengan 4 persamaan dan 4 variabel. Solusi yang
diperoleh adalah

P ( S 1 )=P ( S 4 )=5 /14 ; P ( S 2 )=P ( S 3 )=2/14.

Persamaan diatas dapat disederhanakan menjadi:

P ( S 1 )=

6
2
P ( S 1 )+ P ( S 3 ) (1)
10
10

P ( S 2 )=

4
8
P ( S 1 ) + P ( S 3 ) (2)
10
10

Agung Julian Perkasa (03111004022)

P ( S 3)=

8
4
P ( S 2 ) + P ( S 4 ) (3)
10
10

P ( S 4 )=

2
6
P ( S 2 ) + P ( S 4 ) (4)
10
10

P ( S 1 ) + P ( S 2 ) + P ( S 3 ) + P ( S 4 ) =1 (5)

Dari persamaan 1 maka dapat dicari nilai

P ( S 1 )=

P (S 1)

6
2
P ( S 1 )+ P ( S 3 )
10
10

2
6
P ( S 3 ) =P ( S 1 ) P ( S 1 )
10
10
2
4
P( S 3) = P ( S 1)
10
10
P ( S 1 )=

40
4
P ( S 3 )= P ( S 3 ) (6)
20
2

Dari persamaan 4 dapat dicari nilai P(S4)

P ( S 4 )=

2
6
P ( S 2)+ P( S 4)
10
10

2
6
P ( S 2 )=P ( S 4 ) P ( S 4 )
10
10
2
4
P ( S 2 )= P ( S 4 )
10
10
P ( S 4 )=

40
4
P ( S 2 ) = P ( S 2 ) (7)
20
2

Subtitusi persamaan 6 dan persamaan 7 ke persamaan 5

P ( S 1 ) + P ( S 2 ) + P ( S 3 ) + P ( S 4 ) =1
4
4
P ( S 3 ) + P ( S 2 )+ P ( S 3 ) + P ( S 2 )=1
2
2
4
4
P ( S 2 ) + P ( S 2 ) + P ( S 3 ) P ( S 3 ) + 1
2
2
6
6
P ( S 2 ) + P ( S 3 )=1
2
2

Agung Julian Perkasa (03111004022)

6
6
P ( S 2 ) =1 P ( S 3 )
2
2
2
P ( S 2 )= P ( S 3 ) (8)
6

Subtitusikan persamaan 8 dan persamaan 6 ke persamaan 2

P ( S 2 )=

4
8
P ( S 1) + P ( S 3)
10
10

2
4 4
8
P ( S 3 ) =
P (S 3 ) + P (S 3 )
6
10 2
10

2
4
8
P ( S 3 ) = P ( S 3 ) + P ( S 3 )
6
5
10
8
8
2
P ( S 3 ) + P ( S 3 )+ P ( S 3 ) =
10
10
6
8+8+10
2
P ( S 3 )=
10
6
26
2
P ( S 3 )=
10
6
P (S 3)=

20 10 5
= =
156 78 39

Subtitusikan P(S3) ke persamaan 6 sehingga didapat P(S1)

4
P ( S 1 )= P ( S 3 )
2
P ( S 1 )=

4 5
2 39

P ( S 1 )=

20 10
=
78 39

( )

Subtitusikan P(S3) ke persamaan 8 sehingga didapat P(S2)

2
P ( S 2 )= P ( S 3 )
6
2 5
P ( S 2 )=
6 39
P ( S 2 )=

2610 16 8
= =
78
78 39

Agung Julian Perkasa (03111004022)

P (S 3)=

5
39

Subtitusikan P(S2) ke persamaan 7 sehingga didapat P(S4)

4
P ( S 4 )= P ( S 2 )
2
P ( S 4 )=

4 8
2 39

P ( S 4 )=

32 16
=
78 39

( )

Pembuktian jumlah seluruh peluang adalah 1

P ( S 1 ) + P ( S 2 ) +P ( S 3 ) + P ( S 4 ) =1
10 8 5 16
+ + + =1
39 39 39 39
b. Entropi ?

H (U )=

10
10 8
8
5
5 16
16
log log log log
39
39 39
39 39
39 39
39

0,5034+0,4688+ 0,3799+0,5273
H (U )=1,8794

c. Pengkodean Hoffman ?
U
S4

Phase-1

Phase-2

16
39

16
39

16
39

S1

10
39

10
39

23
39

S2

8
39

13
39

S3

5
39

d. Panjang rata-rata kode ?

CODE
1
01
000
001

Agung Julian Perkasa (03111004022)

L=

16
10
8
5
1+ 2+ 3+ 3
39
39
39
39

0,4102+0,5128+0,6153+0,3846
L=1,9225
f.

Efisiensi ?

H (U )
L log r

log r=log 2=1

H (U )
L log r

1,8794
1,9225 .1

=0,9775=97,75 =98