Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.

com

Teori Informasi

Muhammad Hamada

Lab Rekayasa Perangkat Lunak

Universitas Aizu

Email: hamada@u-aizu.ac.jp URL:

http://www.u-aizu.ac.jp/~hamada

1
 Topik hari ini

• Entropi
• Entropi Bersyarat
• Contoh
• Entropi Bersama
• Aturan Rantai

2
 Entropi H(S)
• Entropi adalah isi informasi rata-rata dari suatu
sumber

H(S)=E --I(S)-k-
K-1
-1 -
(
HS )= Σ P catatan -
k 2
-
k=0 -Pk-
3
 Entropi
Komentar
Entropi adalah ukuran seberapa banyak informasi yang dikodekan
dalam sebuah pesan. Semakin tinggi entropi, semakin tinggi
kandungan informasinya.

Kita juga bisa mengatakan entropi adalah ukuran

ketidakpastian dalam sebuah pesan.

Informasi dan ketidakpastian adalah

konsep yang setara.
Entropi memberikan jumlah bit informasi yang sebenarnya
terkandung dalam sumber pesan.
Contoh: jika probabilitas karakter e` muncul di
slide ini adalah 1/16, maka isi informasi dari karakter ini
adalah 4 bit.

Jadi string karakter eeeee memiliki total 20 bit

(bandingkan ini dengan menggunakan pengkodean ASCII 8-bit yang
dapat menghasilkan 40 bit untuk mewakili eeeee`.
4
Entropi Bersyarat

5
 Entropi Bersyarat

H(Y|X=v)

Misalkan saya mencoba memprediksi output Y dan saya memiliki input X

6
 Entropi Bersyarat H(Y|X=v)
Contoh Jika saya tahu jurusan siswa, saya bisa memprediksi apakah dia
suka game komputer?
Masukan: X = Jurusan Perguruan Tinggi

Output: Y = Suka “Game Komputer”

Distribusi marginal untuk X
x kamu
matematika Ya
Sejarah Tidak
x Ya
kamu Tidak

CS Ya
matematika 0,25 0,25 P(X=matematika) = 0,5

matematika Tidak

matematika Tidak CS 0,25 0 P(X=CS)=0,25

CS Ya
Sejarah 0 0,25 P(X=Sejarah)=0,25
Sejarah Tidak

matematika Ya P(Y=Ya) = 0,5 P(Y=Tidak) = 0,5

1
Distribusi marjinal untuk Y
7
 Entropi Bersyarat H(Y|X=v)
Contoh Jika saya tahu jurusan siswa, saya bisa memprediksi apakah dia
suka game komputer?
Masukan: X = Jurusan Perguruan Tinggi

Output: Y = Suka “Game Komputer”

x Ya
kamu Tidak

x kamu
0,25 0,25 P(X=matematika) = 0,5

Ya
matematika
matematika

Sejarah Tidak CS 0,25 0 P(X=CS)=0,25

CS Ya
Sejarah 0 0,25 P(X=Sejarah)=0,25
matematika Tidak

matematika Tidak P(Y=Ya) = 0,5 P(Y=Tidak) = 0,5

1
CS Ya
Sejarah Tidak

H(X) = - 0,5 log 0,5 – 0,25 log 0,25 – 0,25 log 0,25=1.5
matematika Ya
H(Y) = - 0,5 log 0,5 - 0,5 log 0,5=1 8
 Entropi Bersyarat Spesifik H(Y|X=v)
Contoh
Definisi Entropi Bersyarat Spesifik:

H(Y |X=v) =entropi darikamu di antara

x kamu hanya catatan-catatan di mana xmemiliki
nilaiv
matematika Ya
Sejarah Tidak

CS Ya
matematika Tidak

matematika Tidak

CS Ya
Sejarah Tidak

matematika Ya
9
 Entropi Bersyarat Spesifik H(Y|X=v)
Contoh
Definisi Entropi Bersyarat Spesifik:

H(Y |X=v) =entropi darikamu di antara

x kamu hanya catatan-catatan di mana xmemiliki
nilaiv
matematika Ya
Sejarah Tidak Contoh:
CS Ya H(Y|X=Matematika) = - S p(y|X=Matematika) log p(y|X=Matematika)
y ?{Ya, Tidak}
matematika Tidak
=-p(Ya|X=Matematika) log p(Ya|X=Matematika) -p(Tidak|X=Matematika) log p(Tidak|X=Matematika)
matematika Tidak
=-0,5 log 0,5 – 0,5 log 0,5 =1
CS Ya
Sejarah Tidak
H(Y|X=Matematika) = 1
matematika Ya
10
 Entropi Bersyarat Spesifik H(Y|X=v)
Contoh
Definisi Entropi Bersyarat Spesifik:

H(Y |X=v) =entropi darikamu di antara

x kamu hanya catatan-catatan di mana xmemiliki
nilaiv
matematika Ya
Sejarah Tidak Contoh:
CS Ya H(Y|X=Riwayat) =-S p(y|X=Riwayat) log p(y|X=Riwayat)
y ?{Ya, Tidak}
matematika Tidak
=-p(Ya|X=Riwayat) log p(Ya|X=Riwayat) -p(Tidak|X=Riwayat) log p(Tidak|X=Riwayat)
matematika Tidak
=-0 log 0 – 1 log 1 =0
CS Ya
Sejarah Tidak
H(Y|X=Sejarah) = 0
matematika Ya
11
 Entropi Bersyarat Spesifik H(Y|X=v)
Contoh
Definisi Entropi Bersyarat Spesifik:

H(Y |X=v) =entropi darikamu di antara

x kamu hanya catatan-catatan di mana xmemiliki
nilaiv
matematika Ya
Sejarah Tidak Contoh:
CS Ya
H(Y|X=CS) =-S p(y|X=CS) log p(y|X=CS)
y ?{Ya, Tidak}
matematika Tidak
=-p(Ya|X=CS) log p(Ya|X=CS) -p(Tidak|X=CS) log p(Tidak|X=CS)
matematika Tidak
=-1 log 1 – 0 log 0 =0
CS Ya
Sejarah Tidak
H(Y|X=CS) = 0
matematika Ya
12
 Entropi Bersyarat Spesifik H(Y|X=v)
Contoh
Definisi Entropi Bersyarat Spesifik:

H(Y |X=v) =entropi darikamu di antara

x kamu hanya catatan-catatan di mana xmemiliki
nilaiv
matematika Ya
Sejarah Tidak Contoh:
CS Ya
• H(Y|X=Matematika) = 1
matematika Tidak
• H(Y|X=Sejarah) = 0
matematika Tidak

CS Ya • H(Y|X=CS) = 0
Sejarah Tidak

matematika Ya
13
 Entropi Bersyarat H(Y|X)
Apakah jumlah informasi yang terkandung dalam Y sedemikian rupa sehingga X diberikan?

Contoh
Definisi Entropi
Bersyarat:
x kamu H(Y |X) = Rata-rata entropi
matematika Ya bersyarat spesifik dari Y
Sejarah Tidak

CS Ya = jika Anda memilih catatan secara acak apa yang

matematika Tidak akan menjadi entropi bersyarat dari Y,
matematika Tidak
dikondisikan pada nilai baris itu dari X
CS Ya = Jumlah bit yang diharapkan untuk
Sejarah Tidak mentransmisikan Y jika kedua sisi mengetahui nilai X
matematika Ya
= SJProb(X=vJ) H(Y | X = vJ) 14
 Entropi Bersyarat
Definisi Entropi Bersyarat:
Contoh
H(Y|X) = Entropi bersyarat rata-
rata dari Y
= SJProb(X=vJ) H(Y | X = vJ)
x kamu
matematika Ya Contoh:
Sejarah Tidak
vJ Prob(X=vJ) H(Y | X = vJ)
CS Ya
matematika Tidak
matematika 0,5 1
matematika Tidak Sejarah 0,25 0
CS Ya CS 0,25 0
Sejarah Tidak

H(Y|X) = 0,5 * 1 + 0,25 * 0 + 0,25 * 0 = 0,5

matematika Ya
15
Entropi Bersama

16
 Entropi Bersama
Apakah jumlah informasi yang terkandung dalam kedua peristiwa X dan Y

H(X, Y) = -S p(x,y) log p(x,y)

X,Y

17
 Entropi Bersama
Aturan Rantai

Hubungan antara entropi bersyarat dan bersama

H(X,Y) = H(X) + H(Y|X)

Bukti:

H(X, Y) =ΣP(x, y) log2P(x, y) =ΣP(x, y) log2P(x)P(y | x)

X,Y X,Y
=P(x)Σ P(y | x) log2P(x)ΣP(x, y) log2P(y | x) = H(X) + H(Y | X)
x kamu X,Y

H(X | Y) =ΣP(x, y) log2P(x | y)

X,Y

18
 Entropi Bersama
Apakah jumlah informasi yang terkandung dalam kedua peristiwa X dan Y

H(X,Y) = H(X) + H(Y|X)

Juga H(X,Y) = H(Y) + H(X|Y)

• Intuisi: pertama-tama jelaskan Y dan kemudian X diberikan Y

• Dari ini: H(X) – H(X|Y) = H(Y) – H(Y|X)

19
 Entropi Bersama
Contoh
H(X,Y) = H(X) + H(Y|X)

x kamu vJ Prob(X=vJ) H(Y | X = vJ)

matematika Ya matematika 0,5 1
Sejarah
0,25 0
Tidak
Sejarah
CS Ya
matematika Tidak CS 0,25 0
Tidak
H(X)=1.5
matematika

CS Ya
Sejarah Tidak
H(Y)=1

matematika Ya H(Y|X) = 0,5

H(X,Y) = H(X) + H(Y|X)=1,5+0,5=2

20
 Entropi Bersama

Komentar

H(X,Y) = H(X) + H(Y|X)

= H(Y) + H(X|Y)

H(X,Y,Z) = H(X) + H(Y|X) + H(Z|XY)

≤.H(X) + H(Y) + H(Z)

21