TEORI INFORMASI

Sumber Informasi Source Encoder Channel Encoder

Entropy dari sumber memoryless binary

Modulator

Channel

Tujuan Informasi

Source Decoder

Channel Decoder

Demodulator

Sumber Informasi Source Encoder Channel Encoder Modulator Demodulator Channel Decoder Source Decoder

: pengirim : perubahan bentuk dan kompresi : penyisipan bit untuk koreksi : penumpahan info ke carrier : pemisahan info dengan carrier : pengecekan bit untuk korektor : membentuk sinyal kembali dan dekompresi Panjang code word rata-rata dibatasi oleh : Panjang Code Word rata-rata ( )

L H(S)

Tujuan Informasi

: penerima

Efesiensi
( )

Kandungan Informasi ( ) ( )

*Lmin = L minimum yang mungkin muncul Secara umum L Lmin dan

Satuan dari kandungan informasi adalah bits.

Sifat dari kandungan Informasi : I(s) 0 I(S1S2) = I(S1) + I(S2) I(S) fungsi kontinu dari probabilitas S I(S) = 0 maka P(Si) = 1 I(S1) > I(S2) maka P(S1) < P(S2) Entropy Adalah parameter yang menyatakan kandungan Kraft In-Equality Jika S adalah DMS dengan alphabet S = {S1,S2,..,Sq} dan masing-masing codeword yang dihasilkan adalah ni maka berlaku :

informasi rata-rata per simbol. ( )

Teorema Bayes ( | ) ( ) ( | ) ( )

Join Probablitiy Distribution ( ) [ [ [ | ] , ] ] [ ]

Mutual Information ( ) ( ) ( | )

Dimana ( | ) ( | ) ( )

Prosedur Shannon Fano Coding Urutkan sumber simbol berdasarkan probabilitas dari yag terbesar ke yang terkecil Bagi sumber simbol menjadi 2 set dimana masing-masing set mempunyai probablitas yang hampir sama . beri tanda bit 0 untuk set yang lebih tinggidan bit 1 untuk set yang lebih rendah. Ulangi proses diatas sampai tidak mungkin sumber simbol dibagi lagi [ ]

( | )

( )

( | ) ]

( | )

( | )

Sifat Mutual Informasi ( ( ) ) ( | )

Prosedur Huffman-Coding Urutkan simbol berdasarkan probabilitas dari terbesar ke terkecil. Jumlahkan probabilitas 2 buah simbol dari probabilitas terkecil dan urutkan kembali probabilitasnya mulai yang terbesar. Beri tanda 0 untuk probabilitas yang lebih besar dan tanda bit 1untukprobabilitas yang lebih kecil Ulangi langkah diatas sampai jumlah probabilitasnya = 1

Kapasitas Kanal Binary Simetric { ( { ( )* ( ) ( ( ) * } )+ ) { } )}

Grafik P terhadap C pada BSC