BAB VI TEORI INFORMASI

Teori tentang sinyal dalam sistem komunikasi lebih menekankan pada proses
pengolahan yang diberikan pada sinyal. Teori ini sangat berguna dalam melakukan
analisis sinyal, tapi tidak memberikan suatu spesifikasi yang jelas tentang apa yang
dimaksud dengan informasi. Dalam bab ini akan dijelaskan tentang bagaimana mengukur
informasi dan apa kaitannya dengan bandwidth dan S/N ( signal to noise ratio).
Untuk mendapatkan sudut pandang yang lebih luas dalam teori komunikasi,
Claude Shannon melakukan suatu pendekatan radikal yang disebutnya sebagai A
Mathematical Theory of Communication . Idenya adalah : diberikan suatu sumber pesan,
bagaimana pesan tersebut sebaiknya disajikan untuk mendapatkan sistem transmisi yang
handal melalui suatu kanal komunikasi yang mempunyai batasan-batasan phisik ? Untuk
menjawab pertanyaan ini, Shannon lebih berkonsentrasi terhadap informasi dari pesan
dibandingkan terhadap sinyalnya. Pendekatan ini kemudian dikenal sebagai Teori
Informasi. Teori informasi menangani 3 konsep dasar, yaitu ukuran sumber informasi,
kapasitas informasi dari suatu kanal dan coding, yang dikaitkan dalam suatu pernyataan :
Jika kecepatan informasi suatu sumber tidak melebihi kapasitas
kanal komunikasi, maka ada suatu teknik pengkodean sedemikian
rupa sehingga informasi bisa dikirim melalui kanal dengan error
yang sangat kecil, walaupun dengan kehadiran noise.
Proses coding umumnya melibatkan dua operasi encoding/decoding yang berbeda, seperti
ditunjukkan gambar 1.

sumber

Kanal + noise
Source
encoder

Channel
encoder

Source
decoder

Channel
decoder

tujuan

Gambar 6.1 Sistem komunikasi dengan coding

Source encoder menyesuaikan sumber dengan suatu kanal ekivalen yang bebas
noise, dengan asumsi kecepatan sumber informasi tidak melebihi kapasitas kanal. Dalam

sistem komunikasi digital, pesan yang dikeluarkan oleh sumber umumnya dikonversikan
menjadi suatu bentuk lain yang lebih efisien. Proses tersebut dilakukan dalam source
encoder, dimana informasi dari sumber dikonversikan menjadi deretan digit biner yang
efisien dengan jumlah digit biner yang digunakan dibuat se-sedikit mungkin.
Kanal yang digunakan pada dasarnya adalah kanal gelombang kontinyu (kanal
analog). Kanal ini tidak bisa secara langsung mentransmisikan deretan digit biner dari
sumber. Untuk itu diperlukan perangkat untuk mengkonversikan informasi digital
menjadi informasi dalam bentuk gelombang yang sesuai dengan karakteristik kanal yang
dipergunakan. Perangkat seperti ini disebut modulator, yang merupakan bagian dari
pengkodean kanal.
Secara umum, tidak ada kanal yang ideal. Semua kanal bisa mempunyai
karakteristik respon frekuensi yang tidak ideal. Dan lagi, adanya noise dan interferensi
akan merusak sinyal informasi. Contohnya adalah thermal noise dalam perangkat
komunikasi dan crosstalk (interferensi) dari kanal yang berdekatan. Gangguan-gangguan
ini akan mengakibatkan kesalahan (error) dalam penerimaan sinyal.
Fungsi kedua dari pengkodean kanal adalah untuk meningkatkan kehandalan
transmisi dalam kehadiran noise dan interferensi. Fungsi ini dilakukan dengan
memberikan bit-bit tambahan (redundancy) dalam deretan digit biner sinyal informasi
untuk menanggulangi efek merusak yang disebabkan oleh noise dan interferensi.
Misalnya adalah penggunaan kode pengulang ( repetition), dimana suatu digit biner
diulang sebanyak m kali. Untuk m = 3, maka digit 1010 akan menjadi 111000111000.
Metode yang lebih baik dilakukan dengan mengkodekan deretan k buah bit
menjadi n-bit yang disebut codeword, dengan fungsi 1-1, dimana n-bit codeword
bersesuaian dengan hanya satu k-bit informasi. Fungsi-fungsi seperti ini disebut error
control coding dengan tujuan supaya penerima bisa mengontrol jika ada kesalahan dalam
penerimaan informasi.
Bit-bit tambahan yang diberikan akan memperbesar bandwidth dengan rasio n/k.
Kebalikan dari rasio ini, k/n, disebut dengan kecepatan kode (code rate).

6.1 Ukuran Informasi

Kandungan informasi dari suatu kejadian terkait dengan probabilitas kejadiannya.
Suatu pesan dengan probabilitas kejadian tinggi mempunyai informasi yang sedikit.
Sebaliknya pesan dengan probabilitas rendah mempunyai informasi yang lebih besar.
Suatu sumber informasi yang mengirimkan satu dari sejumlah q pesan yang mungkin :
m1, m2, m3, ...., mq dengan probabilitas kemunculan : p1, p2, p3, ...., pq mempunyai
probabilitas total p1 + p2 + p3 + ....+ pq = 1. Jumlah informasi yang terkandung dalam
pesan ke-i yang dilambangkan dengan Ii akan berbanding terbalik dengan
probabilitasnya. I akan mendekati 0 jika p mendekati 1 dan I tidak boleh bernilai negatif
karena setiap pesan mengandung informasi.
Formulasi matematisnya dinyatakan sbb :
IA 0

untuk 0 PA 1

(6.1a)

IA 0

untuk PA 1

(6.1b)

IA IB

untuk PA PB

(6.1c)

Untuk sumber yang mengeluarkan dua pesan berurutan yang independent : xA dan xB
dengan probabilitas bersama P(xA xB) = PAPB , maka :
IAB = log b

1
1
1
= log b
+ log b
PA PB
PA
PB

= IA + IB

.(6.2)

Shannon mendefinisikan ukuran informasi dari suatu pesan A dengan probabilitas

kejadian PA yang memenuhi persamaan (6.1 6.2) adalah suatu fungsi logaritmik :
IA = - log b PA = log b

1
PA

Dimana I disebut self-information dan b adalah basis logaritma.

Basis logritma yang dipergunakan menentukan satuan informasi. Basis logaritma
bilangan natural (e) menghasilkan informasi dengan satuan nat, basis 10 mempunyai
satuan decit dan basis 2 mempunyai satuan bit. Standar konvensi untuk teori informasi

menggunakan b = 21. Untuk membedakan dengan bit dalam kode pesan (seperti dalam
PCM), maka untuk menyatakan kode pesan binary digit disingkat binit.
Contoh soal 6.1

Empat buah simbol A, B, C dan D terjadi dengan probabilitas , , 1/8 , 1/8.

Semua simbol adalah statiscally independent. Hitung informasi dalam pesan
tiga simbol X = BCA.
Jawab :

Karena antar simbol tidak saling tergantung (statiscally independent), ukuran

informasi menjadi additive :
Ix = log 2 4 + log 2 8 + log 2 2
=2+3+1
= 6 bits
6.2 Entropy dan Kecepatan Informasi
Tinjau suatu sumber informasi yang mengeluarkan sederetan simbol yang berasal
dari M simbol yang berbeda, yang dinyatakan dengan x1, x2, ,xM. Masing-masing
simbol mempunyai probabilitas Pi dan self information Ii. Keseluruhan probabilitas
simbol harus memenuhi :
M

i =1

Pi = 1

Asumsi yang diberikan adalah bahwa sumber stationary dan simbol-simbol

bersifat statistically independent. Sumber mengeluarkan simbol dengan kecepatan r
simbol/detik. Properti seperti ini didefinisikan sebagai discrete memoryless source.
Nilai kandungan informasi per simbol diberikan oleh rata-rata statistik :
M

H = Pi I i =
i =1

i =1

Pi log

1
Pi

(bit/simbol)

yang disebut entropy sumber. Jadi, untuk suatu deretan simbol yang panjang, rata-rata
kandungan informasi tiap simbol adalah H bit, tanpa harus tahu seperti apa deretan
simbol tersebut. Jika sumber mengeluarkan n >> 1 simbol, total informasi yang dikirim
adalah nH bits. Karena sumber mengeluarkan sejumlah r simbol perdetik, maka durasi

log2 v = ln v/ln 2 = log 10 v//log 10 2

waktu dari deretan simbol ini adalah n/r. Jadi, informasi harus dikirim dengan kecepatan
rata-rata :
R=

nH
total bit
=
= rH
total waktu (n / r )

(bit/detik)

Dimana R adalah kecepatan transmisi informasi.

Shannon menegaskan bahwa informasi dari suatu sumber diskrit tanpa memori bisa
dikodekan dalam digit biner dan ditransmisikan melalui kanal bebas noise dengan
kecepatan :
rb R

(binit/detik)

Contoh soal 6.2.

Tentukan dan buatkan grafik entropy dari kode biner dengan probabilitas
kejadian dari dua simbol adalah p dan q = 1 - p.
Jawab :
M

1
Pi
i =1
= p log 2(1/p) + (1 p ) log 2 [1/(1-p)]

H=

Pi log 2

Grafik H vs p ditunjukkan pada gambar 6.2. Maksimum entropy adalah satu

bit/simbol, terjadi pada p = q = (equiprobable)
H bits
1

Gambar 6.2 Entropi vs p

6.3 Kanal Komunikasi

Elemen sistem komunikasi (digital biner) bisa dibagi dalam tiga bagian utama,
yaitu pemancar, penerima, dan kanal phisik. Istilah kanal komunikasi mempunyai
pengertian dan karakteristik yang berbeda, tergantung dari terminasi dan fungsinya,
seperti ditunjukkan pada gambar 6.2.

Kanal phisik

Pemancar

Penerima

noise
Channel
encoder
A

media
transmisi

modulator
B

Channel
decoder

demodulator
E

Kanal kontinyu (analog)

Kanal coding (diskrit)
Kanal komunikasi data (diskrit)
Gambar 6.3 Karakteristik kanal komunikasi biner

Antara titik E-F pada gambar disebut dengan kanal koding, yang merupakan
kanal diskrit. Dalam kanal diskrit, sinyal yang ditransmisikan didalamnya adalah sinyal
diskrit. Kanal koding menerima sederetan simbol pada inputnya dan juga menghasilkan
sederetan simbol pada outputnya.
6.3.1 Kanal Kontinyu
Kanal antara titik C-E menyediakan hubungan elektrik antara pemancar dan
penerima, dimana input dan outputnya adalah berupa gelombang listrik analog. Bagian
dari kanal ini disebut juga kanal modulasi. Contoh dari kanal ini adalah sistem telephoni
(voice band), dan sistem radio frekuensi tinggi. Sinyal yang ditransmisikan melalui kanal
ini mendapatkan beberapa gangguan yang disebabkan oleh karakteristik kanal yang tidak
linear. Kanal juga memberikan redaman yang melemahkan amplitudo sinyal. Selain itu,
adanya noise juga menimbulkan kerusakan pada sinyal. Semua pengaruh tersebut
mengakibatkan munculnya perbedaan antara sinyal yang dikirim dan yang diterima,
sehingga cenderung menimbulkan kesalahan dalam transmisi data.
Kapasitas Kanal Kontinyu
Transfer informasi dalam kanal kontinyu adalah berbentuk gelombang
elektromagnetik. Sumber mengeluarkan sinyal x(t), yang pada saat ditransmisikan

terkena noise, dan diterima sebagai r(t) pada penerima. Shannon menyatakan bahwa
transmisi informasi tanpa error pada kanal komunikasi ber-noise bisa diperoleh selama
kecepatan informasi R C ; dimana C adalah kapasitas kanal.
Model kanal kontinyu yang paling umum dikenal adalah kanal AWGN (additive
white2 gaussian noise), yang didefinisikan mempunyai sifat sbb :
1. Kanal menyediakan tansmisi bebas error dalam bandwidth B, dengan
memberikan penguat untuk menangani rugi-rugi transmisi.
2. Kanal membatasi input dari sumber sebagai sinyal pita terbatas x(t) dengan
daya rata-rata S.
3. Sinyal yang diterima pada tujuan terkontaminasi oleh penjumlahan dengan
white gaussian noise n(t) dengan bandwidth B, dan daya noise N = B.

adalah kerapatan spektral daya noise.

4. Sinyal dan noise bersifat independent, sehingga r(t) = x(t) + n(t) dan
r 2(t) = x2 (t) + n2 (t) = S + N

Pemodelan kanal AWGN ditunjukkan pada gambar berikut :

noise n(t)

sinyal s(t)

sinyal terima r (t)

Gambar 6.4 Kanal AWGN

Kapasitas kanal bisa dirumuskan sbb:

C = B log 2 ( 1 + S/N)

bps

Persamaan tersebut dikenal sebagai Hukum Shannon-Hartley. Persamaan ini memberikan

batas atas untuk transmisi informasi dalam kanal AWGN pita terbatas, yaitu :
R B log 2 ( 1 + S/N)

bps

white noise adalah noise dengan kerapatan spektral daya merata pada semua komponen frekuensi

Contoh soal 6.3.

Hitung kapasitas suatu kanal dengan bandwidth 3000 Hz dan S/N = 1000 pada
output kanal. Asumsikan bahwa noise kanal adalah gaussian dan white.
Jawab :

Kapasitas kanal diberikan dengan persamaan :

C = B log 2 ( 1 + S/N)
= 3000*log 2 ( 1 + 1000)
= 29.901 bit/detik.

6.3.2 Kanal Diskrit

Kanal komunikasi antara titik E-F mempunyai sifat diskrit. Input dan output dari
kanal ini adalah deretan simbol yang berasal dari sekumpulan M simbol. Kanal yang
didisain untuk mengirim dan menerima satu dari M buah simbol yang tersedia disebut
kanal M-ary. Karena adanya error yang ditimbulkan pada kanal, simbol output bisa
berbeda dengan simbol inputnya. Error terutama disebabkan oleh noise pada bagian
kanal kontinyu.
Kanal diskrit dimodelkan dengan probabilitas yang dinotasikan sbb :
P(xi) adalah probabilitas bahwa input kanal adalah simbol ke-i
P(yi) adalah probabilitas bahwa output kanal adalah simbol ke-i
P(yixj) adalah probabilitas bersyarat bahwa output adalah simbol ke-i dengan
input kanal adalah simbol ke-j
P(xiyj) adalah probabilitas bersyarat bahwa input adalah simbol ke-i dengan
output kanal adalah simbol ke-j

Kanal diasumsikan time-invariant dan memoryless. Pemodelan kanal dengan M=2

ditunjukkan pada gambar 3.
Input kanal adalah suatu nilai biner yang merupakan suatu variabel acak diskrit
X. Output kanal juga merupakan suatu variabel acak diskrit biner Y. Nilai dari kedua
variabel acak tersebut digambarkan dengan dua buah titik yang bernilai 1 dan 0. Empat
buah lintasan menghubungkan input dan output. Lintasan mendatar P(y0x0) dan P(y1x1)

menyatakan bahwa simbol yang dikirim diterima dengan benar, sedangkan lintasan
diagonal P(y1x0) dan P(y0x1) menyatakan simbol diterima salah.

P(y1x1)
1

P(y0x1)

Y
P(y1x0)
0

0
P(y0x0)

Gambar 6.5 Model kanal diskrit biner

Error terjadi secara acak, tapi bisa dimodelkan secara statistik dengan
memberikan nilai probabilitas pada masing-masing lintasan. Probabilitas terjadinya
kesalahan adalah :
P(error) = Pe = P(XY)
= P(y1x0) P(x0) + P(y0x1) P(x1)
Jika P(y0x0) = P(y1x1) = p, maka kanal seperti ini disebut dengan binary symmetric
channel.

6.4 Soal-soal
1.

2.
3.

4.

Suatu kartu remi diambil secara acak dari satu deck (52 buah) kartu.
a. Hitung informasi dalam bit yang diterima jika dikatakan bahwa kartu tersebut
adalah diamond ; angka diamond ; as.
b. Jika dikatakan bahwa kartu tersebut adalah kartu wajah ( J,Q atau K) merah,
berapa banyak informasi yang diperlukan untuk mengidentifikasi kartu tersebut ?
Hitung jumlah informasi yang diperlukan untuk membuka suatu kunci dengan
kombinasi 3 integer, masing-masing bernilai dari 00 sampai 99.
Hitung entropi suatu sumber yang mempunyai 6 simbol dengan probabilitas masingmasing simbol adalah :
PA = ; PB = ; PC = 1/8 ; PD = PD = 1/20 ; PF = 1/40
Hitung jumlah informasi yang dikandung oleh simbol ABBDAD dan bandingkan
dengan jumlah informasi yang diharapkan dari pesan 6 buah simbol.
Suatu sumber mempunyai 8 simbol dan mengeluarkan data dalam blok 3 simbol
dengan kecepatan 1000 blok perdetik. Simbol pertama dari tiap blok selalu sama,

5.

6.
7.
8.
9.
10.

digunakan untuk sinkronisasi. Dua simbol berikutnya adalah data yang diambil dari 8
simbol yang tersedia dengan probabilitas sama. Hitung kecepatan informasi sumber.
Suatu sumber telegraph yang mempunyai 2 buah simbol, dot dan dash. Dot
mempunyai durasi 100 ms. Dash dua kali lebih panjang dengan probabilitas setengah
probabilitas dot.
a. Berapa kandungan informasi dalam satu dot dan dalam satu dash ?
b. Hitung kecepatan informasi ?
c. Hitung entropy kode tersebut
Suatu sumber dengan M=3. Hitung dan sket entropi H(X) sebagai fungsi p dengan p1
= 1/3 dan p2 = p.
Suatu kanal AWGN dengan S/ = 104. Hitung kecepatan informasi maksimum
dengan bandwidth 1 KHz dan 100 KHz.
Suatu kanal AWGN dengan B = 3 KHz. Tentukan nilai S/N minimum untuk sistem
komunikasi yang reliable dengan R = 2400, 4800, dan 9600 bps.
Suatu kanal AWGN dengan B = 1 KHz dan = 1W/Hz. Hitung nilai minimal S
untuk R = 1000 dan 10.000 bps.
Akan ditransmisikan suatu citra digital cx berukuran 200 x 300 piksel, dengan 16
level kecerahan (brightness). Transmisi dilakukan menggunakan sistem radio
microwave daya pancar ST = 10 W pada frekuensi 2 GHz. Jarak antara pemancar dan
penerima adalah 10 x 108 km. Gain antena pemancar GT = 20 dB dan gain antena
penerima GR = 50 dB. Kerapatan noise adalah = 8 x 10-22 W/Hz. Hitung waktu
yang diperlukan untuk mengirim citra tersebut. Asumsikan bahwa B/R >10.