Shannon Capacity

Block diagram of a DCS

Sumber Source Channel Pulse Bandpass
Informasi encode encode modulate modulate

Digital modulation

Channel
Digital demodulation

Tujuan Source Channel Demod.

Detect Sample
Informasi decode decode

Teori Informasi menjawab 2 pertanyaan fundamental di dalam teori

komunikasi, yaitu:
• Berapa besar kompresi data/kompresi sumber informasi dapat
dilakukan, jawabannya adalah entropy H
• Berapa besar kecepatan transmisi suatu komunikasi, jawabannya
adalah kapasitas kanal C
Modul 8 - Siskom 2 - Teori
2
Informasi
 Channel Capacity
• In electrical engineering, computer science and
information theory,
• Channel Capacity is the tight upper bound on the
rate at which information can be reliably
transmitted over a communications channel.
• By the noisy-channel coding theorem, the
channel capacity of a given channel is the limiting
information rate (in units of information per unit
time) that can be achieved with arbitrarily small
error probability.[1][2]
 Channel Capacity
• Formal definition

• Let and be the random variables representing the input and

output of the channel, respectively. Let be the conditional
distribution function of given , which is an inherent fixed
property of the communications channel. Then the choice of
the marginal distribution completely determines the joint
distribution due to the identity which, in turn, induces a
mutual information . The channel capacity is defined as

where the supremum is taken over all possible choices of .

 Introduction
• Pada thn 1940-an ada pendapat bahwa menaikkan rate
transmisi melalui kanal komunikasi akan menaikkan
“probability of error’.
• Shannon membuktikan bahwa pendapat di atas tidak
benar selama rate transmisi lebih rendah dari kapasitas
kanal. Kapasitas dapat dihitung dari derau di kanal.
• Shannon juga berpendapat bahwa proses acak (speech,
music) mempunyai nilai kompleksitas yang tidak dapat
diperkecil, nilai tersebut adalah batas kompresi sinyal,
yang diberi nama “entropy”.
• Bila entropy sumber informasi lebih kecil dari kapasitas
kanal, maka komunikasi bebas error secara asimtotis
www-gap.dcs.st-and.ac.uk/~history/
bisa dicapai. Mathematicians/Shannon.html

Ada 2 ekstrem : entropy       kapasitas kanal

Semua cara-cara modulasi dan kompresi data terletak diantara dua ekstrem tersebut

Modul 8 - Siskom 2 - Teori

5
Informasi
 TEOREMA SOURCE CODING
L  H (S
• Teorema Source Coding menyatakan bahwa
) untuk DMS dari S dengan
entropy H(S), maka panjang codeword rata-rata dibatasi oleh:
H(S)

L
• Apabila Lmin = H(S), maka:

• Secara umum: L  Lmin dan   1

• Suatu Source Coding dikatakan optimal jika panjang kode minimal
(memiliki Lmin)

Kraft In-Equality (ketidaksamaan Kraft)

Jika S adalah DMS dengan alphabet S={s1, s2,.., sq} dan masing-masing
q
codeword yang dihasilkan adalah ni ni, maka berlaku :
2
i 1
1
Modul 8 - Siskom 2 - Teori
6
Informasi
 Property of Mutual Information:

J 1 K 1  
H  X , Y 
3) if the joint entropy H (
 X , p ( x ,
Y ) is defined
j y k ) log 
by2 
1 

j 0 k 0  p( x j , y k 

I  X ;Y   H  X   H Y   H  X , Y 
so:
H(X , Y)

H(X|Y) H(Y)

H(X) I(Y|X)
I(X ; Y)

Modul 8 - Siskom 2 - Teori

Channel 이 좋은
Informasi 경우 7
Channel 이 나쁜 경우
 Property of Mutual Information:

Good Channel Bad Channel

H(X) H(Y)

H(X) H(Y)

No error Worst channel

H(X)

H(X) H(X) H(Y)

Modul 8 - Siskom 2 - Teori

8
Informasi
 KAPASITAS KANAL
C  max I ( X;Y ) [ bits /channel]
• p ( xMemoryless
Kapasitas kanal dari Discrete j ) Channel didefinisikan:

• Jadi Kapasitas Kanal adalah mencari mutual information maksimum untuk

semua Probabilitas simbolJ input
1 yang mungkin
i )  1setiap j
p(xj) p(0,xuntuk
i

1-p Y0=0
X0=0
• Contoh kasus BSC Binary Simetric Channel:
p
p
X1=1 Y1=1
1-p
Modul 8 - Siskom 2 - Teori
9
Informasi
 Information Capacity Theorem
( Shannon’s 3 rd theorem )
• Teori kapasitas informasi Shannon pada kanal AWGN adalah membahas teori
kapasitas informasi pada kanal “Additive Band Limited White Gausian Noise”
dengan zero mean dan variansi 2.
• Kapasitas pada kanal AWGN:
 P  X Y
C  B log 2 1   bps
 N0 B  N AWGN

• Formula tersebut didapat dari: C  max I ( X;Y )

 p ( x j )
• Dimana:
– C = kapasitas (bps)
– B = bandwidth kanal (Hz)
– P S
No = PSD AWGN (W/Hz)

– N = No.B = Noise Power (W) N0B N
– P = average transmitted power (W)
Modul 8 - Siskom 2 - Teori
10
Informasi
  avg
ideal power: bit
system  Eb CRb = C
P rate

C  Eb C 

 log 2 1  
B  N0 B 
Eb 2 C B  1

N0 C B

Modul 8 - Siskom 2 - Teori

11
Informasi
 Information Capacity
• <observation>
• Eb/No = energi per bit to noise power spectral density ratioShannon limit
 Eb   Eb  2C B  1
   lim    lim  ln 2  0.693  1.6dB
  
 N0  B
 N0  B C B
 P  P
C  lim C  lim B log 2 1    log 2 e
B  B 
 N0 B  N0
• capacity boundary : Rb= C
– Rb <C error – free TX is possible
– Rb > C error –free TX is not possible

Modul 8 - Siskom 2 - Teori

12
Informasi
 Information Capacity
 horizontal line : for fixed R / B , P
trade off
b e E b / N0

trade off
vertical line : for fixed Eb /N0 , Pe Rb /B

 error rate diagram of ideal system

Modul 8 - Siskom 2 - Teori

13
Informasi
 M-ary PSK
Lihat pula figure 9.17 Buku Simon Haykin 4th Edt: Pe vs Rb/B, pd Pe =10-5

Note!
• M = 2k

PE Rb
Rb log 2 M M   but Eb N 0 

B 2 B

Eb / N 0 dB
Modul 8 - Siskom 2 - Teori
14
Informasi
 M-ary FSK
Lihat pula figure 9.17 Buku Simon Haykin 4th Edt: Pe vs Rb/B, pd Pe =10-5

Note!
• M = 2k

PE
Rb 2 log 2 M Rb
 M   & Eb / N0 
B M B

Eb / N 0 dB
Modul 8 - Siskom 2 - Teori
15
Informasi
Modul 8 - Siskom 2 - Teori
16
Informasi