CHAPTER II

INFORMATION THEORY

A. Hamdani
 Sekilas tentang Informasi
What is Information?
Informasi

Informasi adalah hasil dari

pengolahan data
Informasi adalah data/fakta yang
sudah diolah menjadi suatu bentuk
yang berarti bagi penggunakan dan
bermanfaat bagi pengambilan
keputusan saat ini atau mendatang
 Dasar Sistem Komunikasi
Basic Communication System
Early Communication System

Early Communication System Before 1948

 Telegraph (Morse, 1830-an)
 Telephone (Bell, 1876)
 Wireless Telegraph (Marconi, 1887)
 AM Radio (awal 1900-an)
 Single-Sideband Modulation (Carson, 1922)
 Television (1925 – 1927)
 Teletype (1931)
 Frequency Modulation (Amstrong, 1936)
 Pulse-Code Modulation (PCM) (Reeves, 1937 – 1939)
 Vocoder (Dudley, 1939)
 Spread Spectrum (1940-an)
 Teori Informasi
Information Theory
 Pada tahun 1948, Claude Shannon meletakkan
asas Teori Informasi dalam sebuah paper “Teori
Matematika Komunikasi” yang diterbitkan pada
jurnal Bell System Technical Journal. Teori
tersebut menjadi dasar dari seluruh
pengembangan telekomunikasi dalam kurun
waktu lima dekade terakhir.
 Teori Informasi merupakan cabang penerapan
matematika, teknik elektro, ilmu komputer, dsb.
Teori Informasi Shannon

 Secara umum, Teori Informasi Shannon

(Teori Matematis) ini memandang bahwa
komunikasi sebagai fenomena mekanistis,
matematis dan informatif, yaitu
 Komunikasi sebagai transmisi pesan, dan
bagaimana transmiter dapat
menggunakan kanal/saluran sebagai
media komunikasi.
Pemahaman yang baik terhadap
konsep ini merupakan keharusan
bagi setiap SDM Telekomunikasi
pemula.
Buku tersebut mempelajari
kontribusi Shannon untuk bidang
komunikasi modern (Era Informasi)
Syarat Sistem Komunikasi

Dalam setiap sistem komunikasi

 Sumber Informasi yang menghasilkan
Informasi dalam berbagai bentuk.
 Dan sebuah wadah infomasi/tujuan
(Information Sink) yang menyerap informasi.
 Media komunikasi menghubungkan antara
“Sumber” dengan “Tujuan”.
 Maksud dari sistem komunikasi adalah untuk
mengirimkan informasi dari “sumber“ ke
“tujuan” tanpa terjadi kesalahan.
 Namun media komunikasi akan selalu terjadi
beberapa error karena adanya Noise/Derau.
Persyaratan paling mendasar dari sistem
komunikasi adalah mengirimkan informasi
tanpa adanya kesalahan meskipun pada
kenyataanya terjadi NOISE di media
komunikasi.
Konsep Umum Sistem Komunikasi

 Sumber Informasi memproduksi simbol-simbol berupa

karakter/huruf/teks, pidato, video, dsb yang dikirimkan
melalui transmisi media oleh Transmitter (TX).
 Media komunikasi memperkenalkan noise dan
beberapa kesalahan terjadi pada saat pengiriman data.
 Pada sisi penerimaan akhir, Receiver (RX) melakukan
dekode data dan melanjutkannya ke tujuan informasi
(wadah)
 Pada slide berikutnya merupakan diagram blok dari
sistem komunikasi pada umumnya.
Konsep Umum Sistem
Komunikasi

Information Source : Sumber Informasi, yang memproduksi simbol (teks, video,

audio, pidato, gambar, dsb).
Transmitter: Mengirim Sinyal
Channel: Kanal sebagai media transmisi dapat menghasilkan noise, jadi error dapat
terjadi pada saat data di transmisikan.
Receiver: Menerima Sinyal kemudian dilanjutkan ke Tujuan yang akan menyerap
informasi.
 Information Source memproduksi dua
simbol A dan B,
 Transmitter kemudian mengkodekan simbol
tersebut menjadi aliran bit (bit stream).
 A = 1, B =0.
 Aliran bit yang dikirimkan melalui media.
 Sebagai ilustrasi, Noise dapat saja
menyebabkan 1 menjadi 0 atau sebaliknya
ditempat yang acak.
Simbol Asli B B A A B A B B

Aliran Bit Sumber/Dikirim 0 0 1 1 0 1 0 0

Aliran Bit Diterima 0 0 1 1 1 1 0 0

 Pada penerima, satu bit diterima dalam kesalahan.

Bagaimana untuk memastikan bahwa data yang
diterima dibuat bebas dari kesalahan?
 Shannon menjawabnya dalam Sistem komunikasi
yang disarankan
Sistem Komunikasi Shannon (Digital)

 Sistem Komunikasi yang diajukan oleh Shannon

TX

RX
Dalam sistem komunikasi digital, karena efek
dari noise/derau, terjadi kesalahan.
Akibatnya, 1 dapat menjadi 0 dan 0
mungkin menjadi 1.
Pada diagram tersebut terdapat
dua macam jenis pengkodean
 Source Encoder/Decoder
 Channel Encoder/Decoder
 Simbol-simbol kemudian dimodulasikan dan
dikirim melalui medium.
 Pada sisi penerima, sinyal termodulasi di
demodulasi, dan dilakukan operasi kebalikan
dari Channel Encoding dan Source encoding
(channel decoding dan sumber decoding).
 Maka informasi yang disajikan untuk Tujuan
(Information Sink). Setiap blok dijelaskan di
bawah ini.
Seperti yang diusulkan oleh Shannon, sistem
komunikasi terdiri dari Enkoder Sumber,
Enkoder Saluran encoder dan modulator
pada akhir transmisi, dan demodulator,
Dekoder Saluran dan Dekoder sumber pada
akhir penerima.
Information Source

Sumber informasi:
 Sumber informasi menghasilkan simbol.
Jika sumber informasi, misalnya,
mikrofon, sinyal dalam bentuk analog.
Jika sumber adalah komputer, sinyal
dalam bentuk digital (1 set simbol).
Source Encoder

 Source Encoder/Decoder
 Mengkonversi sinyal yang diproduksi oleh sumber
menjadi aliran data.
 Jika sinyal input berupa analog, maka dapat
dikonversi oleh ADC
 Jika sinya input berupa aliran simbol (digital),
maka dapat dikonversikan menjadi alirat bit 1 dan
0 melalui mekanisme tertentu
Source Encoder

 Enkoder Sumber mengubah sinyal yang

dihasilkan oleh sumber informasi ke dalam
aliran data.
 Jika sinyal input analog, dapat dikonversi ke
dalam bentuk digital menggunakan converter
ADC.
 Jika input ke encoder sumber merupakan aliran
simbol, dapat dikonversi ke dalam aliran bit (bit
stream) 1 dan 0 menggunakan beberapa jenis
mekanisme pengkodean.
 Misalnya, jika sumber menghasilkan simbol A
dan B, A dapat dikodekan sebagai 1 dan B
sebagai 0.
 Sumber Teorema pengkodean Shannon
memberitahu kita bagaimana melakukan
coding ini secara efisien.
Source Encoding

 Dilakukan untuk mengurangi penumpukan

sinyal (redundancy)
 Terdapat 2 teknik encoding:
 Losseless Encoding (Tidak Berkurang/Hilang)
▪ ZIP, GZ, RAR dsb
 Lossy Encoding (Berkurang)
▪ JPEG, GIF, MKV, dsb
 Pengkodean Sumber dilakukan untuk
mengurangi redundansi dalam sinyal.

Teknik Pengkodean Sumber dapat dibagi

menjadi teknik pengkodean lossless dan
teknik pengkodean lossy.

Dalam teknik encoding lossy, beberapa

informasi hilang. Contohnya pada kompresi
data jpg, gif, png dsb.
Lossless Source Encoding

 Dalam coding lossless, tidak ada informasi

yang hilang. Ketika kita kompres file
komputer kita menggunakan teknik kompresi
(misalnya, WinZip), tidak ada kehilangan
informasi.
 Teknik coding seperti ini disebut teknik
coding lossless.
Lossy Source Encoding

 Dalam coding lossy, beberapa informasi hilang

saat melakukan coding sumber. Selama
kerugian tidak signifikan, kita bisa mentolerir
hal itu.
 Ketika gambar diubah menjadi format JPEG,
coding adalah pengkodean lossy karena
beberapa informasi hilang.
 Sebagian besar teknik yang digunakan untuk
suara, gambar, dan video coding teknik coding
lossy.
 Catatan
Utilitas kompresi yang kita gunakan untuk
kompres file data menggunakan teknik lossless
encoding.
Kompresi gambar JPEG adalah teknik lossy
karena beberapa informasi hilang.
Channel Encoder

 Jika memecahkan kode informasi dengan

benar, bahkan jika kesalahan terjadi pada
media
 Perlu ditempatkan beberapa bit tambahan
(redundant bits) dalam data sumber yang
telah dikodekan
 sehingga informasi tambahan (redundant
bits) dapat digunakan untuk mendeteksi
dan memperbaiki kesalahan.
Channel Encoder

Proses penambahan bit dilakukan

oleh encoder saluran.
Teorema Channel Coding Shannon
memberitahu kita bagaimana untuk
mencapai hal ini.
Channel Encoder

Dalam Channel encoding, redundansi

diperkenalkan sehingga pada akhir
penerimaan, bit redundant dapat
digunakan untuk mendeteksi
kesalahan atau koreksi kesalahan.
Modulator/Demodulator

Modulator Merupakan proses

transformasi sinyal, sehingga sinyal
dapat ditransimisikan melalui
berbagai media
Demodulator melakukan proses
kebalikan dari Modulator
Channel Decoder

Menganalisa aliran bit yang diterima

dan mendeteksi dan mengoreksi
jika ada kesalahan menggunakan bit
tambahan (redundant bits) hasil dari
Channel Encoder
Channel Decoder melakukan proses
kebalikan dari Encoder
Source Decoder

 Source decoder mengubah aliran bit ke

dalam informasi yang sebenarnya. Jika
konversi Analog ke Digital dilakukan pada
encoder sumber,
 konversi digital ke analog dilakukan pada
decoder sumber. Jika simbol dikodekan ke 1
dan 0 pada encoder sumber, aliran bit diubah
kembali ke simbol oleh decoder sumber.
Information Sink

 Menyerap informasi
Entropi Sumber Informasi
Bagaimana Mengukur Informasi?

Apakah informasi?
Bagaimana kita mengukur
informasi? Ini adalah masalah
mendasar yang dapat dijawab
oleh Shannon.
Kita dapat mengatakan bahwa kami
menerima beberapa informasi jika
ada "penurunan ketidakpastian."
Dengan kata lain factor
ketidakpastian (Uncertainty)
berkurang.
Misalkan sumber informasi yang
menghasilkan dua simbol A dan B.
sumber telah mengirim A, B, B, A,
dan sekarang kami menunggu
simbol berikutnya. Yang simbol itu
akan dihasilkannya?
 Jika menghasilkan A, ketidakpastian yang ada
dalam masa tunggu (waiting period) hilang,
dan kami mengatakan bahwa "informasi"
yang dihasilkan.
 Perhatikan bahwa kita menggunakan istilah
"informasi" dari sudut pandang teori
komunikasi; itu tidak ada yang harus dilakukan
dengan "kegunaan" informasi.
Entropy & Redundancy

 Entropi dan Redunansi merupakan konsep

dasar yang dikemukakan dalam teori
Informasi Shannon ini.
 Kedua konsep ini saling terikat dan saling
berpengaruh seperti hukum sebab-akibat
(kausalitas)
 Entropi akan sangat berpengaruh terhadap
Redundansi yang akan timbul dalam
proses komunikasi
Entropy

 Entropi merupakan konsep keacakan, dimana

terdapat suatu keadaan yang tidak dapat
dipastikan kemungkinannya
Redundancy

 Konsep kedua adalah redundancy, yang

merupakan kebalikan dari entropy. dudansi
adalah sesuatu yang bisa diramalkan atau
diprediksikan (predictable).
 Karena prediktabilitasnya tinggi (high
predictable), maka informasi pun rendah (low
information).
 Redundansi apabila dikaitkan dengan masalah
teknis, ia dapat membantu untuk mengatasi
masalah komunikasi praktis.
 Kekurangan-kekurangan dari saluran
(channel) yang mengalami gangguan (noisy
channel) juga dapat diatasi oleh bantuan
redundancy.
 Dengan memandang informasi sebagai entropy,
Shannon mencetuskan ide bahwa sebuah sumber
informasi bersifat probabilistik dengan
mengajukan pertanyaan:
 jika sebuah sumber informasi memproduksi
pesan-pesan dengan cara memilih simbol-simbol
dari himpunan simbol terhingga, dan probabilitas
simbol-simbol yang muncul bergantung pada
pilihan sebelumnya, maka seberapa banyakkah
informasi yang terkait dengan sumber tersebut?
 Shannon menjelaskan hal tersebut dengan
sebuah persamaan yang memaparkan
hubungan antara entropy dan redundancy.
Jika sebuah sumber informasi tidak
mempunyai banyak pilihan atau memiliki
derajat keacakan yang rendah, maka
informasi atau entropy tersebut rendah.
 Redundancy =
1 - (actual_entropy/max_entropy)
Entropy of The Source

 Shannon mengusulkan formula untuk

mengukur informasi.
 Ukuran informasi disebut Entropy of the
Source/Entropi Sumber Informasi.
 Jika sumber menghasilkan simbol ke-N, dan
jika semua simbol sama-sama mungkin
terjadi, entropi sumber diberikan oleh:

H = log2N bits/simbol
 Sebagai contoh, asumsikan bahwa Source
menghasilkan huruf(A sampai Z, sebanyak
27, sebagai simbol), dan semua simbol-
simbol ini akan diproduksi dengan
probabilitas yang sama. Dalam kasus seperti
itu, entropi adalah
H = log227
H = 4,75 bits/simbol
 Sumber informasi tidak dapat
menghasilkan semua simbol dengan
probabilitas yang sama.
 Misalnya, dalam bahasa Inggris huruf "E"
memiliki frekuensi tertinggi (dan
karenanya probabilitas tertinggi
terjadinya), dan huruf-huruf lainnya terjadi
dengan probabilitas yang berbeda.
Secara umum, jika sumber
menghasilkan simbol (i) dengan
probabilitas P (i), entropi sumber
diberikan oleh

H = - ∑ P(i) log2P(i) s
i
 Jika teks besar dianalisis dan probabilitas dari
semua simbol (atau huruf) yang diperoleh
dan diganti dalam formula, maka entropi
adalah

H = 4.07 bits/symbol
 Catatan Perhatikan kalimat berikut:

"I do not knw wheter this is undrstandble“

 Terlepas dari fakta bahwa sejumlah karakter

dalam kalimat ini hilang, Anda tetap dapat
mengerti teks tersebut. Dengan kata lain,
ada banyak redundansi dalam teks ini.
 Ini disebut pendekatan first-order
approximation untuk perhitungan entropi
sumber informasi.
 Dalam karakter alfabet, ada ketergantungan
dari satu huruf pada surat sebelumnya.
Misalnya, huruf 'U' selalu terjadi setelah huruf
'Q'.
 Jika kita mempertimbangkan probabilitas
dua simbol bersama-sama (aa, ab, ac,
iklan, .. ba, bb, dan sebagainya), maka hal
itu disebut pendekatan orde kedua.
 Jadi, di pendekatan orde kedua, kita harus
mempertimbangkan probabilitas diagram
bersyarat (atau dua simbol bersama-
sama).
 Entropi orde kedua dari sumber
memproduksi karakter alfabet dapat bekerja
untuk menjadi
 H = 3.36 bit / simbol
Bagaimana Mengukur Informasi?

 Satuan Terkecil Informasi dinyatakan dengan

Binary Digit (BIT)
YA TIDAK
BENAR S ALAH
TRUE FALS E
ON OFF
HITAM P UTIH
NYALA P ADAM
YES NO

 1 Bit Hanya dapat membedakan 2 Hal

Misal:
 00  A
 01  B
 10  C
 11  D
Sehingga n Bit = 2n Hal
Channel Capacity (Bit Rate)
Channel Capacity

 BITRATE  Kapasitas Kanal dapat

digambarkan sebagai rata-rata maksimum
pada informasi yang bisa dikirim tanpa ada
kesalahan, dan untuk maksud transmisi data,
mungkin diukur dalam bit perdetik.
 Rata-rata data yang dapat dikirim pada kanal
sebanding dengan bandwidth kanal itu.
 Channel Capacity
Kapasitas maksimum sebuah kanal komunikasi

C = W LOG2 (1 + S/N)

Dengan
C : Kapasitas maksimum dalam bps
W : Bandwidth
S/N : Perbandingan daya sinyal dan noise

Bila S/N =1000 dan W=3300Hz maka C=32.9 Kbps

Formula Shannon [1948] untuk menghitung Kapasitas Kanal:

Kapasitas Informasi [bps] = (Lebar Pita Frekuensi [Hertz])* 2log ( 1 + S/N)
 dB = 10 Log (Signal Power/Noise Power)
 The value of the channel capacity obtained
using this formula is the theoretical
maximum.
 As an example, consider a voice-grade line
for which W = 3100Hz, SNR = 30dB (i.e., the
signal-to-noise ratio is 1000:1)
 So, we cannot transmit data at a rate faster
than this value in a voice-grade line.
 An important point to be noted is that in the
above formula, Shannon assumes only
thermal noise.
 To increase C, can we increase W? No,
because increasing W increases noise as well,
and SNR will be reduced. To increase C, can
we increase SNR? No, that results in more
noise, called intermodulation noise.
 The entropy of information source and
channel capacity are two important concepts,
based on which Shannon proposed his
theorems.
 The bandwidth of the channel, signal
energy, and noise energy are related by the
formula C = W log2(1 + S/N) bps where C is
the channel capacity, W is the bandwidth,
and S/N is the signal-to-noise ratio.
 Bit Rate (Kapasitas Kanal) : banyaknya informasi yang dapat
dikirimkan melalui suatu saluran komunikasi dalam satu satuan
waktu [bit per second, bps]
 BW (Bandwidth, Lebar Pita Frekuensi) : spektrum isyarat yang
dapat melewati suatu saluran komunikasi: frekuensi tertinggi –
frekuensi terendah [Hertz, getaran per detik, cycles per second,
cps]
 S/N (Signal to Noise ratio) : menunjukkan kualitas saluran
komunikasi = perbandingan antara daya isyarat yang dipancarkan
dengan daya derau atau ”kebisingan” (noise) yang menggangu
penyaluran atau transmisi isyarat
Teorema Shannon
Teorema “Source Coding”
Diketahui sebuah channel yang memiliki kapasitas C dan sebuah
sumber entropy discrete per second H.

Jika H<=C maka akan ada suatu sistem koding dimana output dari
sumbernya dapat ditransmisikan melalui channel dengan tingkat
kegagalan yang sangat rendah. Jika H-C > C maka akan ada
kemungkinan untuk meng-encode pesan sehingga pesan yang
ambigu bernilai kurang dari H-C + e dimana e sangat kecil.

Tidak ada metode yang mengenkode pesan dimana tingkat ke-

ambiguitasnya kurang dari H-C.
 Teorema “Channel Coding”

 Berhubungan dengan sistem komunikasi

pada channel tanpa noise

Terdapat sebuah sumber informasi yang memiliki entropy H

(bits per symbol) dan sebuah channel dengan kapasitas C
(bits per transmit) dengan laju rata-rata C/H – e symbol per
second dimana e sangat kecil. Tidak mungkin untuk dapat
melakukan transmisi dengan laju rata-rata lebih dari C/H.
 Ide utama dibalik teorema ini adalah bahwa
jumlah informasi yang mungkin untuk
ditransmisikan berdasar pada besarnya entropy
atau derajat keacakkan.
 Berdasarkan sifat-sifat statistik dari sumber
informasi, ini memungkinkan untuk
dilakukannya pengkodean informasi
 Sehingga memungkinkannya untuk melakukan
pentransmisian informasi pada laju maksimum
yang diperbolehkan channel.
References
 [1] Dr. K.V. Prasad,”Principles of Digital Communication
Systems and Computer Networks“, Charles River Media,
2003
 [2] S. Verdu, “Fifty years of shannon theory”, IEEE
Transaction on information theory, vol. 44, no.6, October
1998.
 [3] C.E. Shannon, “A mathematical theory of
communication”, Bell Syst. Tech., J., vol. 27, pp. 379-423, 623-
656, July-Ock. 1948.
 [4] H. Nyquist, “Certain factors affecting telegraph speed”,
Bell Syst. Tech. J., vol. 3, pp. 324-352, Apr. 1924.