BAB 2

LANDASAN TEORI

2.1 Teori Informasi

Teori Informasi adalah suatu cabang ilmu yang membahas tentang
konsep informasi, pengukurannya dan penerapannya [INF97]. Aspek
informasi yang dibahas dalam ilmu ini adalah aspek sintaktis informasi.
Pertanyaan mendasar dalam hal ini adalah: pengukuran informasi
sintaktis, batas fundamental jumlah informasi yang bisa ditransmisikan,
batas

fundamental

kompresi

yang

bisa

dicapai,

dan

bagaimana

membangun sistem pemroses informasi yang mendekati batas tersebut.

f(x,y)

Source
Encoder

Channel
Encoder

Channel

ENCODER

Channel
Decoder

Source
Decoder

f^(x,y)

DECODER

Gambar 2.1 Model Sumber Informasi

Berdasarkan gambar 2.1 diatas, terlihat bahwa sebuah sumber
informasi (sistem kompresi) terdiri dari dua blok berbeda yaitu : Encoder
dan Decoder [GON92]. Encoder berguna untuk mengkompresi teks
sebelum ditransmisikan melewati channel. Channel berfungsi sebagai
medium fisik penghubung, bisa berupa kabel telepon, jalur propagasi
energi elektromagnetik, ataupun kabel pada komputer digital. Decoder
berguna untuk rekonstruksi teks yang persis sama dengan teks awal.
Encoder sendiri terdiri dari 2 sub-blok yaitu : Source Encoder yang
menghilangkan redundansi, dan Channel Encoder yang meningkatkan
ketahanan terhadap noise. Sebagai pasangannya, Decoder juga terdiri
dari 2 sub-blok yaitu : Channel Decoder dan Source Decoder. Teknik
channel encoding yang terkenal adalah Hamming Code.
Pada tahun 1924 Nyquist menerbitkan artikel yang mencakup
bahasan bagaimana pesan bisa dikirim melewati kanal telegraph dengan
kecepatan semaksimal mungkin, namun tanpa distorsi. Istilah informasi
belum digunakan dalam artikel tersebut.

Implementasi dan analisis..., Rian Yusran, FASILKOM UI, 2004

RVL

hartley

mendefinisikan

(1928)

pengukuran

adalah
informasi.

yang

pertamakali

Penjelasannya

mencoba

adalah

seperti

berikut. Asumsikan bahwa setiap pesan semua simbolnya adalah elemen

dari alfabet A, dimana alfabet A ini adalah himpunan dari s macam simbol.
Sekarang perhatikan semua pesan yang terdiri dari k simbol, akan ada sk
macam

pesan

yang

berbeda.

Hartley

mendefinisikan

amount

of

information sebagai logaritma dari banyak pesan-pesan yang bisa

dibedakan. Dalam kasus pesan sepanjang k ini maka jumlah informasinya
adalah

( )

( )

H H s k = log s k = k log(s )
Shannon kemudian memperluas teori Nyquist dan Hartley, dan
menghasilkan dasar Teori Informasi dengan mengasosiasikan informasi
dengan ketidakpastian (uncertainity) menggunakan konsep probabilitas.
Pengukuran informasi ini lebih akurat, yang mencakup pengukuran
Hartley ini sebagai kasus spesial.
Premis dasar dalam Teori Informasi adalah : Generation of
information can be modeled as probabilistic process [GON92]. Pada
sebuah peristiwa acak E yang terjadi dengan probabilitas p, maka
dikatakan mengandung jumlah informasi

1
I (E ) = log
p
Besaran I(E) ini disebut juga dengan self-information dari E. Dengan
demikian terlihat bahwa simbol yang jarang muncul akan membawa
jumlah informasi yang besar.
Untuk ruang sampel (alfabet) yang terdiri dari n macam simbol,
Shannon merumuskan rata-rata besarnya informasi sebagai [TIF03]:
n

H ( P) =

p( x ) log p( x ) = p log p
i

i =1

i =1

dimana X adalah suatu ruang sampel dengan sebaran peluang P. Ratarata besarnya informasi (H) ini dikenal juga dengan sebutan entropi.

Implementasi dan analisis..., Rian Yusran, FASILKOM UI, 2004

Contoh: misalkan X adalah percobaan pelemparan mata uang dengan

peluang p untuk mendapat muka. Maka dalam hal ini

H (P ) = p log( p ) (1 p )log(1 p )
H(P) merupakan fungsi yang memenuhi beberapa sifat berikut [TIF03]:
a) kontinyu dalam peubah p
b) symetrik, dalam artian urutan event tidak mengubah nilai H
c) additive,
d) H mencapai titik maksimum pada titik di mana semua probabilitas
sama nilainya.
Entropi ini menunjukkan batas fundamental kompresi yang bisa
dicapai

oleh

sebuah

sumber

informasi.

Karena

dalam

hal

ini

menyatakan ukuran ketakpastian dari outcome, maka nilai H akan

maksimum jika semua event memiliki peluang yang sama.

Jumlah

informasi maksimum yang bisa dihasilkan oleh sumber informasi diskret

tanpa memori adalah

H (P )= 2 log n
Dalam hal model komunikasi antara sebuah sumber informasi
dengan tujuan, titik beratnya adalah pada pengiriman informasi yang digenerate oleh sumber. Bila sumber mentransmisikan data yang besar,
tentunya akan memakan resource dan butuh waktu yang lama untuk
menyelesaikannya.

Masalah

penyimpanan

informasi

dalam

memori

sekarang ini juga sangat penting. Walaupun ini bukan masalah transmisi,
namun teknik kompresi dapat diterapkan disini.

2.2 Kompresi
Motivasi untuk mengkompresi adalah untuk menghemat media
penyimpanan

data

dan

menurunkan

waktu

dan

biaya

dalam

mentransmisikan data tersebut. Data aslinya dapat direkonstruksi tepat

sama atau menyerupai bentuk asalnya. Biaya yang harus dikeluarkan
adalah

waktu

pengkompresian

yang

terpakai.

Target

data

yang

dikompresi antara lain teks, musik, film, gambar.

Implementasi dan analisis..., Rian Yusran, FASILKOM UI, 2004

Kompresi teks berbeda dengan teknik kompresi data umum, karena

pada kompresi teks file aslinya selalu bisa direkonstruksi dengan tepat
sama. Oleh karena itu kompresi teks tergolong kompresi lossless. Untuk
data-data selain teks, misalnya gambar dan suara, sedikit perubahan
pada data rekonstruksi dapat di toleransi karena merupakan pendekatan
digital ke gelombang analog.
Metode

kompresi

teks

dapat

dikelompokkan

kedalam

dua

kelompok: metode symbolwise dan metode dictionary [MAN94]. Metode

symbolwise

bekerja

dengan

menghitung

probabilitas

simbol-simbol,

mengkodekan satu simbol setiap waktu, menggunakan codewords yang

lebih pendek untuk probabilitas besar. Metode yang tergolong symbolwise
models antara lain : fano, shannon, huffman, alphabetic dan arithmetic.
Metode dictionary mencapai kompresi dengan mengganti kata-kata atau
fragmen-fragmen teks yang lain dengan indeks entri dalam dictionary.
Metode yang tergolong dictionary models adalah Lempel-Ziv dan varianvariannya (family of Lempel-Ziv), antara lain: LZ77, LZR, LZSS, LZH, LZB,
LZFG, LZ78,LZC,LZT,LZMW,LZW,LZJ.
Beberapa

terminologi

dalam

bahasan

kompresi

antara

lain:

redundansi, efisiensi kompresi, dan rasio kompresi. Redundansi pada

sumber informasi diskret tanpa memori dirumuskan

red = 1

H (U )
H (U )
= 1
max H (U )
log n

Redundansi menandakan tingkat compressibility. Redundansi 0 artinya

tidak ada elemen dari U yang redundan.
Efisiensi dari suatu kode dirumuskan:

H (U )
L log r

Suatu pengkodean dikatakan efisien bila mendekati 1 (atau 100%).

Implementasi dan analisis..., Rian Yusran, FASILKOM UI, 2004

Rasio kompresi merupakan perbandingan antara besar file hasil kompresi

dengan file aslinya. Semakin kecil rasio kompresi menandakan semakin
baik metode kompresi yang digunakan.

Implementasi dan analisis..., Rian Yusran, FASILKOM UI, 2004