BAB I

PENDAHULUAN

1. Latar Bealakang

Dalam bab ini kita berurusan dengan sumber informasi dan saluran
komunikasi. Bagian utama dari pengobatan ini dikhususkan untuk kasus diskrit.
Hanya pada akhir bab ini kami menyajikan deskripsi singkat sumber kontinyu dan
saluran, yang bertujuan untuk mendapatkan kapasitas kanal Gaussian bandlimited.
Bagian pertama dari bab mendefinisikan sumber stasioner diskrit dan
menunjukkan bagaimana kuantitas informasi yang dipancarkan dari sumber dapat
diukur. Secara umum, output sumber (pesan) terdiri dari urutan simbol yang
dipilih dari set terbatas, alfabet dari sumbernya. Distribusi probabilitas dikaitkan
dengan alfabet sumber, dan mekanisme probabilistik mengatur emisi simbol
berturut-turut dalam pesan. Umumnya, pesan yang berbeda menyampaikan
jumlah yang berbeda dari informasi; sehingga jumlah informasi rata-rata, atau
entropi, harus didefinisikan untuk sumbernya. Satuan ukuran untuk informasi
yang diambil untuk menjadi sedikit, yaitu, informasi yang diberikan oleh emisi
satu di antara dua simbol yang sama mungkin. Entropi sumber mewakili jumlah
rata-rata minimum simbol biner (digit) yang diperlukan untuk mewakili setiap
simbol dalam pesan.

Output sumber dengan demikian dapat digantikan oleh serangkaian simbol

biner yang menyampaikan jumlah informasi yang sama dan memiliki jumlah digit
rata per simbol dari sumber asli sedekat yang diinginkan ke entropi sumber. Blok
dalam sistem yang mengimplementasikan fungsi ini disebut sumber Encoder.
Saluran komunikasi adalah media fisik yang digunakan untuk menghubungkan
sumber informasi dengan penggunanya. Pada bagian kedua dari bab kita
mendefinisikan saluran memoryless diskrit dan mempelajari properti mereka.
Saluran memoryless diskrit ditentukan oleh simbol penautan hukum probabilitas
dari alfabet input saluran ke simbol alfabet Keluaran saluran. Titik dasar adalah
pengetahuan tentang arus informasi rata-rata maksimum yang dapat diandalkan

1
melewati saluran. Hal ini menyebabkan definisi kapasitas saluran dan masalah
komputasi itu. Kedua topik ini dibahas dalam bab ini.

Bagian akhir dari bab ini dikhususkan untuk penyajian saluran

pengkodean teorema dan bercakap-cakap. Mereka menyediakan hubungan antara
konsep entropi dari sumber dan kapasitas saluran dan menilai secara tepat apa
yang handal sarana transmisi dan bagaimana hal itu dapat dicapai. Tujuan utama
dari bab ini adalah untuk menyediakan kerangka umum untuk materi berikutnya
yang berkaitan dengan aspek spesifik dari sistem transmisi data. Ini juga menilai
batas teoritis dalam kinerja yang dapat diperoleh melalui saluran biner dan saluran
aditif Gaussian.

Tujuan dari setiap sistem komunikasi adalah mereproduksi pesan yang

dipancarkan dari sumber ke tempat di mana pengguna informasi berada. Jarak
antara sumber dan pengguna mungkin cukup besar, seperti dalam kasus transmisi
antarbenua, atau sangat kecil, seperti dalam penyimpanan dan pengambilan data
menggunakan unit disk komputer (dalam hal ini, jarak antara pemancar dan
penerima mungkin mempertimbangkan waktu). Namun, terlepas dari jarak, ada
antara sumber dan pengguna saluran komunikasi yang dipengaruhi oleh berbagai
gangguan, seperti kebisingan dan distorsi.

Kehadiran saluran yang terganggu membuat reproduksi yang tepat dari

pesan yang dipancarkan dari sumber di tempat pengguna merupakan pencapaian
yang mustahil. Namun demikian, perancang sistem komunikasi akan selalu
diminta untuk memberikan kepada pengguna replika "sedekat mungkin" dari
pesan asli. Wawasan yang lebih dekat tentang karakteristik pengguna lebih baik
menentukan, kasus per kasus, makna "sedekat mungkin," yaitu spesifikasi kriteria
yang berorientasi pengguna untuk dapat diterima.

Misalnya, dalam kasus komunikasi wicara di bidang komunikasi layanan,

orang biasanya puas ketika pendengar dapat memahami konten semantik dari apa
yang dikatakan pembicara. Namun, cukup sering, dalam domain layanan telepon
umum, pendengar ingin mengenali identitas dan suasana hati peaker melalui nada

2
dan nada suaranya, dan ini menimbulkan kriteria penerimaan yang lebih ketat.
Oleh karena itu, seperti yang diilustrasikan dalam contoh-contoh ini, persyaratan
pengguna yang berbeda dapat menyebabkan kriteria penerimaan yang berbeda
dan, akibatnya, persyaratan bandwidth yang berbeda untuk transmisi ucapan.
Sebagaimana di jelaskan, masalah kebisingan di aluran komunikasi menciptakan
kebutuhan untuk spesifikasi sensitive pengguna criteria penerimaan dalam desain.

3
 BAB II
PEMBAHASAN

Tablished, menghasilkan sejumlah terbatas kelas ekivalensi, katakanlah

M, dalam interval waktu tertentu. Transmisi informasi kemudian terdiri dalam
komunikasi urut urutan angka integer yang dipilih dalam set {1, 2 .... »M} dari
sumber ke pengguna. Pengguna, setelah menerima indikasi kelas ekivalensi,
menghasilkan perwakilan (yang ia tahu) kelas untuk memulihkan informasi yang
dekat dengan aslinya.

3.2. Sumber Diam Diskrit

Pertimbangkan alfabet terbatas X yang dibentuk oleh simbol M {xi} i =
1 dan tentukan pesan sebagai urutan simbol seperti (xn) oon = 0. Sumber stokastik
diskrit adalah perangkat yang memancarkan pesan melalui pemilihan simbol dari
alfabet X menurut distribusi probabilitas {pi} i = 1, di mana pi = P (xi). Dari sudut
pandang probabilistik, seseorang dapat menganggap seluruh rangkaian pesan
sebagai proses acak diskrit, yaitu urutan (£ n) oon = 0 variabel acak (RV), masing-
masing mengambil nilai dalam set X dengan probabilitas distribusi {pi}.
Kami akan menganggap bahwa sumbernya tidak bergerak; itu adalah,
P{£i1 = x1……., £ik = xk = P {£i1+h = x1, …..,£ik+h = xk}
untuk semua bilangan bulat non-negatif i1, ..., ik, h dan semua x1, ..., xk ∈ X.
Dalam kasus ini, urutan pesan membentuk proses acak stasioner waktu diskrit
dengan properti yang dijelaskan dalam Bab 2.

3.2.1. Ukuran informasi: entropi alfabet sumber

Jumlah informasi yang dibawa oleh satu simbol sumber alpha-bet secara
ketat terkait dengan ketidakpastiannya. Ketidakpastian yang meningkat harus
sesuai dengan lebih banyak informasi. Sebagai contoh, ukuran huruf dalam berita
utama surat kabar lebih besar ketika berita tidak terduga seperti "Kehidupan
ditemukan di Mars!" Daripada dalam kasus "Pemerintahan baru di Italia." Maka

4
wajar saja jika isi informasi dari simbol ith, dilambangkan dengan I (xi), menjadi
fungsi penurunan probabilitasnya.
I(xj) > I(xi), if pj <pi
dan bahwa konten informasi yang terkait dengan emisi dua simbol independen
menjadi jumlah dari dua informasi individu:
If P(xi, xj) = P(xi)P(xj) then I(xi, xj) = I(xi)I(xj)
Definisi konten informasi yang memuaskan keduanya (3.2) dan (3.3) adalah :
I(xi) = loga (1/pi)

3.2. Sumber Diam Diskrit

Dalam (3.4) dasar logaritma (ditunjukkan dengan a) tidak ditentukan.
Pilihannya menentukan satuan ukuran yang ditetapkan untuk konten informasi.
Jika logaritma natural (basis e) digunakan, maka unit tersebut dinamakan nat.
Ketika basis 2. unit dikenal secara luas sebagai bit (kontraksi dari kata "digit
biner"). Penggunaan bit didasarkan pada fakta bahwa identifikasi yang benar dari
satu dari dua simbol yang kemungkinan besar menyampaikan jumlah informasi
yang sama dengan I (x1) = I (x2) = log2 2 = 1 bit. Kecuali ditentukan lain, kita
akan menggunakan basis 2 dalam bab ini dan menulis log ke log berarti, definisi
(3.4) memungkinkan seseorang untuk mengasosiasikan dengan masing-masing
simbol alfabet sumber konten informasinya. Karakterisasi seluruh alfabet dapat
diperoleh dengan mendefinisikan konten informasi rata-rata X
M M
1
H(X) = ∑ pi I(xi)
i =1= ∑ pi log
i =1 ( )
i=1 i=1 Pi
Yang disebut entropi dari alfabet sumber dan diukur dalam bit/simbol.

Contoh 3.1
Alfabet sumber terdiri dari empat simbol yang mungkin dengan
probabilitas P1 = ½, P2 = ¼, P3 = P4 = 1/8 Untuk menghitung entropi dari alfabet
sumber, kami menerapkan definisi (3.5)
1 1 1
H(X) = log 2 log 4 + 8 log 8 = 1,75 bit/symbol
2 4 8

5
 Jika alfabet sumber terdiri dari simbol yang kemungkinan sama M, kita
miliki.
M
1
H(X) = ∑ log M = log M bit/symbol
i=1 M
Ketika alfabet sumber terdiri dari dua simbol dengan probabilitas p dan
q = 1 - p entropi alfabet adalah :
1 1
H(X) = p log + (1- p) log ( ) = H(p)
p I −p
Pada Gambar. 3.3 fungsi H (p) diplot.
Dapat dilihat bahwa maksimum terjadi untuk p = 0,5. yaitu, ketika kedua
simbol tersebut memiliki kemungkinan yang sama besar. Hasil terakhir dari
Contoh 3.1, yaitu, maksimalisasi entropi sumber untuk simbol-simbol yang
kemungkinan sama, cukup umum, seperti yang akan dinyatakan dalam teorema
berikut.

Gambar 3.3: Plot fungsi entropi H (p) dari sumber biner dengan P (xi) =
p dan P (x2) = 1 - p.

Teorema 3.1
Entropi H (X) dari alfabet sumber dengan simbol M memenuhi
ketimpangan
H(X) ≤ log M

Dengan kesetaraan ketika simbol sama-sama mungkin. V

Bukti Teorema 3.1

Untuk membuktikan teorema, pertimbangkan perbedaannya
1
H(X) – log M = ∑p
i =1 i log ( ) -∑pi log M =-∑pi log i =1(1/piM)
pi i =1
Memanfaatkan ketidaksetaraan

6
 1n y ≤ y – 1

Dalam RHS dari (3.8), kami memperoleh

1
H(X) – log M ≤ log ei ∑
=1 ( – pi) = 0
M

3.2.2. Pengodean alfabet sumber

Untuk sumber yang diberikan, kita sekarang dapat menghitung konten
informasi dari setiap simbol dalam abjad sumber dan entropi dari alfabet itu
sendiri. Misalkan sekarang kita ingin mengirimkan setiap simbol menggunakan
saluran biner, yaitu saluran yang hanya bisa berkomunikasi dengan simbol biner.
Sebelum dikirim ke saluran, setiap simbol harus diwakili oleh serangkaian angka
yang terbatas, yang disebut kata kode. Mengesampingkan masalah kemungkinan
kesalahan saluran, komunikasi yang efisien akan melibatkan pengiriman simbol
dalam waktu sesingkat mungkin, yang, pada gilirannya, berarti
merepresentasikannya dengan kata kode sesingkat mungkin. Seperti biasa, kami
tertarik pada jumlah rata-rata, jadi tujuan kami adalah meminimalkan ukuran rata-
rata kata kode
n = E{n} = ∑ pini
i =1
Di mana n, adalah panjang (jumlah digit) dari kata kode yang
merepresentasikan simbol Xi, dan n adalah variabel acak yang mewakili
panjangnya (yaitu, mengasumsikan nilai rii dengan probabilitas pi, i = 1,2,. .., M).
Minimalisasi (3.10) harus diselesaikan sesuai dengan batasan penting pada
penugasan kata kode ke simbol alfabet. Untuk memahami perlunya batasan ini,
pertimbangkan kode berikut:

Symbol Code word

x1 0
x2 01
x3 10
x4 100

7
 Di dalamnya, urutan biner 010010 dapat sesuai dengan salah satu dari
lima pesan x1x3x2x1, x1x3x1x3, x1x4x3, x2x1x1x3. atau x2x1x2x1- Kode ini
ambigu, atau tidak dapat diuraikan secara unik. Maka tampaknya wajar untuk
mengharuskan kode dapat diuraikan secara unik, yang berarti bahwa setiap urutan
terbatas dari angka biner sesuai dengan, paling banyak, satu pesan. Suatu kondisi
yang memastikan decipherability yang unik adalah mengharuskan tidak ada kata
kode menjadi awalan dari kata kode yang lebih panjang. Kode yang memenuhi
batasan ini disebut kode awalan. Kode yang dijelaskan dalam sekuel adalah jenis
ini. Representasi grafis yang sangat berguna dari kode yang memenuhi batasan
awalan adalah kode yang menghubungkan setiap kata kode dengan simpul
terminal dalam pohon biner, seperti yang ada pada Gambar 3.4.
Mulai dari akar pohon, dua cabang yang mengarah ke node orde pertama sesuai
dengan pilihan di antaranya

Symbols Code words

x1 0
x2 10
x3 110
X4 111

Gambar 3.4: Pohon biner yang terkait dengan kode sumber biner.
kata-kata. Dua cabang yang berasal dari masing-masing node orde pertama
berhubungan dengan digit kedua dari kata-kata kode, dan seterusnya. Karena kata-
kata kode hanya ditugaskan untuk node terminal, kata kode tidak bisa menjadi
awalan dari kata kode lain. Sebuah pohon dikatakan orde n jika berisi node hingga
urutan ke-n. Persyaratan yang diperlukan dan cukup untuk kode yang diberikan
untuk memenuhi batasan awalan diberikan dalam teorema berikut.

Teorema 3.2
Ketidaksetaraan kraft. Kondisi yang diperlukan dan cukup untuk
keberadaan kode awalan biner dengan panjang kata n1, n2, ……, nM adalah
sebagai berikut

8
 M
-ni
∑❑ 2 ≤1
I=1

Bukti Teorema 3.2

Kami membuktikan terlebih dahulu bahwa (3.11) adalah kondisi yang
diperlukan. Karena kode memenuhi batasan awalan, kode tersebut disematkan
dalam susunan urutan
N = max(n2, n2,……, nm)

Kehadiran di pohon simpul terminal urutan n, menghilangkan 2n - ni

dari kemungkinan simpul pesanan n. Dengan demikian, untuk kode yang akan
disematkan di pohon, jumlah semua simpul pesanan n dihilangkan oleh terminal
simpul yang terkait dengan kata-kata kode

3.2. Sumber diam diskrit

Harus kurang dari atau sama dengan jumlah simpul pesanan n di pohon;
itu adalah,
M
n-ni
∑2 ≤ 2n
I=1

Membagi kedua sisi ketimpangan terakhir dengan hasil 2n (3,11). Untuk

membuktikan bahwa (3.11) adalah kondisi yang cukup untuk keberadaan kode
awalan, mari kita asumsikan bahwa nfs diatur dalam urutan nondecreasing, n1 ≤
n2 ≤ ……. <NM - Pilih sebagai simpul terminal pertama di pohon kode setiap
simpul orde nx di pohon orde ny berisi semua cabang. Semua node di pohon
setiap pesanan lebih besar dari atau sama dengan n1 masih tersedia untuk
digunakan sebagai terminal node dalam kode pohon, kecuali untuk fraksi 2-n1 +
2-n2 yang berasal dari node yang dipilih. Selanjutnya, pilih setiap simpul pesanan
n2 yang tersedia sebagai simpul terminal berikutnya di pohon kode. Semua node
di pohon setiap pesanan lebih besar dari atau sama dengan n2 masih tersedia
kecuali untuk fraksi 2 "n‘ +2 "na yang berasal dari salah satu dari dua node yang
dipilih. Melanjutkan dengan cara ini, setelah penugasan node terminal j-th di

9
pohon kode, fraksi node dihilangkan oleh pilihan sebelumnya adalah ji = 12-ni,
Dari (3,11), fraksi ini selalu benar-benar kurang dari 1 untuk j <M, dan dengan
demikian selalu ada simpul yang tersedia untuk ditugaskan ke kata kode
berikutnya.

QED
Karena wc menggunakan kode biner, konten informasi maksimum dari
setiap digit dalam kata kode adalah 1 bit. Jadi konten informasi rata-rata dalam
setiap kata kode adalah, paling banyak, sama dengan n. Di sisi lain, untuk
menentukan simbol alfabet sumber secara unik, kita memerlukan jumlah rata-rata
informasi yang sama dengan bit H (X). Karenanya, secara intuitif kita dapat
menyimpulkan hal itu.
n ≥ H(X)

Membandingkan definisi (3.5) dan (3.10) dari H (X) dan n, dapat dilihat
bahwa kondisi (3.13) dapat dipenuhi dengan tanda sama dengan jika dan hanya
jika (bagian '' jika 'mudah, untuk bukti “hanya jika 'lihat Fano (1961)):
pi = 2-ni i = 1,2,……,M

Dalam hal ini, (3,11) juga menjadi persamaan

Contoh 3.2
Berikut ini adalah contoh kode yang memuaskan (3.13) dengan tanda
sama dan mematuhi batasan awalan.

Symbol pi Code word

x1 ½ 1
x2 ¼ 00
x3 1/8 010
x4 1/16 0110
x5 1/16 0111

3. Hasil dasar dari teori informasi

10
 Menghitung nilai n yang didefinisikan dalam (3.10), seseorang
memperoleh.
n = H(X) =15/8
Secara umum, kondisi (2.14) dengan ni, bilangan bulat tidak puas, Jadi
kita tidak bisa berharap untuk mencapai batas bawah untuk n seperti pada contoh
sebelumnya. Namun, kode yang memenuhi batasan awalan dapat ditemukan yang
n mematuhi teorema berikut.

Teorema 3.3
Kode biner yang memenuhi batasan awalan dapat ditemukan untuk
setiap sumber alfa-taruhan entropi H (X) yang panjang kata kode rata-ratanya
memenuhi ketimpangan
H(X)≤n < H(X) + 1

Bukti Teorema 3.3

Bukti intuitif dari batas bawah telah diberikan saat memperkenalkan
(3,13). Mari kita sekarang memilih untuk kata kode yang mewakili simbol xi
sejumlah bit rii yang sesuai dengan bilangan bulat terkecil lebih besar dari atau
sama dengan I (xi). Jadi kita punya
I(X) ≤ n < H(X) +1
Mengalikan (3.15) dengan pi dan menjumlahkan lebih dari I, kita dapatkan

H(X)≤n < H(X) + 1

Untuk melengkapi bukti teorema, kita harus menunjukkan bahwa kode
memenuhi batasan awalan, yaitu, panjang nfs dari kata-kata kode mematuhi
ketimpangan Kraft (3.11). Mengingat definisi (3,4) dari I (x1), ketidaksetaraan sisi
kiri (3,15) menyebabkan pi ≥ 2-ni; jadi, menyimpulkan saya, kita dapatkan

11
3.2. Sumber diam diskrit

Pi

0.5

0.15
0.15
0.10
0.05
0.05

Gambar 3.5: Pohon yang dihasilkan oleh prosedur pengkodean Huffman

untuk sumber dengan enam simbol.
Langkah terakhir dalam uraian kami tentang kode alfabet sumber adalah
konstruksi kode yang dapat diuraikan secara unik yang meminimalkan panjang
rata-rata kode kata. Kami akan menyajikan metode untuk pembuatan kode optimal
tersebut karena Huffman. Bukti optimalitas akan dihilangkan; pembaca yang
tertarik dapat menemukannya di buku apa pun yang dikhususkan untuk teori
informasi, seperti untuk contoh McEliece (1977). Prosedur Huffman akan
dijelaskan langkah demi langkah. Pembaca disebut Gambar 3..5, di mana langkah-
langkahnya dapat dilihat di pohon yang berasal dari prosedur pengodean.
Langkah 1 Minta simbol M disusun berdasarkan nilai probabilitasnya
yang tidak meningkat.
Langkah 2 Kelompokkan dua simbol terakhir xM-1 dan XM menjadi
"simbol," yang setara dengan probabilitas PM-1 + PM-
Langkah 3 Ulangi langkah 1 dan 2 sampai hanya satu "simbol" yang
tersisa.
Langkah 4 Melihat pohon yang berasal dari langkah sebelumnya (lihat
Gambar 3.5), asosiasikan simbol biner 0 dan 1 untuk setiap pasangan cabang yang
berangkat dari node perantara. Kata kode masing-masing simbol dapat dibaca

12
sebagai urutan biner yang ditemui ketika mulai dari akar pohon dan mencapai
simpul terminal yang terkait dengan simbol yang ada.

3. Hasil dasar dari teori informasi

Untuk contoh Gambar. 3.5, kata-kata kode yang diperoleh dengan
menggunakan prosedur Huffman adalah :

Symbol Code word

x1 0
x2 100
x3 101
x4 110
x5 1110
x6 1111
Panjang rata-rata n dan entropi H (X) masing-masing adalah 2,1 digit /
simbol dan 2,086 bit / simbol; mereka memuaskan Teorema 3.3, dan tidak ada
kode lain yang bisa melakukan lebih baik.

Contoh 3.3
Untuk kode yang ditunjukkan pada Gambar 3.5, gunakan pohon untuk
memecahkan kode penerimaan yang diterima 1100101100110. Mulai dari akar
pohon, kita mengikuti cabang di setiap simpul tengah sesuai dengan angka biner
dalam urutan yang diterima, sampai simpul terminal (dan karenanya simbol)
tercapai. Kemudian kita memulai kembali prosedurnya. Urutan yang
diterjemahkan adalah x4x1x3x2x4.
Pembaca diundang untuk mengulangi prosedur pendekodean Contoh
3.3, dengan asumsi bahwa kesalahan telah diperkenalkan oleh saluran pada posisi
pertama. Ini memungkinkan kita untuk memverifikasi efek bencana propagasi
kesalahan dalam kode-kode panjang variabel ini. Di sisi lain, tujuan dari
pengkodean sumber adalah pengurangan redundansi alfabet sumber, dan bukan
perlindungan terhadap kesalahan saluran. Ini adalah ruang lingkup pengkodean
saluran, seperti yang akan kita lihat di Bab 10-12.

13
 Sejauh ini, kita telah melihat bagaimana kata kode dapat secara efisien
ditetapkan untuk setiap simbol z, dari sumber abjad X. Hasil utama diwakili oleh
Teorema 3.3. Bahkan, batas bawah Teorema dapat didekati sedekat yang
diinginkan jika kita diizinkan untuk menyandikan blok simbol bukan simbol
tunggal. Misalkan kita mengumpulkan urutan pengamatan independen X dan
menetapkan kata kode untuk kelompok simbol yang dihasilkan. Dengan kata lain,
kami membuat kode untuk alfabet baru Y = Xv yang mengandung simbol Mv,
dilambangkan yi. Probabilitas yi kemudian diberikan oleh produk probabilitas
yang sesuai dengan simbol v dari X yang menentukan yi, Dengan Teorema 3.3,
kita dapat membuat kode untuk Y yang panjang kode rata-rata kata n n memenuhi

H(Y) ≤ nv < H(Y) + 1

3.2. Sumber diam diskrit

Setiap simbol dalam Y dibuat oleh v simbol independen dari alfabet X
asli; jadi entropi Y adalah H (Y) = vH (X) (lihat Soal 3.2). Jadi, dari (3.17) kita
dapatkan
H(X) ≤nv/v < H(X) + 1/v (3.18)
Tetapi nv / v adalah jumlah rata-rata digit / simbol X; jadi, dari (3.18),
maka dapat dibuat mendekati sewenang-wenang dengan H (X) dengan memilih v
yang cukup besar.
Efisiensi t dari suatu kode didefinisikan sebagai :
€=vH(X)/nv

Contoh 3.4
Dengan sumber abjad X = {x1.x2.x3}, dengan p1 = 0,5, P2 = 0,3, dan
P3 = 0,2, kami ingin membuat abjad baru Y = X2 = {y1, y2, ..., y9}, diperoleh
dengan mengelompokkan simbol xi dua demi dua.

Symbol Code word

y1 = x1x1 p(y1) =p(x1x1)p(x1)

14
 y2 =x1x2 =0.25
y3 =x2x2 p(y2) = 0.15
y4 =x1x3 p(y3) =0.15
y5 =x3x1 p(y4) =0.10
y6 =x2x2 p(y5) =0.10
y7 =x3x2 p(y6) =0.09
y8 =x2x3 p(y7) =0.06
y9 =x3x3 p(y8) =0.06
p(y9) =0.04
Pembaca diundang untuk membuat kode Huffman untuk panjang blok v
= 1 dan v = 2 dan membandingkan jumlah rata-rata digit / simbol yang diperoleh
dalam kedua kasus, menggunakan definisi efisiensi kode sebelumnya. 3.2.3.
Entropi sumber stasioner Meskipun definisi kami tentang sumber stasioner diskrit
cukup umum, kami sejauh ini mempertimbangkan secara rinci hanya konten
informasi dan pengkodean alfabet sumber. Bahkan ketika menggambarkan
pencapaian blok encoding dari sumber, kami membuat asumsi independensi
antara simbol 3. Hasil dasar dari teori informasi membentuk setiap blok. Tentu
saja, ketika pesan yang dipancarkan oleh sumber secara aktual merupakan urutan
variabel acak independen, maka hasil yang diperoleh untuk alfabet sumber juga
berlaku untuk pesan sumber. Namun dalam praktiknya, ini jarang terjadi. Jadi kita
perlu memperluas definisi kita tentang konten informasi dari alfabet sumber ke
konten informasi dari sumber, yang akan melibatkan pertimbangan
ketergantungan statistik antara simbol-simbol dalam sebuah pesan. Mari kita
pertimbangkan pesan yang dipancarkan oleh sumber, seperti (xn) oon = 0, dan
mencoba untuk menghitung informasi rata-rata yang diperlukan untuk
menentukan setiap simbol xn dalam pesan. Isi informasi dari simbol XQ pertama,
tentu saja, entropi H (Xo) 1
M
H(Xo) = ∑ Pi log(l/pi)
i=1
i=1

Isi informasi dari simbol kedua Xi, setelah menetapkan x0 »> s entropi bersyarat
H (X1 X0) berdasarkan pada informasi bersyarat I (x | y) = log (l / P (x | y))

15
H(X1 X0) =∑∑p(x0,x1)I(x1 xo) = ∑∑ p(x0,x1)log (1/p(x1 x0)
XX00XX11
Secara umum, isi informasi dari simbol engan, diberikan simbol h
sebelumnya dalam pesan, diperoleh sebagai :
H(Xi Xi-1,……..,Xi-h)
=∑…∑ p(xi-h,….,xi). Log (1/P(xi xi-1,…,xi-h),1 ≤ h ≤ i
Dengan demikian tampaknya cukup intuitif untuk
mendefinisikan konten informasi dari sumber, atau entropinya
HQQ (X), sebagai konten informasi dari simbol apa pun yang
dihasilkan oleh sumber, mengingat bahwa kami telah mengamati
semua simbol sebelumnya. Diberikan sumber informasi stasioner
(£ n) oo = 0 entropi Hoo (X) kemudian didefinisikan sebagai :
HOO(X) = lim H(Xn | Xn-j,... ,Xo)
n—oo

Untuk mendapatkan wawasan yang lebih dalam tentang makna dan sifat
HQQ (X), kita harus membuktikan teorema berikut.

3.2. Sumber diam diskrit

Teorema 3.4
Entropi bersyarat H (X1, X0) memenuhi ketidaksetaraan

H(X1 X0) ≤ H (X1)

Bukti teorema 3.4

Untuk membuktikan teorema, pertimbangkan perbedaannya
p (x 1)
H(X1 X0) – H(X1) =∑∑ p (x0,x1)log ( )
p¿¿

Dan gunakan dalam RHS ketidaksamaan (3,9) untuk mendapatkan

H(X1 X0) – H(X1) ≤ log e ∑∑ p(x0, x1) [ p(x 1) ¿]

16
QED
Hubungan (3,22) menjadi persamaan ketika £ 1 dan £ 0 adalah variabel
acak independen. Dalam hal ini, pada kenyataannya, P (x1 x0) = P (x1).
Perpanjangan teorema 3.4 dan eksploitasi stasioneritas urutan (£ n) oon = 0
memungkinkan seseorang untuk menulis.
H(Xn Xn-1,…..,X0) ≤ H(Xn Xn-1,…,X1) = H(Xn-1 Xn-2,…,X0) (3.23)

Jadi urutan H (Xn | Xn_lt ... ,, X0). n = 1,2, ..., tidak meningkat, dan
karena syarat-syarat urutannya tidak negatif, batas HQQ (X) ada. Terlebih lagi, ia
memenuhi ketidaksetaraan berikut:
0 ≤ Hoo(X) ≤ H(X (3.24)

Dimana ketimpangan RHS menjadi kesetaraan ketika simbol dalam

urutan independen. Entropi sumber informasi sulit untuk dihitung dalam banyak
kasus. Kami akan menjelaskan bagaimana ini dicapai untuk kelas sumber tertentu,
sumber Markov sumber. Sumber Markov stasioner adalah sumber informasi yang
outputnya dapat dimodelkan sebagai rantai Markov kondisi terbatas, sepenuhnya
reguler (lihat Bagian 2.2.1). Sifat-sifat sumber Markov stasioner dapat
digambarkan sebagai berikut:

3. Hasil dasar dari teori informasi

(1) Pada (ia memulai setiap interval simbol, sumber berada dalam salah
satu dari status q yang mungkin Selama setiap interval simbol, sumber berubah
status, katakanlah dari S, ke Sk, sesuai dengan probabilitas transisi p} k yang
nilainya tidak tergantung pada interval simbol tertentu. (ii) Perubahan status
negara disertai dengan emisi simbol yang dipilih dari sumber alfabet X, yang
hanya bergantung pada huruf Sj yang sekarang dan status S * berikutnya. (iii)
Status Sj dan simbol yang dipancarkan T, secara unik menentukan status Sk
berikutnya. Dengan kata lain, simbol saat ini yang dipancarkan oleh sumber
tergantung pada simbol masa lalu hanya melalui keadaan sumber. Model Markov
stasioner untuk sumber informasi adalah pendekatan yang berguna dalam banyak
situasi fisik.

17
 Pembaca yang tertarik disebut Ash (1967, Bab 6) untuk penjelasan rinci
tentang subjek. Di sini, kita akan menggambarkan konsep dengan sebuah contoh.

Contoh 3.5
Biarkan informasi stasioner bersumber (£ n) oon = 0 dikarakterisasi
dengan properti P (xn xn-1,…, x0) = P (xn xn-1); yaitu, masing-masing simbol
dalam urutan hanya bergantung pada yang sebelumnya, kita asumsikan bahwa
alfabet X adalah formet oleh tiga simbol, katakan huruf A, B, dan C. probabilitas
P (xn-xn-1) diberikan sebagai mengikuti:

xn/xn-1 A B C
A 0.2 0.4 0.4
B 0.3 0.5 0.2
C 0.6 0.1 0.3
Sumber ini dapat diwakili dengan menggunakan grafik berarah dari
Gambar 3.6, di mana setiap negara mewakili simbol yang dipancarkan terakhir
dan transisi diidentifikasi oleh probabilitas mereka dan simbol yang dipancarkan
saat ini. Dapat diverifikasi bahwa sumber ini memenuhi sifat (i), (ii), dan (iii), dan
karenanya merupakan sumber Markov stasioner. Mari kita hitung sekarang
sumber entropi Hoo (X). Mendefinisikan entropi negara Sj sebagai
Mj
1
H(Sj) ≜ ∑ Pjk log ( )
k=1 pjk

di mana Mj mewakili jumlah simbol yang tersedia di negara Sj, dan menunjukkan
dengan {wi} i = 1 komponen vektor distribusi stasioner (2.49), teorema dasar
berikut dapat dibuktikan (lihat, misalnya. Ash, 1967, Bab 6).

3.2. Sumber diam diskrit

18
 Gambar 3.6: Representasi grafik sumber Markov stasioner dengan
alfabet X = {A, B, C}

Teorema 3.5
Entropi Hoo (X) dari sumber Markov stasioner diberikan oleh
q
Hoo(X) = ∑ wj H(Sj)
j=1

Contoh 3.6
Dengan mengacu pada sumber Markov pada Contoh 3.5, dengan
menghitung vektor distribusi sta- trol dan menerapkan (3,25) kita memperoleh
entropi HQO (X) = 1,441.

Pengkodean sumber Markov stasioner

Ketidaksamaan (3.23) dan (3.24) menunjukkan bahwa konten informasi
rata-rata dari sumber yang memancarkan simbol-simbol tidak tergantung
berkurang ketika panjang pesan meningkat. Jika kita mendefinisikan entropi blok
simbol berturut-turut dari pesan sumber sebagai
H(Xv) ≜ H(Xo,X1,…,Xv-1) (3.26) = ∑∑….∑ P(x0, x1,…., xv-1) log (

1
P ( x 0 , x 1 , … , xv−1)

3. Hasil dasar dari teori informasi

Dan menerapkan cara penalaran yang mengarah ke (3.18), kami
menemukan bahwa kode dapat dirancang untuk blok-blok i / simbol sumber
berurutan yang jumlah bit rata-rata per simbol memenuhi ketidaksetaraan.
H (Xv) nv H (Xv) 1
≤ < +
v v v v

Selain itu, dengan menggunakan (3.23) dan beberapa aljabar mudah,

dapat dibuktikan bahwa urutan H (Xv) / v1 v = 1,2, ..., tidak meningkat, dan
batasnya adalah Hoo (X); itu adalah.

19
 H ( Xv)
v lim ¿ oo ¿ = Hoo(X)
→ v

Dengan demikian kita dapat melihat bahwa peningkatan v (panjang

blok) membuat kode lebih efisien pada setiap langkah, dan, seperti yang terjadi
hingga tak terbatas, panjang rata-rata nv / v mendekati sumber entropi Hoo (X)
sedekat yang diinginkan; itu adalah.
nv
Hoo(X) ≤ ¿ Hoo(X) + O(v-1), v❑ oo
v →

Harga yang harus dibayar untuk peningkatan efisiensi ini terletak pada
kompleksitas encoder, yang ukuran alfabet inputnya meningkat secara
eksponensial dengan i /, dan dalam penundaan penguraian sandi. Faktanya,
sebelum mendapatkan simbol pertama di setiap blok, kita harus menunggu
decoding dari seluruh blok simbol pada output dari source decoder.
Mengalihkan perhatian kita ke kasus khusus sumber Markov, kita dapat
menerapkan prosedur Huffman untuk menyandikan simbol-simbol alfabet untuk
setiap negara Sj. Ini mungkin memerlukan penggunaan serangkaian kata kode
yang berbeda untuk setiap slate dari sumber. Kinerja prosedur pengkodean seperti
itu mudah diperoleh. Menggunakan Teorema 3.3 dan menunjukkan dengan n (Sj)
jumlah rata-rata digit / simbol alfabet yang digunakan dalam keadaan Sj, kita
memperoleh
H(Sj) ≤ n (Sj) ¿ H(Sj) +1

Jadi, panjang rata-rata kata kode adalah :

q
n = ∑ wjn(Sj)
j=1

Dan memuaskan ketidaksetaraan

Hoo(X) ≤ n ¿ Hoo(X) + 1

Di mana (3.25) telah diperhitungkan

20
3.2. Sumber stasioner diskrit

Contoh 3.7
Mari kita gunakan prosedur Huffman yang bergantung pada keadaan
untuk menyandikan sumber Markov pada Contoh 3.5 dan menghitung
efisiensinya. Menggunakan prosedur pengkodean pohon untuk tiga simbol yang
dapat dipancarkan dari sumber dalam kondisi apa pun, kami memperoleh kode
berikut.

S1 S2 S3
A 11 10 0
B 10 0 11
C 0 11 10
Jumlah rata-rata digit / symbol
3
n = ∑ wjn(Sj) = 1.5054
j=1

Dengan menggunakan hasil Contoh 3.6, kita dapat menghitung efisiensi

kode, yang didefinisikan sebagai
Hoo( X )
ϵ oo≜
n

Dan sama dengan 0,957 dalam hal ini.

Source encoders yang telah kami jelaskan sejauh ini membutuhkan
pengetahuan tentang statistik sumber, sesuatu yang sering sepenuhnya, atau
setidaknya sebagian, tidak dapat dilakukan dalam praktiknya. Sebagai akibatnya,
skema pengkodean universal telah dipelajari secara mendalam, yang
mengkodekan secara efisien kelas sumber yang luas dengan cara yang adaptif.
Skema yang paling dikenal, dan diterapkan secara luas, adalah algoritma Lempel-
Ziv. Algoritma penting ini tidak dijelaskan di sini karena alasan ruang; pembaca
yang tertarik dirujuk ke kertas asli (Ziv dan Lempel, 1977), atau, untuk perawatan

21
umum dan komprehensif dari algoritma pengkodean sumber, ke buku oleh Bell et
al. (1990).

Tingkat informasi sumber stasioner

Dalam definisi kami tentang sumber stasioner diskrit di awal Bagian 3.2,
waktu tidak diperhitungkan. Untuk mengatasinya, kita perlu menempatkan
peristiwa yang membentuk pesan sumber dalam korespondensi dengan urutan
titik pada sumbu waktu. Secara khusus, mari kita asumsikan bahwa sumber
memancarkan simbol yang membentuk pesan pada waktu yang sama, dan bahwa
periode waktu antara dua emisi berturut-turut adalah T3. Dengan demikian kita
dapat menentukan tingkat informasi rata-rata sumber, R3, sebagai
Hoo ( X )
R3 ≜ bit /s
T3

3. Hasil dasar dari teori informasi

Gambar 3.7: Model saluran noise tambahan.

Seperti yang akan kita lihat nanti, penampilan waktu dalam paradigma
kita benar-benar terkait dengan bandwidth saluran yang akan digunakan untuk
menyampaikan informasi.
DAFTAR PUSTAKA
Sergio Benedetto, E. B. (2006). Information Technology Transmission,
Processing and Storage Sergio Benedetto, Ezio Biglieri - Principles of
Digital Transmission With Wireless Applications. New York: Springer.

22
23