INFORMATION THEORY

“Noisy Channel Coding”

Tugas ini Disusun untuk Memenuhi Tugas Mata Kuliah Information Theory

Dosen Pengampu: Gladly C. Rorimpandey S.T, MISD

Disusun Oleh Kelompok 8:

• Sweet Kumontoy (22210171)

• Citra Kalangie (22210133)
• Chelsea Tendean (22210034)
• Tiara Pongmangatta (22210197)
• Gladies Kalalo (22210046)
• Rahellea Onibala (22210026)
• Regina Ratu (22210063)
• Samuel Rombot (22210066)
• Ronauli Siregar (22210101)

PROGRAM STUDI TEKNIK INFORMATIKA

FAKULTAS TEKNIK

UNIVERSITAS NEGERI MANADO

2022
 Pengantar
Dalam information theory, teorema noisy channel coding (Teorema Shannon atau Shannon’s
limit), menetapkan bahwa untuk tingkat kontaminasi kebisingan tertentu pada saluran
komunikasi, dimungkinkan untuk mengkomunikasikan data diskrit (informasi digital) hampir
bebas dari kesalahan hingga tingkat maksimum, yang dapat dihitung melalui saluran. Hasil ini
dipresentasikan oleh Claude Shannon pada tahun 1948 dan sebagian didasarkan pada karya
dan gagasan sebelumnya dari Harry Nyquist dan Ralph Hartley.

Teorema Pengkodean Saluran Bising Shannon mengatakan bahwa jika data tidak dikirim
terlalu cepat, kode koreksi kesalahan itu ada yang dapat memperbaiki semua kesalahan bit yang
diperkenalkan oleh saluran. Sayangnya, Shannon tidak mendemonstrasikan kode koreksi
kesalahan yang akan mencapai prestasi luar biasa ini; sebenarnya, belum ada yang menemukan
kode seperti itu. Hasil Shannon membuktikan bahwa itu ada; sepertinya selalu ada lebih
banyak pekerjaan yang harus dilakukan. Bagaimanapun, itu seharusnya tidak menghalangi
kita untuk mempelajari kode koreksi kesalahan yang umum digunakan yang tidak hanya
menemukan jalannya ke semua sistem komunikasi digital, tetapi juga ke dalam CD dan kode
batang yang digunakan pada barang dagangan.

Shannon limit atau kapasitas saluran komunikasi Shannon, mengacu pada tingkat maksimum
data, yang bebas kesalahan dan secara teoritis dapat ditransfer melalui saluran jika tautan
mengalami kesalahan transmisi data acak, untuk tingkat kebisingan tertentu.

Ini menunjukkan bahwa protokol optimal untuk pengkodean saluran bising informasi publik
atau pribadi melalui saluran klasik atau kuantum dapat langsung dibangun dari dua protokol
teoretis informasi yang lebih primitif: amplifikasi privasi dan rekonsiliasi informasi, juga
dikenal sebagai kompresi data dengan informasi samping. Hal ini dilakukan dalam skenario
one-shot dari sumber daya tanpa struktur, dan merumuskan hasil kami dalam hal entropi
minimal dan maksimal yang mulus. Dalam konteks teori informasi klasik, ini menunjukkan
bahwa pada dasarnya semua protokol dua terminal dapat direduksi menjadi dua primitif ini,
yang pada gilirannya diatur oleh masing-masing entropi min dan maks yang halus. Dalam
konteks teori informasi kuantum, dualitas yang baru-baru ini ditetapkan dari kedua protokol
ini berarti pada dasarnya semua protokol dua terminal dapat dibangun hanya dengan
menggunakan satu primitif. Sebagai ilustrasi, ditunjukkan bagaimana protokol pengkodean
saluran berisik yang optimal dapat dibangun hanya dari amplifikasi privasi.

Apa Itu Noisy Channel?

Channel atau saluran adalah perangkat yang memberikan output jika beberapa input
dimasukkan ke dalamnya. Contohnya saluran telepon yang menghubungkan dua (atau lebih)
set telepon, penyiaran program dari pusat radio ke beberapa perangkat radio, jaringan internet,
sistem saraf, dan lain-lain.
Noisy Channel atau saluran berisik adalah saluran yang secara umum, mendistorsi pesan yang
masuk. Contohnya ketika sambil berbicara melalui ponsel di dalam kereta listrik yang sedang
berjalan, umumnya kita tidak dapat mendengar dengan baik suara orang lain yang kita ajak
bicara. Hal ini terjadi karena adanya interferensi jaringan telepon seluler dengan medan
elektromagnetik yang disebabkan oleh listrik overhead kawat kereta api. Jadi, di sini bidang
em menyebabkan kebisingan sistem jaringan seluler.

Bagaimana Sebuah Channel Bekerja?

(1) Ekspresikan pesan, untuk dikirim melalui saluran, dalam hal serangkaian huruf yang
dipilih dari apriori tetap alfabet. (mis. gelombang suara ucapan anda melalui perangkat
telepon diubah menjadi aliran beberapa sinyal elektromagnetik dasar)
(2) Untaian huruf ini kemudian dimasukkan ke saluran (Aliran em sinyal melewati kabel
telepon).
(3) String huruf yang lain diproduksi pada output dari saluran (Aliran sinyal em
direproduksi di penerima akhir saluran telepon).
(4) Rangkaian huruf output kemudian diubah menjadi pesan baru, yang mungkin atau tidak
mungkin sama dengan pesan aslinya (Aliran sinyal output em kemudian diubah
menjadi gelombang suara yang pada gilirannya, mungkin sama atau tidak sama dengan
input).

Contoh dari Noisy Channel:

Contoh (1) Saluran biner tanpa suara: Di bawah aksi saluran, 0 → 0 dan 1 → 1. Jadi setiap
bit dapat dikirim melalui saluran dengan cara yang bebas dari kesalahan.

Contoh (2) Saluran dengan keluaran yang tidak tumpang tindih: Di bawah aksi saluran, 0
→1 dengan probabilitas 1/2, 0 → 2 dengan probabilitas 1/2, dan 1 → 3 dengan probabilitas
1/2, 1→4 dengan probabilitas 1/2. Meskipun korespondensi antara input dan output tidak
dalam mode satu-ke-satu, melihat outputnya, seseorang dapat memprediksi input secara unik.
Jadi masing-masing bit dapat dikirim melalui saluran dengan cara yang bebas noise.

Contoh (3) Mesin ketik bahasa Inggris yang berisik: Di bawah aksi saluran, huruf-huruf
diubah menjadi: dengan probabilitas 1/2, a → a dimana dengan probabilitas 1/2, ab; dengan
probabilitas 1/2, b → b sedangkan dengan probabilitas 1/2, b; dengan probabilitas 1/2, y → y
sedangkan dengan probabilitas 1/2, y; dengan probabilitas 1/2, sedangkan dengan probabilitas
1/2, a. Namun simbol tanda baca serta angkanya tetap utuh. Jika kita menganggap suatu
paragraf yang hanya melibatkan huruf (bersama dengan simbol tanda baca dan angka) a,c,...,y,
maka paragraf tersebut dapat diketik secara utuh oleh mesin. Jadi, dalam hal ini saluran akan
bekerja dengan bebas noise pada huruf a, c... Y.

Contoh (4) Saluran simetris biner: Diberikan fraksi yang tepat p, di bawah aksi saluran, 0 →
0 dengan probabilitas (1 - p), 0 → 1 dengan probabilitas, dan secara simetris, 1 → 1 dengan
probabilitas (1 - p), 1 → 0 dengan probabilitas p. Melihat keluarannya, tidak mungkin
memprediksi dengan pasti mengenai masukannya. Jadi, bit-bit tersebut tidak dapat dikirimkan
melalui saluran ini dalam tata krama bebas kesalahan.

Contoh (5) Saluran penghapusan biner: Diberikan fraksi yang tepat p, di bawah aksi saluran,
0 → 0 dengan probabilitas (1 - p), 0 dihilangkan dengan probabilitas p, dan 1 → 1 dengan
probabilitas (1 - p), 1 hilang dengan probabilitas p. Melihat output yang hilang, tidak mungkin
untuk memprediksi dengan pasti mengenai inputnya.

Contoh (6) Saluran simetris: Diberikan setiap distribusi probabilitas diskrit (p1,p2,…,pd)
(dengan demikian p1 + p₂+…+ pa= 1 dan pi; adalah probabilitas), di bawah aksi saluran, 1 → 1
dengan probabilitas p₁, 1→2 dengan probabilitas p2,..., 1→d dengan probabilitas pd; 2→1
dengan probabilitas p1(2), 2→2 dengan probabilitas p2(2),..., 2→d dengan probabilitas pd(2) ;…;
d→1 dengan probabilitas p1(d), d→2 dengan probabilitas p2(d),…,d → d dengan probabilitas
pd(d) dimana (p1(2),p2(2),…,pd(2)),…,(p1(d),p2(d),…,pd(d)) adalah permutasi dari baris (p1, p2,....,pa)
sedangkan (p2,p2(2),…, p2(d)),...,(pd, pd(2),…, pd(d)) adalah permutasi dari kolom (p1,p1(2),...,p1(d)).
Contoh (4) adalah kasus khusus dari itu.

Teorema pengkodean Noisy Channel dan kebalikannya

Mengingat setiap tingkat R kurang dari kapasitas C, terdapat urutan ([2nR], n) kode untuk DMC
tanpa umpan balik dengan λ(n) → 0. Sebaliknya, setiap urutan ([2nR], n) kode untuk DMC tanpa
umpan balik dengan λ(n) → 0, kita harus memiliki R ≤ C.

Kesimpulan
• Apa yang kita maksud dengan informasi klasik dari suatu data: diberikan oleh entropi
Shannon dari distribusi probabilitas dari kejadian yang berbeda dari data tersebut.

• Sejauh mana seseorang dapat memampatkan data: untuk ukuran string yang besar dari
peristiwa yang berbeda dari data, sekali lagi diberikan oleh entropi Shannon dari distribusi
probabilitas dari peristiwa yang berbeda dari data tersebut, per satuan panjang string.

• Berapa kecepatan transmisi data maksimum melalui saluran yang berisik: untuk
mengirimkan serangkaian peristiwa yang panjang melalui saluran, kecepatan maksimum tidak
dapat melewati informasi timbal balik dari input dan output variabel acak per penggunaan
tunggal dari saluran.
 Referensi

"Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas

(Wiley-India, 2006).

"Information Theory" by R. B. Ash (Interscience, New York, 1965).

"Information Theory and Reliable Communication" by R. G. Gallager (John

Wiley and Sons, Inc., New York, 1968).

"Science and Information Theory" by L. Brillouin (Academic Press, New York,

1962).

"Information Theory, Inference, and Learning Algorithms" by David J. C.

Mackay (Cambridge Univ. Press, 2003) from the website address:
http://www.inference.phy.cam.ac.uk/mackay/itila/book.html