INFORMATION THEORY

Kelompok 1 :
Hazel Raditya Mizumareru (1806194851)
Jonathan Richard (1806147930)
Kevin Geovany (1806147956)
Magioti (1806194933)
Ones Sanjerico (1806147994)
Riefky Arif Ibrahim (1806194725)
Riko Adisatya (1806195311)
Differences between data and
information
Data adalah bahan mentah yang kelak dapat diolah lebih lanjut untuk menjadi
sesuatu yang lebih bermakna.
Bentuknya : teks, gambar, audio, video, dan data terformat.

Informasi adalah adalah sekumpulan data yang sudah mengalami pemrosesan dan
memiliki makna sehingga dapat digunakan oleh pengguna.
Dalam bentuk terkecilnya, informasi hanya sebatas true (1) dan false (0).
Characteristics of the quality of
information effectiveness
Informasi :
1. Akurasi
2. Delivery
3. Timelines
What is Information Theory?
• Sebuah disiplin ilmu dalam bidang matematika terapan yang
berkaitan dengan kuantitas data sehingga data atau informasi dapat
disimpan dan dapat dikirimkan tanpa kesalahan melalui suatu kanal
komunikasi.
Benefits of Information Theory

● Kita dapat mengetahui dan memahami makna informasi.

● Kita dapat mengetahui dan memahami makna teori informasi.
● Kita dapat mengetahui dan memahami beberapa konsep yang
membentuk teori informasi.
● Kita dapat mengetahui dan memahami model transmisi informasi.
History of Information Theory
• Claude Shannon dikenal sebagai Bapak Teori Informasi.
• “A Mathematical Theory of Information” tahun 1948.
• Berkembang pasca Perang Dunia II.
• Teori informasi dibuat dengan pendekatan matematis sehingga teori
ini sangat banyak manfaatnya.
Sistem Komunikasi Umum
Entropi Informasi
Entropi adalah konsep keacakan, di mana terdapat suatu keadaan yang
tidak dapat dipastikan kemungkinannya.
Entropi timbul jika prediktabilitas rendah (low predictable) dan
informasi yang ada tinggi (high information).
Redundansi Informasi
Redundansi adalah sesuatu yang bisa diprediksikan.
Redundansi memiliki prektabilitas yang tinggi dan informasi yang
rendah.
Main Goal
• How can we measure information?
• How can we prevent errors?
• What if the Information gets corrupted?
Prerequiste : Probabilitas dan Proses
Stokastik
Peluang atau bisa disebut probabilitas adalah cara untuk mengungkapkan
kepercayaan atau pengetahuan bahwa suatu kejadian akan berlaku atau telah
terjadi

Proses stokastik (acak) merupakan perluasan dari konsep variabel acak

dengan memasukkan waktu. Kata proses dalam konteks ini berarti fungsi dari
waktu.
PELUANG
Biasanya kemunculan sebuah peluang berada di rentang nilai antara 0 sampai 1.

0 ≤ P(k) ≤ 1

Dalam ilmu matematika, nilai 0 pada bentuk di atas nunjukin kalo peluang sebuah
kejadian bakalan terjadi adalah tidak mungkin terjadi. Begitu juga sebaliknya, jika
peluang kejadian menunjukkan angka 1 maka peluang terjadinya kejadian tersebut
adalah pasti.
Cara Menghitung Peluang
Melihat dari Data (Frekuensi Harapan)
Contoh : Hazel melempar dadu sebanyak 100 kali, setelah hasilnya
dicatat, terlihat bahwa Hazel memperoleh angka 1 sebanyak 15 kali,
angka 2 sebanyak 20 kali, angka 3 sebanyak 15kali, angka 4 sebanyak 25
kali, angka 5 sebanyak 10 kali, angka 6 sebanyak 15.
Artinya , peluang dari :
● Munculnya angka 1 adalah 15/100
● Munculnya angka 2 adalah 20/100
● Munculnya angka 3 adalah 15/100
● Munculnya angka 4 adalah 25/100
● Munculnya angka 5 adalah 10/100
● Munculnya angka 6 adalah 15/100
Permutasi dan Kombinasi
Permutasi adalah banyaknya cara untuk menyusun sebuah susunan dari
beberapa anggota dari sebuah himpunan dan memiliki pengulangan dalam
penyusunannya.

Kombinasi adalah cara penyusun suatu unsur pada suatu kejadian yang Tidak
memperhatikan Urutan .
Contoh Soal

Sebuah kantong berisi 6 kelereng putih, 4 kelereng biru dan 3

kelereng merah. Banyak cara pengambilan 3 kelereng putih dari
kantong tersebut adalah…
Pembahasan
Karena akan dipilih 3 kelereng dari 6 kelereng, maak gunakan
kombinasi 3 dari

banyak kombinasi warna yang dihasilkan adalah 20 cara

Peluang Kejadian Majemuk
Peluang kejadian majemuk ngejelasin tentang suatu kejadian
yang dilakukan lebih dari satu kali bakalan ngehasilin kejadian
baru.

P(A U B) = P(A) + P(B) – P(A ∩ B)

Contoh Soal
Dari 45 siswa pada suatu kelas, diketahui 28 siswa suka
Matematika, 22 siswa suka bahasa Inggris, dan 10 siswa suka
kedua-duanya. Jika seorang siswa dipilih secara acak, tentukan
peluang siswa yang terpilih adalah yang menyukai Matematika
atau bahasa Inggris!
Pembahasan
Jawab :
n(S) = 45
Suka Matematika, n(M) = 28
Suka Bahasa Inggris, n(B) = 22
Suka keduanya, n(M ∩ B ) = 10
Peluang terpilih yang suka Matematika atau Bahasa Inggris ialah:
Peluang Saling Bebas (joint)
Peluang saling bebas nunjukin jika kejadian yang terjadi pada A
tidak berpengaruh terhadap kejadian B

P(A ∩ B) = P(A) x P(B)

Contoh Soal
Andi melempar dua buah dadu, berapakah peluang muncul
angka genap prima pada dadu pertama dan angka ganjil pada
dadu kedua !
 Pembahasan
A={2}, maka P(A) = 1/6

B = {1,3,5}, maka P(B) = 3/6

Kejadian A tidak mempengaruhi kejadian B, maka digunakan rumus:

Jadi, peluang muncul angka genap prima pada dadu pertama dan
angka ganjil pada dadu kedua adalah 0,5.
Peluang Saling Lepas
Peluang saling lepas nunjukin jika tidak adanya kejadian yang
sama antara kejadian satu dengan kejadian lainnya sehingga
kedua kejadian ini nggak saling mempengaruhi

P(A U B) = P(A) + P(B)

Contoh Soal
Dua buah dadu yang saling dilantunkan akan muncul 36 sampel
keseluruhan. Misalkan A merupakan kejadian munculnya mata
dadu berjumlah 2 dan B merupakan kejadian munculnya mata
dadu berjumlah 4, maka tentukan peluang muncunya mata dadu
berjumlah 2 atau 4 !
Pembahasan
n (S) = 36
A = {(1, 1)} = 1
B = {(1, 3), (2,2), (3,1)} = 3

Sehingga peluang munculnya mata dadu berjumlah 2 atau 4

adalah:
P(A∪B)=P(A)+P(B) = 1/36 + 3/36 = 4/36 = 1/9
Peluang Bersyarat / Conditional Probability
Peluang dimana salah satu kejadian muncul yang berkaitan dengan satu
atau kejadian lainnya.
Contoh Soal :
Hari ini Riko berangkat kuliah. Sedangkan kondisi lalu lintas cukup padat.
• Peluang Riko terjebak di lalu lintas sebesar 50%
• Peluang Riko terlambat masuk kelas karena terjebak di lalu lintas sebesar
50%
Chapter I : How can we Measure
Information? (goal 1)
• 
Intuitive Approach #1
Bagaimana cara kita menyimpan
bagian koin mana yang sedang
muncul (Head atau Tails?)
Adalah dengan menanyakan :
Apakah Yang sedang muncul Head?
Jika YA = 1, jika TIDAK = 0
Maka ukuran data = 1 Bit karena
HANYA ADA 1 PERTANYAAN YANG
H T DITANYAKAN
Intuitive Approach #2
Bagaimana kita menyimpan
Ada 4 Huruf sebuah abjad?

ABCD ABCDEFGHIJ
KLMNOPQRS
TUVWXYZ
Jumlah pertanyaan yang ditanya ada 4-
5 pertanyaan, maka besar data adalah
4 X 4 atau 4 X 5 = 16-20 Bit
Pembuktian Matematis
• 
Bagaimana jika peluang munculnya objek tertentu tidak sama?
Intuitive Approach
Sebut saja kita mau mentransmit 5 huruf yang hanya terdiri atas huruf
A, B , C, D , jika peluang semua huruf sama (A 25%, B 25%, C 25%, D
25%) Apakah itu antara A dan B?
1 0

Apakah itu A? Apakah itu C?

1 0 1 0

A B A B

Jumlah Pertanyaan sebanyak 2 ( Entropy = 2 bit)

Namun jika..
`

Apakah itu A?
1 0
Apakah itu B?
A 1 0

B Apakah itu C?
1 0

C D
Kasus Koin #2

50% 50%
75% 25%
Mathematical Approach
• 
Contoh Soal : Kasus ABCD #2
• 
 Kasus Koin #1 Kasus Koin #2

50% 50% 75% 25%

1 Bit /Codeword 0.81125 Bit/Codeword
Kasus ABCD#1 Kasus ABCD#2
ABCDEFGHIJ ABCDEFGHIJ
KLMNOPQRS KLMNOPQRST
TUVWXYZ UVWXYZ
4.7 Bit/Codeword 4 Bit/Codeword
Compression
Adalah Proses melihat kecenderungan munculnya objek tertentu pada
sekumpulan data sehingga ukuran data dapat dikurangi.
Contoh proses kompresi : MP3, MP4, JPEG, MKV.
Joint Probability & Joint Entropy
“Joint probability is a statistical measure that calculates the likelihood
of two events occurring together and at the same point in time. Joint
probability is the probability of event Y occurring at the same time that
event X occurs.”
JP = P(A) X P(B)
Contoh :
Peluang muncul kartu hati merah adalah 1/4, muncul kartu bernomor 6 adalah
1/13. Peluang muncul kartu hati merah bernomor 6 disebut joint probability
antara nomor 6 dan kartu hati merah, yakni 1/13 * ¼ = 1/52.
Penurunan Rumus
P(A,B) = P(A) X P(B)
H=P
Contoh soal
Tentukan joint entropi dari dua koin yang diflip 1 kali secara bersamaan
Jawab:
• Terdapat 2 koin, yaitu Koin1 dan Koin2
• Asumsikan Koin1(X) dan Koin2(Y)
• Masing-masing koin memiliki 2 sisi, yaitu Kepala dan Ekor
Koin2 Koin1 Kepala Ekor

Kepala 0.25 0.25

Ekor 0.25 0.25

H(X,Y) = -0.25 log 1/0.25-0.25 log1/0.25-0.25 log1/0.25-0.25 log1/0.25
= 0.602
Conditional Entropy
Mengkuantisasi sejumlah informasi yang dibutuhkan untuk mencari
outcome dari variable Y dengan menggunakan variable X.

• H(Y|X) = 0, jika dan hanya jika, nilai peluang Y dipengaruhi nilai

peluang X.
• H(Y|X) = H(Y), jika dan hanya jika, Y dan X merupakan variable
independen.
Mutual Information
Informasi mutual dari dua variabel yang random

• I(X;Y) = H(X)-H(X|Y) atau I(X;Y)=H(X)+H(Y)-H(X,Y)

Kullback-Leibler Divergence
Suatu cara untuk membandingkan dua distribusi:
• p(X) = True probability distribution
• q(X) = Arbitrary probability distribution
 Chapter 2 : How can we transmit data, Prevent and
Correct Errors Efficiently (goal 2&3)

Diagram blok sistem telekomunikasi

ones
 Source Coding and Channel Coding!
Dengan teknik mengkodekan data pada Source Coding dan Channel Coding

1’s
 Source Coding
SOURCE CODING (Pengkodean sumber) bertujuan untuk mengubah
bentuk gelombang informasi (teks, audio, gambar, video, dll.) menjadi bit

3 langkah konversi ke biner.

1.Sampling => 2. Quantization => 3.Data compression
(Source Coding)

1’s
 Data Compression
Terbagi menjadi 2 TIPE ;
1. METODE LOSSLESS
( perngarsipan artikel
teks,catatan bank dll)
2. METODE LOSSY
( gambar, video, audio dll)

1’s
bagian ones
 Perbedaan LOSSLESS dan LOSSY
· Lossless memungkinkan data asli · Lossy merupakan metode untuk
dapat disusun kembali dari data kompres mengkompresi dan mendekopresi data.

· Lossless mengkompresi data untuk · Lossy mengkompresi data menjadi

diterima dalam kondisi asli lebih kecil tetapi dibandingkan lossless
· Hasil kompresi Lossles menghasilkan Lossy menghasilkan data yang lebih
data dengan ukuran yang sama kecil

· Rasio kompresi lossless lebih rendah rasio kompresi pada lossy lebih tinggi

bagian ones
Keuntungan dilakukan kompresi
1. Ukuran file/ data yang dikompres semakin kecil
2. Memberikan ruang lebih untuk penyimpanan
3. Tetap mempertahankan isi file/data
4. Segi STEGANOGRAFI, mendapatkan hasil kompresi
dengan mempertahankan nilai pixel yang sudah
dikompresi
Huffman
David A. Huffman
Coding
Salah satu teknik Source Karya pertama tahun 1952
Coding, Sebuah tipe kode berjudul “ A Method for
yang optimal yang the Construction of
biasanya digunakan untuk Minimum Redundancy
lossless data compression. Codes"
1. Tentukan kode biner
Huffman dari x
2. Tentukan panjang kode
yang diharapkan pada
pengkodean ini
panjang kode yang diharapkan =
(0.25*2) + (0.25*2) + (0.2*2) +
(0.15*3) + (0.15*3)

= 2.3
Channel Coding
Berikut merupakan Diagaram blok sistem transmisi:
Tujuan dari error deteksi

Tujuan utama dari teknik error deteksi dan koreksi ini adalah untuk
memperbaiki performansi sistem transmisi data digital dengan
menambahkan bit redudansi.
Channel Coding
Hasil Source Coding
A 00
B 01
C 001
D 0001
Bisa ditambah parity bit untuk mencegah dan memperbaiki error
A 0000, B 0001, C 00001 , D 000001
Tipe dasar Channel Coding
1. Block Code
Block Code merupakan salah satu kode yang bersifat FEC (Forward
Error Correction).
2.Convolutional Code
Pada Convolutional Code urutan bit informasi tidak dikelompok-
kelompokkan dalam blok-blok yang berbeda sebelum dikodekan.
Algoritma Viterbi
Sebagai pengoreksi dan pendeteksi kesalahan pada Convolutional
Coding. Berikut merupakan machine state dan treelis diagramnya:
Algoritma Viterbi
Error Detection & Correcting
Ketika terjadi perbedaan antara data input dan output pada transmisi
itu disebut dengan error.
Error Detection Codes & Correcting
- Error Detection Codes adalah proses mendeteksi kesalahan yang
berada dalam data yang dikirim dari transmitter ke receiver.

- Error Correcting Codes adalah Kode yang digunakan untuk mendeteksi

kesalahan dan mengoreksi kesalahan tersebut.
● Single bit error correction
● Burst error correction
Hamming Distance
-Merupakan perbedaan simbol pada posisi yang sama antara 2 string
yang memiliki panjang sama.

The Hamming distance antara:

• “karolin” dan “kathrin” adalah 3.
• “karolin” dan “kerstin” adalah 3.
• 1011101 dan 1001001 adalah 2.
• 2173896 dan 2233796 adalah 3.
Contoh Soal
Berapa Hamming Distance dari :
● 1111001 dan 0000111
● “Ones” dan “Kevin”

Jawaban :
A. Hamming Distance = 6
B. Tidak Dapat Ditentukan karena beda jumlah.
Hamming Distance Decoding Rule
M=3 : {000,001,010,011,100,101,110,111}
Code Words N=3 : {A(010),B(100),C(101),D(110)}
Jika kode yang direceive masuk kedalam himpunan tersebut, maka akan
langsung didecode menggunakan code word tersebut

Jika Tidak??
Kemungkinan:
M - N = (000,001,011,111}
 Hamming Distance Decoding Rule
Bit 010 100 101 110
Bit Min Hamming Distance Decision

000 1 1 2 2 000 010,100 Error Detection

001 101 Error Correction

001 2 2 1 3
011 010 Error Correction

111 101,110 Error Detection

011 1 3 2 2

111 2 2 1 1
Transform Coding
RIEFKY ARIF IBRAHIM
 Transform Coding?
• Teknik pengkodean dengan mentransformasikan informasi
(gambar, video, suara) dari domain tertentu ke domain lainnya.
• Tujuan: Memudahkan kompresi informasi

Transform Transform
Informasi Kompresi Kanal Dekompresi Informasi
Coding Decoding

Pengirim Penerima

Kanal: Saluran untuk pengiriman/ penyimpanan

Transform Coding pada (informasi) Gambar (N x M
pixel)
Matriks output = Hasil Transformasi
N
8 Matriks input

M 8 =X Y = AX

Matriks transformasi Syarat: Orthogonal atau

Othonormal (lebih baik)

Alasan: Agar bisa diinverse kan.

Othonormal lebih baik karena
lebih mudah dicari inversenya.

Contoh Matriks transformasi:

Karhunen-Loeve Theorem (KLT), Haar, Walsh-Hadmard,
Slant, Discrete Fourier Transform (DFT), Discrete Cosine
Transform (DCT), dsb.
 DCT 1 dan 2 Dimensi
1 Dimensi
• DCT Encoding 2 Dimensi
• Y = AX • Y = AXAT
• Matriks A • DCT Encoding
• •

• DCT decoding = Inverse DCT

•

• DCT decoding = Inverse DCT

• X = A-1 Y •
•

• •
 Kuantisasi (Quantizing): bag. 1
Luminance

•Tujuan: Mengelompokkan koefisien pada nilai

tertentu
•Caranya: Y’(u,v) = Round ((Y(u,v))/(Q(u,v))); fungsi
ini membagi Y dengan matriks kuantisasi Q dan
membulatkan hasilnya dalam integer
•Y(u,v): Matriks koefisien hasil DCT
•Y’(u,v): Matriks koefisien hasil DCT setelah Chrominance
kuantisasi
•Q(u,v): Matriks kuantisasi. Gambar JPEG
menggunakan 2 jenis, yaitu Luminance dan
Chrominance.
 Kuantisasi (Quantizing): bag. 2
Luminance

•Matriks koefisien hasil DCT setelah Kuantisasi,

Y’(u,v) terdiri dari komponen: AC dan DC

•Hasil Kuantisasi bisa menghasilkan nilai koefisien

0 (nol) pada komponen AC nya.

Chrominance
•Penyusunan Zig-Zag: Komponen AC dan DC
diurutkan dengan pola Zig-Zag seperti gambar di
samping: 185 3 1 0 1 1 1 … 0