Konsep Dasar Teori Informasi

Kuliah-2

Informatika
Universitas Siliwangi
Data
Data menurut merupakan refresentasi fakta berupa teks,
gambar, suara, video (Mosley dkk, 2009).

Secara teknis data merupakan bentuk nyata dari bahasa

latin yang berarti fakta. Informasi merupakan data dalam
konteks. Tanpa konteks data tidak berarti apa-apa.

Agar data menjadi bermakna perlu untuk

meninterpretasikan konteks yang terdapat di sekeliling
data.
 Data, Informasi, Knowledge
 Data merupakan bahan mentah
informasi. Informasi yang
dihasilkan membantu
Pola & Tren
pengambilan keputusan. Hubungan Pengetahuan
Asumsi
 Pengetahuan merupakan
Definisi
pemahaman, kesadaran, Format Informasi
Batasan Waktu
pengenalan tentang situasi dan Relevansi
kebiasaan dengan Data
kompleksitasnya.
 Pengetahuan merupakan informasi
dalam perspektif, diintegrasikan
ke dalam sudut pandang
berdasarkan pengenalan dan
interpretasi terhadap pola tertentu.
 Jenis Data
 Data merupakan kumpulan dari sederetan fakta dimana kemudian dapat dilakukan proses
untuk mendapatkan informasi. terdapat banyak bentuk data yang dapat kita ambil.

 Beberapa bentuk data yang biasa dipergunakan, adalah sebagai berikut:

A. Teks
1. Teks merupakan satu kesatuan yang terdiri dari susunan huruh baik huruf besar
maupun huruf kecil serta beberapa simbol yang termasuk didalamnya.
2. Teks tersimpan pada bits. sistem pengkodean yang biasa dipergunakan dalam teks
adalah: ASCII (American Standard Code for Information Interchange) dan Unicode
3. ASCII mewakili huruf kecil dan huruf besar, angka, dan symbol (127-128 Karakter , AZ,
az, 0-9, tanda baca, karakter baris baru, dan sebagainya.)
4. Unicode mewakili semua huruf Arab, Inggris, dan bahasa lainnya.
Jenis Data
B. Angka
1. Angka terdiri dari kombinasi bit 0 sampai 9.
2. Angka tersimpan pada bits. sistem pengkodean yang biasa
dipergunakan dalam angka adalah: ASCII dan Unicode
C. Gambar
1. Sebuah pixel merupakan elemen terkecil dari gambar.
secara sederhana dapat dijelaskan bahwa sebuah gambar
terdiri dari matrik elemen gambar atau pixel.
2. Pixel biasa dinyatakan dalam satuan bit. besarnya bit
tergantung dari tipe gambar (hitam, putih atau berwarna)
masing masing pixel akan membutuhkan angka yang
berbeda untuk menunjukan nilai dari besaran pixel.
Jenis Data
C. Audio
1. data juga dapat berbentuk suara yang dapat
disimpan dan disebarkan. contoh: apa yang kita
dengar dalam radio merupakan sebuah sumber
data atau informasi.
2. Audio bersifat kontinyu (hasil pengukuran) dan
bukan diskrit (hasil perhitungan).
D. Video
1. Istilah video merujuk pada penyebaran data dalam
bentuk gambar bergerak atau film.
2. format video biasanya dalam bentuk: WMV, FLV,
MP4, dll
Definisi Teori Informasi
Teori informasi adalah pendekatan matematika
untuk mempelajari pengkodean informasi
bersama dengan kuantifikasi (pernyataan
satuan dalam angka), penyimpanan, dan
komunikasi informasi.
Konsep ini pertama kali diajukan oleh Claude E.
Shannon sehingga Claude Shannon di sebut
sebagai bapak teori informasi.
Definisi Teori Informasi
Teori informasi adalah konsep yang sangat
berguna untuk praktisi machine learning karena
memungkinkan kita untuk melihat algoritma
pembelajaran dari perspektif informasi-teoritik.
Aplikasi dari teori informasi diantaranya adalah
pada bidang linguistik, kompresi data, jaringan
komputer dan bionformatika.
Kasus penggunaan yang paling umum untuk teori
informasi adalah untuk distribusi probabilitas dan
untuk mengukur kesamaan antara dua distribusi
probabilitas.
Definisi Teori Informasi
Dalam teori informasi ada istilah redudansi
informasi.
Redudansi adalah sesuatu yang bisa diramalkan
atau diprediksikan karena prediktabiltasnya tinggi
maka informasi pun rendah.
Fungsi redudansi apabila dikaitkan dengan
masalah teknis, biasanya untuk membantu
mengatasi masalah komunikasi praktis. Contoh
ketika kita mengetik pada keyboard qwerty sering
muncul prediksi kata dan text prediksi/ saran
otomatis
Sumber Informasi
Sumber informasi adalah suatu obyek yang
menghasilkan event, dimana keluaran sumber
informasi tergantung dari distribusi probability
Dalam praktek, sumber informasi dapat dianggap
sebagai suatu device yang menghasilkan pesan, dan
dapat berupa analog atau diskrit
Pada sumber informasi diskrit akan menghasilkan
sekumpulan (set) simbol yang disebut SOURCE
ALPHABET. Dan elemen dari set source alphabet
disebut SIMBOL.
Besaran-besaran dalam Teori Informasi
 Sumber Informasi
 Kandungan Informasi
 Entropy  satuan pengukuran utama dalam teori informasi
 Joint Entropy  Ukuran yang memperkirakan jumlah informasi
dalam dua atau lebih gambar gabungan.
 Conditional Entropy 
Mengukur berapa banyak entropi suatu variabel acak X memiliki
sisa jika kita telah belajar nilai dari suatu variabel acak kedua Y
 Mutual Information
Yang didefinisikan sebagai fungsi Peluang / Distribusi Peluang
 Kapasitas Kanal (Saluran)
laju kecepatan maksimum untuk transmisi data pada suatu jalur
komunikasi.
Nilai Informasi
n bit dapat membedakan 2n hal

2 bit 00

01
1 dan 0
10
11
Satuan Informasi
1000 bit  1 Kilobit  1 Kb
1000 Kb  1 Megabit  1 Mb
1000 Mb  1 Gigabit  1 Gb
1000 Gb  1 Terrabit  1 Tb
1 Byte 1 B = 8 s/d 10 bit
Kapasitas Informasi
1 bit per second  1 bps
1000 bit per second  1 Kbps
1000 Kbps  1 Mbps
1000 Mbps  1 Gbps