Tugas 1: Entropy

TUGAS INDIVIDU 1

TEORI INFORMASI DAN PENGKODEAN ENTROPY

OLEH:

PUTU NOPA GUNAWAN NIM : D411 10 009

JURUSAN TEKNIK ELEKTRO FAKULTAS TEKNIK UNIVERSITAS HASANUDDIN 2013

1

Putu Nopa Gunawan / D411 10 009

Tugas 1: Entropy

Pengertian Entropy Entropy adalah suatu istilah dalam hukum termodinamika yang menunjukkan suatu ukuran ketidakpastian dari suatu sistem. Entropy juga dapat dikatakan sebagai suatu parameter untuk mengukur tingkat

keberagaman (heterogenitas) dari kumpulan data. Semakin heterogen, nilai entropy semakin besar. Entropy merupakan sebuah konsep acak, di mana terdapat keadaan yang kemungkinannya tidak pasti. Entropy timbul jika prediktabilitas atau kemungkinannya rendah (low predictable) dan informasi yang ada tinggi (high information) Biasanya entropy digunakan sebagai sebuah metode pembobotan. Metode pembobotan entropy merupakan metode pengambilan keputusan yang memberikan sekelompok kriteria, dan menaksir preferensi suatu bobot menurut penilaian. Entropy menyelidiki keserasian dalam diskriminasi diantara sekumpulan data. Sekumpulan data nilai alternatif pada kriteria tertentu digambarkan dalam Discision Matrix (DM). Menggunakan metode entropy, kriteria dengan variasi tertinggi akan mendapatkan bobot tertinggi. Jika biasanya entropy digunakan dalam bidang termodinamika, namun saat ini entropy tidak terbatas penggunaannya hanya dalam ilmu

termodinamika saja, tetapi juga dapat diterapkan dalam bidang lainnya. Entropy dapat diaplikasikan untuk pembobotan atribut-atribut, hal ini dilakukan oleh Hwang dan Yoon (1981). Menurut Jean Charles Pomerol dan Sergio Barba Romero, konsep utama dari metode ini adalah pengukuran kriteria j melalui fungsi tertentu sesuai dengan kuantitas informasi yang diberikan. Bobot kriteria j dinilai melalui pengukuran dispersi aksi aj. Kriteria yang paling penting adalah criteria yang paling kuat mendiskriminasikan tiap nilai dalam aksi-aksi aj tersebut. Istilah entropi pertama sekali digunakan dalam teori informasi yang dikembangkan sekitar tahun 1940 oleh Claude Shannon di laboratorium Bell. Istilah ini dipakai dalam bidang thermodinamika untuk menandai adannya

Putu Nopa Gunawan / D411 10 009

Tugas 1: Entropy

sejumlah gangguan pada sistem fisika. Dalamkonteks kompresi data, entropi digunakan untuk merepresentasikan batas bawah (lower bound) dari jumlah rata rata bit per satu nilai input yaitu rata rata panjang codeword yang digunakan untuk mengkodekan input. Teori informasi memanfaatkan terminologi entropi sebagai tolak ukur seberapa besar informasi yang dikodekan pada sebuah data. Entropi merupakan suatu ukuran informasi yang dikandung oleh suatu data dan digunakan sebagai ukuran untuk mengukur kemampuan kompresi dari data. Input berupa himpunan simbol S = {s1, s2, s3, ..., sn} dengan probabilitas P = {p1, p2, p3, ...,pn} yang secara matematis dapat ditulis sebagai berikut.

Di mana : n = jumlah simbol; pj = probabilitas simbol ke-j Misalkan terdapat rangkaian P = abaabcda dalam alphabet {a,b,c,d} maka didapatkan masing-masing probabilitas dari setiap simbol P(a) = 0.5 , P(b) = 0.25 , P(c) = 0.125 dan P(d) = 0.125. Untuk mengkompresi rangkaian data tersebut sebetulnya dapat dengan cara yang paling sederhana yaitu dengan menggunakan 2 bit per simbol {00, 01,10, 11} sehingga menghasilkan jumlah bit = 8 * 2 bit = 16 bit. Tetapi sesuai dengan rumus di atas entropi yang diperoleh adalah H(P) = (0.5, 0.25, 0.125, 0.125) = 0.5 x 1 + 0.25 x 2 + 2 x 0.125 x 3 = 1.75 bit. Dengan kata lain dibutuhkan rata rata 1.75 bit untuk merepresentasikan data tersebut. Dari hasil tersebut maka didapatkan jumlah bit = 8 * 1.75 = 14 bit untuk mengkompresi rangkaian kata tersebut sehingga menghasilkan 2 bit lebih sedikit dibandingkan dengan cara yang paling sederhana. Metode entropy coding adalah pengkodean data dengan BPS (Bit Per Simbol) untuk tiap alphabet yang mendekati nilai entropi, karena semakin dekat BPS dari alphabet tersebut dengan nilai entropi semakin efisien pula kode kompresi tersebut

Putu Nopa Gunawan / D411 10 009

Tugas 1: Entropy

Langkah langkah Pembobotan Entropy Adapun langkah-langkah pembobotan dengan menggunakan metode entropy adalah sebagai berikut: 1. Semua pengambil keputusan harus memberikan nilai menunjukkan kepentingan suatu kriteria tertentu yang

terhadap

pengambilan keputusan. Tiap pengambil keputusan boleh menilai sesuai preferensinya masing-masing. Dalam penelitian ini metode penilaian adalah menggunakan angka integer ganjil antara 1 sampai 9. Tiap angka menunjukkan tingkat kepentingan tertentu, mulai dari angka 1, yaitu sangat tidak penting, sampai angka 9 yang menunjukkan bahwa kriteria tersebut sangat penting 2. Kurangkan tiap angka tersebut dengan nilai paling ideal, dalam penelitian ini adalah angka 9. Hasil pengurangan tersebut dinyatakan dengan kij. 3. Bagi tiap nilai (kij) dengan jumlah total nilai dalam semua kriteria

dimana m = jumlah pengambil keputusan;

n = jumlah kriteria

4. Menghitung nilai entropy untuk tiap kriteria dengan rumus berikut :

5. Hitung dispersi tiap kriteria dengan rumus berikut :

6. Karena diasumsikan total bobot adalah 1, maka untuk mendapatkan bobot tiap kriteria, nilai dispersi harus dinormalisasikan dahulu, sehingga :

Putu Nopa Gunawan / D411 10 009

Tugas 1: Entropy

Metode entropy cukup powerful untuk menghitunh bobot suatu criteria. Alasannya karena metode ini bisa digunakan untuk berbagai jenis data, baik kuantitatif maupun kualitatif. Selain itu metode ini juga tidak mensyaratkan bahwa satuan maupun range dari tiap kriteria harus sama. Hal ini dimungkinkan karena sebelum diolah semua data akan dinormalisasi dulu sehingga akan bernilai antara 0-1. Pada dasarnya, data mempunyai range nilai yang besar ( relative terhadap criteria itu sendiri) dan mempunyai variasi nilai yang tinggi untuk tiap alternatif, akan memperoleh bobot yang tinggi, artinya criteria tersebut dianggap mampu untuk membedakan performansi tiap alternative. Selain itu dengan menggunakan metode entropi, peneliti bisa memberikan bobot awal pada tiap kriteria. Jadi walaupun misalnya dari perhitungan, metode entropi memperlihatkan bobot yang kecil pada suatu kriteria, namun jika kriteria tersebut dianggap penting oleh decision maker, maka bisa memberikan bobot yang tinggi pada kriteria tersebut. Kedua jenis bobo ini kemudian akan dikalkulasi bersama-sama sehingga mendapatkan bobot entropi akhir.

Contoh Penerapan Entropy 1. Membuat tabel keputusan Tabel keputusan adalah metode pengambilan keputusan yang cukup sederhana. Metode ini menggunakan bantuan tabel yang berisi hubungan antara beberapa atribut yang mempengaruhi atribut tertentu. Contoh: Pemilihan mahasiswa Excellent

Putu Nopa Gunawan / D411 10 009

Tugas 1: Entropy

Pengambil keputusan memberikan bobot untuk setiap kriteria sebagai berikut: C1=35%, C2=25%, C3=25% dan C4=15%. Ada 5 mahasiswa yang menjadi kandidat (alternatif) untuk menjadi mahasiswa Excellent yaitu: A1=Bayu; A2=Meika; A3=Samuel; A4=Pepen; A5=Mima Tabel nilai alternatif dari setiap kriteria adalah sebagai berikut: Kriteria C1 70 50 85 82 75 C2 50 60 55 70 75 C3 80 82 80 65 85 C4 60 70 75 85 74

Alternatif Bayu Meika Samuel Pepen Mima

2. Normalisasi tabel keputusan Hitung seperti pada gambar di bawah ini:

Dst Maka berikut adalah hasil normalisasinya:

Putu Nopa Gunawan / D411 10 009

Tugas 1: Entropy

Proses perangkingan dengan menggunakan bobot yang telah diberikan oleh pengambil keputusan w =[0,35 0,25 0,25 0,15] Hasil yang diperoleh adalah sebagai berikut:

Nilai terbesar ada pada V5 sehingga alternatif A5 adalah alternatif yang terpilih sebagai alternatif terbaik. Dengan kata lain, Mima akan terpilih sebagai mahasiswa Excellent.

Sumber: http://digilib.ittelkom.ac.id/index.php?view=article&catid=25%3Aindu stri&id=238%3Ametode-entropi&option=com_content&Itemid=14 (akses 11 September 2013 ) http://moochaan.files.wordpress.com/2011/09/entropi2.pdf (akses 11 September 2013 )

Putu Nopa Gunawan / D411 10 009