Anda di halaman 1dari 13

Kelebihan

dan

Kekurangan

Teori

Bayesian

dalam

Sistem

Pengambilan Keputusan April 5, 2008 by mayaarlini Probabilitas Bayesian adalah suatu interpretasi dari kalkulus yang memuat konsep probabilitas sebagai derajat dimana suatu pernyataan dipercaya benar.Teori Bayesian juga dapat digunakan sebagai alat pengambilan keputusan untuk memperbaharui tingkat kepercayaan dari suatu informasi. Teori probabilitas Bayesian merupakan satu dari cabang teori statistik matematik yang memungkinkan kita untuk membuat satu model ketidakpastian dari suatu kejadian yang terjadi dengan menggabungkan pengetahuan umumdengan fakta dari hasil pengamatan. Teori Bayesian menurut Grainner (1998), mempunyai beberapa kelebihan, yaitu: 1. Mudah untuk dipahami. 2. Hanya memerlukan pengkodean yang sederhana. 3. Lebih cepat dalam penghitungan. Kekurangan dari Teori probabilitas Bayesian yang banyak dikritisi oleh para ilmuwan adalah karena pada teori ini, satu probabilitas saja tidak bisa mengukur seberapa dalam tingkat keakuratannya. Dengan kata lain, kurang bukti untuk membuktikan kebenaran jawaban yang dihasilkan dari teori ini. Aplikasi Teori Bayesian adalah dalam pembangunan kecerdasan artifisial dan sistem untuk membantu pengambilan keputusan. Sejak tahun 1950, Teori probabilitas Bayesian telah diaplikasikan luas dalam Teorema Cox, Prinsip Jaynes dalam Entropi Maksimum, dan Dutch Book Argument. Metode Bayesian dianggap lebih bersifat general dan memberikan hasil yang lebih baik ketimbang Probabilitas Frequency. Faktor Bayes juga digunakan pada Occams Razor. Namun, menurut saya, dalam pengambilan keputusan yang kompleks, teori ini tidak cukup. Sebab, teori Bayes lebih cocok digunakan dalam pengambilan keputusan yang sederhana. Maka, dalam pengambilan keputusan yang kompleks, sebaiknya menggunakan metode AHP (Analytic Hierarchy Prosess). Pada artikel sebelumnya (Seri Bayesian untuk Pemula: Teorema Bayes), kita telah mengenal Teorema Bayes sebagai dasar dalam inferens statistik Bayesian. Untuk lebih memahami bagaimana kita dapat menggunakan teorema Bayes untuk memperbaiki/meningkatkan keyakinan akan bukti-bukti dasar (dari data observasi kita), kita perlu melihat bagian-bagian dari teorema Bayes secara satu persatu. Kita tahu bahwa persamaan dalam teorema Bayes adalah sebagai berikut:

Dalam statistik inferens, dua hal yang penting adalah data dan parameternya. Kita tahu bahwa dalam statistik Bayesian parameter adalah random variabel, jadi sekarang kita misalkan Ai = A1, A2, , An adalah suatu himpunan dari parameter-parameter yang tidak teramati (namun memiliki distribusi) sehingga kita ganti notasinya menjadi 1, 2, , n => i yang mempartisi semesta. Kemudian untuk setiap i, i=1, , n, tentunya memiliki distribusi tertentu yaitu f(i) yang berasal dari informasi sebelumnya atau secara subjektif kita tentukan, inilah yang kita sebut dengan probabilita prior dan distribusinya disebut distribusi prior. Sedangkan B kita misalkan adalah data observasi yang baru kita peroleh, misalkan kita sebut adalah X. Jadi secara singkat bisa digambarkan bahwa dalam suatu observasi, kita pasti akan memiliki satu set data observasi (X) dan satu keyakinan tentang karakteristik data () beserta bobot untuk setiap masing-masing kemungkinan i (f()) yang disebut prior. Dengan demikian kita peroleh:

f( X) adalah fungsi dari parameter yang kita sebut posterior, f(X ) adalah fungsi Likelihood dari dan f() kita sebut sebagai prior. Sedangkan f(X) merupakan sebuah konstanta karena merupakan total probabilita dari f(X ) f(), dimana , untuk diskrit , untuk kontinyu Terlihat bahwa posterior proporsional terhadap perkalian likelihood dengan prior, sehingga kita lebih sering menulisnya dengan:

Likelihood dari parameter merupakan suatu probabilita bersyarat yaitu data observasi X yang kita peroleh berada dibawah kondisi parameter . Likelihood f(X i) tersebut menjadi pembobot bagi setiap prior f(i) dari data observasi X. f(X i) diberi nama fungsi likelihood karena parameter untuk yang mana sedemikian hingga fungsi

f(X ) menjadi lebih besar akan more likely (lebih mirip) terhadap nilai parameter sebenarnya dibanding fungsi f(X i) yang lebih kecil. Sedangkan f(i X) adalah fungsi distribusi peluang posterior dari parameter dengan syarat data observasi X. Secara sederhana, prior adalah fungsi parameter isebelum observasi kita lakukan yang kita peroleh berdasarkan pengetahuan kita secara subjektif, dan posterior adalah fungsi parameter yang kita adjust dari prior setelah kita memperoleh data observasi. Posterior yang kita peroleh ini kelak bisa menjadi prior pada observasi berikutnya. Dan posterior inilah yang menjadi target dalam analisis statistik Bayesian. Hendy Triwasana Atmaja (1010651150), Reditha G.D.P(1010651149), M.

Sanusi(0810651096) METODE BAYES Metode Bayes adalah pendekatan secara statistik untuk menghitung tradeoffs diantarakeputusan yang berbeda-beda, dengan menggunakan probabilitas dan costs yang menyertaisuatu pengambilan keputusan tersebut.Metode Bayes mempunyai berbagai keuntungan jika dibandingkan dengan beberapateori lainnya, yaitu: 1. Interpolation. Bayesian method menghubungkan segala hal dengan teori-teori engineering. Pada saat berhadapan dengan suatu problem, terdapat pilihan mengenaiseberapa besar waktu dan usaha yang dilakukan oleh manusia vs komputer. Pada saatmembuat suatu sistem, terlebih dahulu diharuskan untuk membuat sebuah modelkeseluruhan dan ditentukan faktor pengontrol pada model tersebut. Bayesian method menghubungkan perbedaan yang besar karena Bayesian prior dapat menjadi sebuah delta function dari suatu model yang luas. 2. Language Bayesian method mempunyai bahasa tersendiri untuk menetapkan hal-halyang prior dan posterior. Hal ini secara signifikan membantu pada saat menyelesaikan bagian yang sulit dari sebuah solusi. 3. Intuitions Bayesian method melibatkan prior dan integration, dua aktivitas yang berguna secara luas.Bayesian probability adalah teori terbaik dalam menghadapi masalah estimasi dan penarikan kesimpulan. Bayesian method dapat digunakan untuk penarikan kesimpulan padakasus-kasus dengan multiple source of measurement

yang tidak dapat ditangani oleh metodelain seperti model hierarki yang kompleks.Dengan keuntungan-keuntungan di atas, dapat dikatakan bahwa Bayesian merupakansuatu metode yg cukup kuat. Namun, terdapat beberapa kekurangan yg signifikan, yaitu: 1. Information theoretically infeasible Pada kenyataannya menentukan prior padaBayesian method merupakan hal yang cukup sulit. Kita harus menentukan angka yang riiluntuk semua parameter pada model keseluruhan. Banyak orang yang menggunakanBayesian seringkali tidak menyadari hal ini karena dua hal: (1) mereka mengetahui bahwa spesifikasi prior membutuhkan usaha yang cukup signifikan, (2) mereka tidak mencantumkan prior aktual pada model mereka, tetapi lebih memilih prior yang lebihtidak menyusahkan .

PROPOGASI BALIK
JST propagasi balik adalah JST dengan topologi multi-lapis (multilayer) dengan satu lapis masukan (lapis X), satu atau lebih lapis hidden atau tersembunyi (lapis Z) dan satu lapis keluaran (lapis Y). Setiap lapis memiliki neuron-neuron (unit-unit) yang dimodelkan dengan lingkaran (lihat Gambar 1). Di antara neuron pada satu lapis dengan neuron pada lapis berikutnya dihubungkan dengan model koneksi yang memiliki bobot-bobot (weights), w dan v. Lapis tersembunyi dapat memiliki bias, yang memiliki bobot sama dengan satu [1].

Algoritma

Algoritma pelatihan JST Propagasi balik pada dasarnya terbagi menjadi 2 langkah, yaitu: langkah maju (feedforward)) dan propagasi balik (back propagation). Pada langkah maju, perhitungan bobot-bobot neuron hanya didasarkan pada vektor masukan, sedangkan pada propagasi balik, bobot-bobot diperhalus dengan memperhitungkan nilai target atau keluaran. Algoritma pelatihan maju dan propagasi balik ini ditunjukkan pada Algoritma 1 [1]. Nilai mean square error (MSE) pada satu siklus pelatihan (langkah 2 10, dimana seluruh rekord dipresentasikan satu kali) adalah nilai kesalahan (error = nilai keluaran nilai masukan) rata-rata dari seluruh rekord (tupple) yang dipresentasikan ke JST dan dirumuskan sebagai:

Semakin kecil MSE, JST semakin kecil kesalahannya dalam memprediksi kelas dari rekord yang baru. Maka, pelatihan JST ditujukan untuk memperkecil MSE dari satu siklus ke siklus berikutnya sampai selisih nilai MSE pada siklus ini dengan siklus sebelumnya lebih kecil atau sama dengan batas minimal yang diberikan (epsilon). Pengembangan Algoritma Pelatihan dengan Menggunakan Momentum Salah satu pengembangan algoritma pelatihan propagasi balik dilakukan dengan penggunaan momentum pada perhitungan perubahan bobot-bobot. Tujuan dari pengembangan ini adalah untuk melancarkan pelatihan dan mencegah agar bobot tidak berhenti di sebuah nilai yang belum optimal. Perubahan bobot pada Algoritma 1 diubah menjadi [1]:

merupakan konstanta dari momentum dengan rentang [0,1].

Keterangan Notasi untuk Algoritma 1: x = vektor masukan = (x1, , xi, , xn), t = vektor keluaran= (t1, , tk, , tm) k = nilai koreksi bobot error untuk wjk yang disebabkan oleh error pada unit keluaran Yk . j= nilai koreksi bobot error untuk yang disebabkan oleh informasi propagasi balik dari errorpada lapis keluaran ke unit tersembunyi Zj . = konstanta laju pembelajaran (learning rate). Xi = unit masukan i.

v0j = bias pada unit tersembunyi j. Zj = unit tersembunyi j. w0k=bias pada unit keluaran k. Yk = unit keluaran k. Fungsi aktivasi yang dapat digunakan pada propagasi balik antara lain adalah: Binary sigmoid: arc tangen: , dan radial basis:

Sumber : Giri Dhaneswara1) dan Veronica S. Moertini. JARINGAN SARAF TIRUAN PROPAGASI BALIK UNTUK KLASIFIKASI DATA. Integral Vol. 9, No 3. 2004. Bandung.

2.2.13 Backpropagation (Propagasi Balik) Backpropagasi merupakan metode pelatihan yang menggunakan multilayer perceptron untuk memecahkan masalah yang rumit dengan metode pelatihan terawasi, yaitu pelatihan yang menggunakan pasangan masukan dan keluaran dimana bobot yang akan dihitung, disesuaikan berdasarkan proses pelatihan yang dilakukan hingga mencapai target keluaran yang diinginkan. Backpropagation diperkenalkan pertama kali oleh G. E. Hinton, E. Rumehart dan R.J. Williams pada tahun 1986 sebagai sebuah teknik umum untuk melakukan pelatihan pada jaringan saraf tiruan berlayer banyak yang memegang peranan penting yang membuat jaringan saraf tiruan alat bantu untuk memecahkan banyak variasi masalah. Paradigma dan algoritma backpropagation dikembangkan oleh Paul Werbos. Menurut Rao (1995, p87), tipe network ini adalah yang paling umum digunakan karena memiliki prosedur pelatihan yang relatif mudah. Haykin (1998, p156) mengatakan backpropagation sendiri menggunakan memory yang lebih sedikit daripada algoritma yang lainnya dan dapat memberikan hasil dengan tingkat kesalahan yang masih dapat diterima dengan kecepatan pemrosesan yang cukup cepat. Pada metode ini, jaringan tidak memiliki koneksi khusus untuk melakukan perhitungan mundur dari satu layer menuju layer sebelumnya. Namun error pada output layer akan dipropagasikan ke belakang menujuinput layer.

2.2.14 Arsitektur Backpropagation

Backpropagation merupakan jaringan saraf tiruan dengan multilayer, yang terdiri dari input layer (lapisan masukan), hidden layer (lapisan tersembunyi/ tengah), output layer (lapisan keluaran) (Fausett, 1994, p290). Banyaknya lapisan pada lapisan tengah dapat terdiri dari 1 atau lebih lapisan. Selain itu, lapisan keluaran dan lapisan tengah dapat mempunyai bias. Tiap lapisan pada backpropagation terdiri dari unit-unit yang saling terhubung antar lapisan. Jadi setiap neuron pada suatu lapisan dalam backpropagasi mendapat nilai masukan dari semua neuron pada lapisan sebelumnya beserta satu sinyal bias. Gambar 2.8 Lapisan Neural Network 2.2.15 Metode Kerja Backpropagation Backpropagasi memiliki metode pembelajaran supervised learningdimana lapisan masukan akan menerima pola masukan dan melakukan proses komputasi berdasarkan bobot awal yang diperoleh secara acak (random). Jika keluaran dari jaringan berbeda dengan target yang diharapkan maka jaringan melakukan penyesuaian terhadap bobot yang ada. Proses ini akan terus berlanjut hingga keluaran dari jaringan dan target yang diharapkan menjadi sama. Proses pembelajaran membutuhkan waktu yang lama hingga mencapai nilai tersebut. Oleh karena itu proses learning dibatasi dan akan berhenti jika perbedaan antara output dan target sudah mencapai nilai yang lebih kecil dari nilai toleransi (error rate). Besarnya penyesuaian bobot pada setiap siklus pembelajaran ditentukan oleh parameter yang disebut learning rate.Setelah tahap pembelajaran, jaringan saraf tiruan siap untuk memasuki tahap recalling / searching yang merupakan proses dimana jaringan saraf tiruan menerima masukan dari dunia luar melalui lapisan masukan dan melalui komputasi pda masing-masing neuron yang terdapat di dalam lapisan akan dihasilkan keluaran pada lapisan keluaran analogi pada otak manusia seperti menerima masukan berupa gambar buah kemudian otak manusia akan melakukan komputasi sehingga mengenali nama buah tersebut. Pada pelatihan backpropagation terdapat 2 fase, yaitu proses propagasi nilai aktivasi atau masukan dan proses penyesuaian dengan keluaran yang diharapkan (Fausett, 1994, p290). Proses propagasi nilai aktivasi tersebut adalah proses perubahan nilai bobot koneksi antar neuron yang menghubungkan lapisan jaringan, baik itu antar lapisan masukan dengan lapisan tersembunyi, lapisan tersembunyi yang satu dengan yang lainnya, maupun bobot koneksi lapisan tersembunyi dengan lapisan keluaran. Nilai neuron dari setiap keluaran merupakan hasil dari fungsi aktivasi. Fungsi ini biasanya digunakan untuk menurunkan nilai aktivasi dan 40mengubahnya menjadi suatu nilai keluaran yang berarti. Kadang-kadang fungsi ini juga

digunakan untuk menambahkan nilai bias. Fungsi sigmoid merupakan fungsi aktivasi yang digunakan dalam skripsi ini. Selain fungsi sigmoid biner ini, fungsi aktivasi lainnya adalah step, ramp, dan linear. Dikenal dua fungsi sigmoid, yaitu bipolar sigmoid dan binary sigmoid (sigmoid biner). Menurut Fausett (1994, p293) fungsi sigmoid memiliki dua jenis formula yang berbeda dalam hal rentang nilai yang dihasilkan : 1. (x) = 2 - 1 , akan menghasilkan rentang nilai antara -1 sampai 1 1 + -x Gambar 2.9 Fungsi Sigmoid Bipolar 2. (x) = 1 , akan menghasilkan rentang nilai antara 0 sampai 1 1+ -x41 Gambar 2.10 Fungsi Sigmoid Biner Ciri-ciri node fungsi aktivasi adalah sebagai berikut : a. Kontinu b. Dapat dideteksi c. Turunan fungsi mudah dihitung d. Fungsi yang banyak digunakan : Fungsi Sigmoid Biner dan Fungsi Sigmoid Bipolar. Gambar 2.11 Model Fungsi Sigmoid Biner Proses penyesuaian dengan keluaran yang diharapkan adalah pengecekan nilai keluaran yang dihasilkan oleh jaringan dengan keluaran yang 42diharapkan dengan batas toleransi kesalahan tertentu. Selama nilai keluaran tidak sesuai dengan keluaran yang diharapakan, maka proses pelatihan akan diulang kembali. 2.2.16 Tahapan Pelatihan Backpropagation

Seperti halnya otak manusia membutuhkan proses learning (belajar) dimana otak akan menerima semua input dari semua indera disimpan dalam memory (ingatan manusia). Demikian juga pada jaringan saraf tiruan membutuhkan sebuah proses pembelajaran yang disebut proses pembelajaran/training/learing/storing.Haykin (1998, p50) mengatakan learning adalah proses dimana parameter bebas dari jaringan saraf tiruan diadaptasi melalui stimulasi dari lingkungan di mana jaringan tersebut diletakkan. Dalam proses pelatihan jaringan backpropagation ini, digunakan fungsi nilai ambang batas binary sigmoid. Sebelum melakukan proses pelatihan, terdapat beberapa parameter jaringan yang harus ditentukan dahulu (Fausett, 1994, p292) yaitu: a. Tingkat pelatihan (learning rate) yang dilambangkan dengan alpha. Parameter ini harus diberikan dan mempunyai nilai positif kurang dari 1. Semakin tinggi nilainya, semakin cepat kemampuan jaringan untuk belajar, tetapi hal ini kurang baik karena error yang dihasilkan tidak merata. b. Toleransi kesalahan (error tolerance), semakin kecil maka jaringan akan 43memiliki nilai bobot yang lebih akurat, tetapi akan memperpanjang waktu pelatihan. c. Nilai ambang batas atau bias (threshold value), dilambangkan dengan Theta. Parameter ini tidak harus diberikan (optional). Secara garis besar langkah-langkah yang terjadi di dalam backpropagation pada saat proses pembelajaran terbagi menjadi tiga tahapan: 1. Feedforward Pada tahap ini setiap unit pada unit masukan menerima masukan dari fitus yang telah diekstrak, kemudian masukan tersebut akan diproses oleh unit dengan fungsi aktivasi yang digunakanuntuk menghasilkan keluaran. Hasil keluaran yang didapatkan akan diteruskan oleh unit masukan ke setiap unit pada unit di lapisan tengah pertama, kedua dan seterusnya. Setiap unit pada unit lapisan tengah akan menjumlahkan semua masukan yang dterima, kemudia memprosesnya dengan fungsi aktivasi yang digunakan untuk menghasilkan keluaran yang akan diteruskan ke unit lapisan tengah seterusnya atau ke unit lapisan keluaran. Terakhir, setiap unit pada unit lapisan keluaran akan menjumlahkan semua masukan yang diterima dari unit lapisan tengah terakhir yang akan diproses dengan fungsi aktivasi yang di gunakan untuk mendapatkan sebuah nilai keluaran yang akan dibandingkan dengan nilai target yang telah ditentukan.

2. Backpropagation of the associated error Hasil perbandingan nilai keluaran yang dihasilkan oleh unit lapisan keluaran dengan nilai terget keluaran yang telah ditentukan akan digunakan untuk menghitung error system (nilai mutlak dari selisih nilai keluaran pada unit lapisan keluaran dengan target keluaran yang telah ditentukan). Kemudian nilai error tersebut digunakan untuk menghitungerror di setiap unit pada lapisan tengah yang akan digunakan pada weight adjusment. 3. Adjustment of the weight Setelah didapatkan nilai error disetiap unit pada lapisan tengah semua bobot yang menghubungkan unit pada lapisan masukan denan unit lapisan tengah, unit lapisan tengah dengan unit lapisan tengah lain dan unit lapisan tengah dengan unit lapisan keluaran akan diperbaharui berdasarkan learning rate (kecepatan belajar pada jaringan) dan nilai error yang didapatkan disetiap unit. 2.2.17 Algoritma Pelatihan Backpropagation Berikut adalah algoritma untuk melakukan tahapan-tahapan pelatihan metode

backpropagation: Feedforward: Input dan output untuk input unit; FOR a = 0 TO x i_ina = feature ke-a yang diekstrak dari pola i_outa = i_ina END FOR Input dan output untuk hidden units: FOR b = 0 TO y h_inb = 045 FOR a = 0 TO x+1 h_inb = h_inb + i_outa * iab END FOR h_outb =activation (h_inb) END FOR

Input dan output untuk output units: FOR c = 0 TO z o_inc = 0 FOR b = 0 TO y+1 o_inc = o_inc + h_outb * hbc END FOR o_outc = activation (o_inc) END FOR Backpropagation of error Error input dan error output pada output units: FOR c = 0 TO z o_errinc = (target keluaran dari pola yang ke-c o_outc) * deactivation (o_inc) o_erroutc = o_errinc FOR b = 0 TO y+1 h_correctionbc = a * o_erroutc * h_outb dimana a adalah learning rate END FOR END FOR Error input dan erro output pada hidden units: FOR b = 0 TO y46 h_errinb = FOR c = 0 TO z h_errinb = h_errinb + o_erroutc * hbc END FOR

h_erroutb = h_errinb * deactivation (h_inb) FOR a = 0 To x+1 i_correctionab = a * h_erroutb * i_outa END FOR END FOR Weight adjustment: Weight dari hidden units ke output units: FOR b = 0 TO y+1 FOR c = 0 TO z Hbc = hbc + h_correctionbc END FOR END FOR Weight dari input units ke hidden units: FOR a = 0 TO x+1 FOR b = 0 TO y Iab = iab + i_correctionab END FOR END FOR