STATISTIKA & PROBABILITAS

“ TEORI BAYES”

Di susun Oleh :
M.Naufal Adib (1461505095)
Eka Putra Samudra P (1461505116)
Afif Rianto Putra (1461505133)
M.Ainun Najib (1461505145)
Fatihuddin (1461505168)
• PERKENALAN

Jaringan Bayesian (Pearl, 1988) sering digunakan untuk klasifikasi masalah pelajar
mencoba untuk membangun sebuah class dari himpunan contoh label kelas. Mengingat tes
misalnya x, di wakili oleh (atribut) vektor 〈a1; a2;…; am〉, Bayesian Network Classifiers
menggunakan persamaan berikut untuk mengklasifikasikan :

dimana c adalah himpunan semua kemungkinan label kelas c, dan c (x) adalah kelas label x
diproduksi oleh BNC
• PEKERJAAN TERKAIT

Berbeda dari pemilihan fitur mendekati penyelesaian yang mana

menghilangkan fitur relevan yang paling sedikit dari keseluruhan fitur atur
jarak, pendekatan fitur menimbang berat untuk fitur bersifat prediksi sesuai
dengan derajat kemana mereka bergantung kepada nilai dengan fitur lain.
Hasil model seperti ini disebut Fitur Weighted Naive Bayes (FWNB)
• BAGIAN FITUR MENIMBANG DARI NAIVE BAYES
Yang kami sebut menghasilkan pendekatan fitur menimbang yang Deep Feature
Weighting (DFW), yang mana perkiraan keadaan kemungkinan dari Naive Bayes dengan
sangat menghitung menampilkan fitur menimbang dari data percobaan. Demikian, Naive
Bayes dengan fitur menimbang yang mendalam menggunakan kategori persamaan
dengan masukan misalnya x :

dimana 𝑊𝐼 adalah berat dari fitur 𝐴𝑖 .

 Sebelum menyajikan secara terperinci deskrisi dari algoritma kami, ini bisa
membantu untuk mendapatkan beberapa rasa intuisi kami mengusulkan DFW
melalui contoh sederhana. Tabel 1 menunjukkan pembelajaran masalah terdiri atas
dari 5 hal dan 3 variabel. Variabel A3 adalah salinan/turunan dari A1 dan demikian
variabel A1 dan A3 sangat bergantung.

Kami mengambil e1, e2, e3 dan e4 sebagai contoh percobaan dan e5 sebagai
contoh pengujian. Jadi kami membangun NB, NB dengan korelasi berdasarkan fitur
pilihan (CFSNB), dan NB dengan pendekatan fitur menimbang (DFWNB) pada contoh
percobaan dan kemudian digunakan membangun penggolongan ke golongan e5,
berturut-turut.
Tabel 1

Sebuah tiruan dataset dengan duplikat variabel Contoh

Tabel 2
Penggolongan ketepatan perbandingan untuk NB melawan GRFWNB, RFWNB, DTFWNB, CFSFWNB, CFSNB, dan
DFWNB.
Tabel 3

Penggolongan ketepatan kedudukan pengujian untuk NB, GRFWNB, RFWNB, DTFWNB, CFSFWNB, CFSNB, dan
DFWNB.
NB memberikan perkiraan yang kemudian memungkinkan perbandingan :

Demikian, NB kehilangan penggolongan e5. CFSNB digunakan CFS untuk memilih fitur A1 dan
demikian memberikan perkiraan yang kemudian memungkinkan perbandingan :

Demikian, CFSNB juga kehilangan penggolongan e5. DFENB juga menggunakan CFS untuk memilih
fitur A1, tapi itu memberikan perkiraan yang kemudian memungkinkan perbandingan :
Tabel 4

Kappa statistik perbandingan untuk NB melawan GRFWNB, RFWNB, DTFWNB, CFSFWNB, CFSNB, dan
DFWNB.
Tabel 5

Kappa statistik peringkat pengujian untuk NB, GRFWNB, RFWNB, DTFWNB, CFSFWNB, CFSNB, dan DFWNB

Dibandingkan dengan standart Naive Bayes, Naive Bayes dengan pendalaman fitur menimbang
(DFWNB) membutuhkan tambahan waktu untuk eksekusi korelasi berdasarkan cara fitur pilihan (CFS).
CFS hanya mengambil waktu kerumitan dari O(nm2) untuk menghitung awal hubungan matriks dan
pencarian pertama terbaik kira-kira persamaan kuadrat di nomer dari fitur.
• MENGADAPTASI FITUR MENIMBANG NAIVE BAYES UNTUK
PENGGOLONGAN TEKS

Untuk mengatasi tugas-tugas penggolongan teks, menggolongkan dokumen

dengan kata – kata yang muncul didalam mereka. Ini adalah model pertama bahasa
statistik yang disebut multi variasi Bernouli naive Bayes (BNB) model (Ponte dan
Croft, 1998). BNB menganggap bahwa dokumen yang diwakili oleh vektor dari
biner menunjukkan fitur variabel yang mana kata-kata terdapat atau tidak di dalam
dokumen, dan dengan demikian menghiraukan informasi dari jumlah kata yang
terdapat di sebuah dokumen. Untuk mengatasi kekurangan menghadapi BNB,
banyak nominal naive Bayes (MNB) model (McCallum dan Nigam, 1998) yang
diusulkan untuk menangkap informasi dari jumlah kata yang terdapat di sebuah
dokumen.
Tabel 6

Perbandingan keakuratan klasifikasi NB lawan GRFWNB, RFWNB, DTFWNB, CFSFWNB, CFSNB, dan DFWNB
Tabel 7

Penggolongan keakuratan klasifikasi test NB lawan GRFWNB, RFWNB, DTFWNB, CFSFWNB, CFSNB, dan DFWNB
Tabel 8

Perbandingan statistik kappa NB melawan GRFWNB0, RFWNB0, DTFWNB0, CFSFWNB0, CFSNB, dan
DFWNB.
Tabel 9

Kappa statistik peringkat tes untuk NB, GRFWNB0, RFWNB0, DTFWNB0, CFSFWNB0, CFSNB, dan DFWNB.
Tabel 10

Perbandingan akurasi klasifikasi NB vs GRFSNB, RFSNB, CHIFSNB, CONFSNB, dan DFWNB.

Tabel 11

Klasifikasi akurasi peringkat tes NB, GRFSNB, RFSNB, CHIFSNB, CONFSNB, dan DFWNB.
• PERCOBAAN DAN HASIL
Bagian ini mengevaluasi kinerja fitur mendalami yang kami usulkan, (DFW) dari koleksi
36 dataset patokan dari University of California di Irvine (UCI) repositori (Frank dan Asuncion,
2010). Dalam percobaan kami, nilai-nilai fitur yang hilang digantikan dengan mode nilai fitur
nominal dan sarana nilai fitur numerik dari data yang tersedia.

Kami sekelompok mencoba untuk membandingkan standar naive Bayes (NB) berdasarkan
rasio-pembobotan (GRFWNB), naive Bayes dengan berbasis fitur pembobotan (RFWNB), naive
Bayes dengan keputusan pembobotan berbasis fitur pohon ( DTFWNB), naive Bayes dengan
fitur pembobotan berbasis CFS (CFSFWNB), naive Bayes dengan seleksi berdasarkan korelasi-
fitur (CFSNB), dan naif Bayes dengan fitur bobot yang mendalam (DFWNB). Kami menerapkan
pendekatan fitur dalam pembobotan (DFW) dari Waikato Environment untuk Analisis (Weka)
platform Pengetahuan (Witten dkk., 2011) dan menggunakan implementasi yang ada dari naive
Bayes dan CFS dalam platform WEKA (Witten et al., 2011) dan implementasi dari empat
pendekatan fitur pembobotan lainnya (GRFW, RFW, DTFW, dan CFSFW) oleh Hall (2007).
Tabel 12

Perbandingan statistik kappa untuk NB vs GRFSNB, RFSNB, CHIFSNB, CONFSNB, dan DFWNB.
Tabel 13

Tes untuk peringkat statistic kappa NB, GRFSNB, RFSNB, CHIFSNB, CONFSNB, dan DFWNB.

dari hasil perbandingan ini kita bisa melihat bahwa dengan pembobotan fitur Naive
Bayes jarang menurunkan pangkat mutu dari model yang membandingkan ke standar
naive Bayes dan dalam banyak kasus, meningkat secara dramatis, di ringkas sebagai
berikut :
Tabel 14

Perbandingan ketepatan klasifikasi untuk DFWNB vs RandomForest, SMO, dan Decision Table.
Tabel 15

Perbandingan AUC untuk DFWNB vs RandomForest, SMO, dan DecisionTable.

Tabel 16

Perbandingan waktu pelatihan berlalu untuk DFWNB vs RandomForest, SMO, dan DecisionTable
Tabel 17

Perbandingan keakuratan perbandingan MNB lawan R w ; c MNB, CFSMNB, DWMNB, MNBTree, dan DFWMNB.
Tabel 18

Perbandingan Keakuratan CNB Lawan Rw;c CNB, CFSCNB, D WCNB, CNBTree, dan DFWCNB.
Tabel 19

Perbandingan ketepatan OVA lawan Rw;c OVA, CFSOVA, DWOVA, OVATree, dan WDFOVA.
 DFWMNB, DFWCNB, dan DFWOVA, berturut-turut. Grup yang pertama dari( Wang et al.,
2015 ), dan DFWMNB kita. Grup kedua dari percobaan perbandingan MNB dengan R w ; c MNB( Li
et al., 2012 ), mengadakan percobaan perbandingan antara CNB dengan R w ; c CNB, CFSCNB,
DWCNB, CFSMNB( Balai, 2000 ), DWMNB( Jiang et al., 2012b ), MNBTree CNBTree, dan DFWCNB
kita. Grup ketiga dari percobaan

PERNYATAAN RESMI
ucapan terima kasih banyak kepada Mark Hall yang telah menyediakan implementasi-
implementasinya untuk lainnya empat fitur pendekatan pembobotan (GRFW, RFW, DTFW, dan
CFSFW). National Natural Science Foundation dari Cina (61203287), Program untuk Bakat-bakat
baru di universitas (NCET - 12 - 0953), dan Program Chenguang dari Ilmu Pengetahuan Dan
Teknologi dari Wuhan (2015070404010202).
Kesimpulan
• Jaringan Bayesian sering digunakan untuk klasifikasi masalah pelajar
mencoba untuk membangun sebuah class dari himpunan contoh label
kelas. Dan perbandingan perbandingan antara fitur fitur yang ada di
dalamnya merupakan
 Daftar Pustaka

Deep feature weighting for naive Bayes and its application to text classification