MAKALAH

KLASIFIKASI NAÏVE BAYES

PAKET PROGRAM STATISTIKA DAN SIMULASI

Disusun Oleh :
Dedy Kurnianto 4112318002
Jalu Bilawa Inten Gumelar 4112318010
Dandy Ali Akbar 4112318012
Muhamad Irsyadul Aziz 4112318016

Dosen Pengampu :
Dr. Iqbal Kharisudin, M. Sc.
Fatkhurokhman Fauzi, S.Si., M.Stat.

JURUSAN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS NEGERI SEMARANG
2020
KATA PENGANTAR

Assalamu’alaikum warahmatullahi wabarakatuh

Segala puji bagi Allah SWT yang telah memberikan kami kemudahan sehingga kami dapat
menyelesaikan makalah ini dengan tepat waktu. Tanpa pertolongan-Nya tentunya kami tidak
akan sanggup untuk menyelesaikan makalah ini dengan baik. Shalawat serta salam semoga
terlimpah curahkan kepada baginda tercinta kita yaitu Nabi Muhammad SAW yang kita
nanti-natikan syafa’atnya di akhirat nanti.
Kami mengucapkan syukur kepada Allah SWT atas limpahan nikmat sehat-Nya, baik itu
berupa sehar fisik maupun akal pikiran, sehingga penulis mampu untuk menyelesaikan
pembuatan makalah sebagai tugas dari mata kuliah Paket Program Statistika dan Simulasi
dengan judul “Klasifikasi Naïve Bayes”.
Kami tentu menyadari bahwa makalah ini masih jauh dari kata sempurna dan masih banyak
terdapat kesalahan serta kekurangan di dalamnya. Untuk itu, penulis mengharapkan kritik
serta saran dari pembaca untuk makalah ini, supaya makalah ini nantinya dapat menjadi
makalah yang lebih baik lagi. Demikian, dan apabila terdapat banyak kesalahan pada
makalah ini kami mohon maaf yang sebesar-besarnya.
Demikian, semoga makalah ini dapat bermanfaat. Terima kasih.

Semarang, 13 Oktober 2020

Penulis

Daftar Pustaka
BAB I PENDAHULUAN

A. Latar Belakang
Data Mining merupakan proses pengekstraksian informasi dari sekumpulan data yang
sangat besar melalui penggunaan algoritma dan teknik penarikan dalam bidang
statistik, pembelajaran mesin dan sistem manajemen basis data[3]. Data mining
terdapat salah satu masalah mendasar dan tugas utama dalam data mining tersebut adalah
Klasifikasi (Zhang dkk., 2004). Dalam sebuah pengklasifikasi dapat dibuat dari
sekumpulan data training dengan kelas yang telah di tentukan sebelumnya. Performa
pengklasifikasi biasanya diukur dengan ketepatan atau tingkat galat
(Walpore dkk., 1995).
Pengklasifikasi Bayesian merupakan pengklasifikasi statistik untuk dapat memprediksi
probabilitas keanggotaan kelas tertentu (Han dkk., 2006), menghitung peluang untuk
suatu hipotesis, menghitung peluang dari suatu kelas dari masing-masing kelompok
atribut yang ada, dan menentukan kelas mana yang paling optimal (Hadjaratie, 2011).
Analisis klasifikasi Naïve bayes ini menggunakan program R, karena dalam program R
sendiri terdapat fasilitas untuk menganilisis data statistik. Naïve bayes adalah salah satu
algoritma pembelajaran induktif yang paling efektif dan efisien untuk machine learning
dan data mining yang kompetitif dalam proses klasifikasi walaupun menggunakan
asumsi keidependenan atribut (tidak ada kaitan antar atribut).

B. Rumusan Masalah
1. Apa itu Naïve Bayes?
2. Apa Kelebihan dan Kekurangan Naïve Bayes?
3. Bagaimana Penerapan Naïve Bayes menggunakan R studio?

C. Tujuan
1. Untuk mengetahui tentang Naïve Bayes
2. Untuk mengetahui kelebihan dan kekurangan penggunaan Naïve Bayes
3. Untuk Mengetahui penerapan Naïve Bayes menggunakan software R studio

1
 BAB II PEMBAHASAN

A. Naïve Bayes
1. Pengertian Naïve Bayes
Naive Bayes merupakan sebuah pengklasifikasian probabilistik sederhana yang
menghitung sekumpulan probabilitas dengan menjumlahkan frekuensi dan
kombinasi nilai dari dataset yang diberikan. Algoritma mengunakan teorema
Bayes dan mengasumsikan semua atribut independen atau tidak saling
ketergantungan yang diberikan oleh nilai pada variabel kelas[7]. Definisi lain
mengatakan Naive Bayes merupakan pengklasifikasian dengan metode
probabilitas dan statistik yang dikemukan oleh ilmuwan Inggris Thomas Bayes,
yaitu memprediksi peluang di masa depan berdasarkan pengalaman dimasa
sebelumnya [8]. Naive Bayes didasarkan pada asumsi penyederhanaan bahwa
nilai atribut secara konditional saling bebas jika diberikan nilai output. Dengan
kata lain, diberikan nilai output, probabilitas mengamati secara bersama
adalah produk dari probabilitas individu[8].
2. Persamaan Metode Naïve Bayes
Naïve Bayes adalah salah satu algoritma pembelajaran induktif yang paling efektif
dan efisien untuk machine learning dan data mining. Performa naïve bayes yang
kompetitif dalam proses klasifikasi walaupun menggunakan asumsi
keidependenan atribut (tidak ada kaitan antar atribut). Asumsi keidependenan
atribut ini pada data sebenarnya jarang terjadi, namun walaupun asumsi
keidependenan atribut tersebut dilanggar performa pengklasifikasian naïve bayes
cukup tinggi, hal ini dibuktikan pada berbagai penelitian empiris.
Persamaan dari teorema Bayes adalah
P X H .P(H)
P H X=
P(X )
Di mana :
X :Data dengan class yang belum diketahui
H : Hipotesis data merupakan suatu class spesifik
P(H|X) :Probabilitas hipotesis H berdasar kondisi X (posteriori probabilitas)
P(H) : Probabilitas hipotesis H (prior probabilitas)
P(X|H) :Probabilitas X berdasarkan kondisi pada hipotesis H
P(X) : Probabilitas X

Untuk menjelaskan metode Naive Bayes, perlu diketahui bahwa proses klasifikasi
memerlukan sejumlah petunjuk untuk menentukan kelas apa yang cocok bagi
sampel yang dianalisis tersebut. Karena itu, metode Naive Bayes di atas
disesuaikan sebagai berikut :
P C F 1 … Fn=¿ ¿
Di mana Variabel C merepresentasikan kelas, sementara variabel F1 ... Fn
merepresentasikan karakteristik petunjuk yang dibutuhkan untuk melakukan
klasifikasi. Maka rumus tersebut menjelaskan bahwA peluang masuknya
sampel karakteristik tertentu dalam kelas C (Posterior) adalah peluang
munculnya kelas C (sebelum masuknya sampel tersebut, seringkali disebut
prior), dikali dengan peluang kemunculan karakteristik karakteristi

2
 sampel pada kelas C (disebut juga likelihood), dibagi dengan peluang
kemunculan karakteristik karakteristik sampel secara global ( disebut juga
evidence). Karena itu, rumus diatas dapat pula ditulis secara sederhana sebagai
berikut :
prior x likelihood
Posterior=
evidence

Nilai evidence selalu tetap untuk setiap kelas pada satu sampel. Nilai dari
Posterior tersebut yang nantinya akan dibandingkan dengan nilai-nilai Posterior
kelas lainnya untuk menentukan ke kelas apa suatu sampel akan diklasifikasikan.
Untuk klasifikasi dengan data kontinyu digunakan rumus Densitas Gauss :
2
( x i −μij )
1 2

P X i=x i Y = y i= e 2σ ij

2 π´ σ ij
Di mana :
P : Peluang
X i : Atribut ke i
x i : Nilai atribut ke i
Y : Kelas yang dicari
y i : Sub kelas Y yang dicari
µ : Mean, menyatakan rata – rata dari seluruh
σ : Deviasi standar, menyatakan varian dari seluruh atribut.

Ataupun kernel density estimation (KDE) :

^f = 1 ∑ N ( X i ; μij ; σ c )
nc j

B. Kelebihan dan Kelemahan Metode Naïve Bayes

1. Kelebihan
a. Bisa dipakai untuk data kuantitatif maupun kualitatif
b. Tidak memerlukan jumlah data yang banyak
c. Tidak perlu melakukan data training yang banyak
d. Jika ada nilai yang hilang, maka bisa diabaikan dalam perhitungan.
e. Perhitungannya cepat dan efisien
f. Mudah dipahami
g. Mudah dibuat
h. Pengklasifikasian dokumen bisa dipersonalisasi, disesuaikan dengan
kebutuhan setiap orang
i. Jika digunakan dalaam bahasa pemrograman, code-nya sederhana
j. Bisa digunakan untuk klasifikasi masalah biner ataupun multiclass

3
 2. Kekurangan
a. Apabila probabilitas kondisionalnya bernilai nol, maka probabilitas
prediksi juga akan bernilai nol
b. Asumsi bahwa masing-masing variabel independen membuat
berkurangnya akurasi, karena biasanya ada korelasi antara variabel yang
satu dengan variabel yang lain
c. Keakuratannya tidak bisa diukur menggunakan satu probabilitas saja.
Butuh bukti-bukti lain untuk membuktikannya.
d. Untuk membuat keputusan, diperlukan pengetahuan awal atau
pengetahuan mengenai masa sebelumnya. Keberhasilannya sangat
bergantung pada pengetahuan awal tersebut Banyak celah yang bisa
mengurangi efektivitasnya Dirancang untuk mendeteksi kata-kata saja,
tidak bisa berupa gambar

C. Penerapan Naïve Bayes Menggunakan R Studio

1. Eskplorasi Data

4
 Daftar Pustaka
[3] Shyara taruna R, Saroj Hiranwal, (2013). Enhanced Naive Bayes Algorithm for
Intrusion Detection in Data Mining, International Journal of Computer Science
and information Technologies, Vol. 4, 2013.

[7] Tina R. Patil, S.S. Sherekar, (2013). Performance Analysis of Naive Bayes and
J48 Classification Algorithm for Data Classification, International Journal of
Computer Science and Applications, Vol. 6, No. 2, April 2013.

[8] Bustami, (2013). Penerapan Algoritma Naive Bayes Untuk Mengklasifikasi Data
Nasabah Asuransi, TECHSI : Jurnal Penelitian Teknik Informatika.

[9] Shadab Adam Pattekari, Asma Parveen, (2012), Prediction System for Heart
Disease Using Naive Bayes, International Journal of Advanced Computer and
Mathematical Sciences, ISSN 2230-9624, Vol. 3, Issue 3, 2012.

Muin, A. A. (2016). Metode Naive Bayes Untuk Prediksi Kelulusan (Studi Kasus: Data
Mahasiswa Baru Perguruan Tinggi). Jurnal Ilmiah Ilmu Komputer Fakultas Ilmu Komputer
Universitas Al Asyariah Mandar, 2(1), 22-26.

Saleh, A. (2015). Penerapan Data Mining Dengan Metode Klasifikasi Naïve Bayes Untuk
Memprediksi Kelulusan Mahasiswa Dalam Mengikuti English Proficiency Test. no.
February, 2016.

Natalius, S. (2010). Metoda Naïve Bayes Classifier dan Penggunaannya pada Klasifikasi
Dokumen. Skripsi, Prodi Sistem dan Teknologi Informasi: Institut Teknologi Bandung.