METODE - Algoritma K-NN

(k-Nearest Neighbor)
Hario Jati setyadi
 WIKIPEDIA
Algoritma K-nearest neighbor (k-NN atau
KNN) adalah sebuah metode untuk
melakukan klasifikasi terhadap objek
berdasarkan data pembelajaran yang
jaraknya paling dekat dengan objek
tersebut.
 Deskripsi K-NN
• Diberikan titik query, akan ditemukan sejumlah k obyek
atau (titik training) yang paling dekat dengan titik query.
• Klasifikasi menggunakan voting terbanyak diantara
klasifikasi dari k obyek
• Algoritma k-nearest neighbor (KNN) menggunakan
klasifikasi ketetanggaan sebagai nilai prediksi dari query
instance yang baru.
 Kelebihan KNN
• KNN memiliki beberapa kelebihan yaitu ketangguhan terhadap training
data
• yang memiliki banyak noise dan efektif apabila training data-nya besar.
• Sedangkan, kelemahan KNN adalah KNN perlu menentukan nilai dari
parameter k
• (jumlah dari tetangga terdekat), training berdasarkan jarak tidak jelas
mengenai
• jenis jarak apa yang harus digunakan dan atribut mana yang harus
digunakan untuk
• mendapatkan hasil terbaik, dan biaya komputasi cukup tinggi karena
diperlukan
• perhitungan jarak dari tiap query instance pada keseluruhan training
sample.
 Kelemanan KNN
1. KNN perlu menentukan nilai dari parameter K (jumlah
dari tetangga
terdekat).
2. Pembelajaran berdasarkan jarak tidak jelas mengenai
jenis jarak apa yang harus digunakan dan atribut mana
yang harus digunakan untuk mendapatkan hasil yang
terbaik .
3. Biaya Komputasi yang relatif besar karena diperlukan
perhitungan jarak dari tiap sample uji pada keseluruhan
sample latih yang ada
Contoh 3

•Terdapat beberapa data yang berasal

dari Kuesioner tentang klasifikasi
kualitas Dosen, apakah baik atau jelek,
dengan objek training menggunakan
dua attribute yaitu Pembelajaran -dan
Cara mengajar.
 Contoh 3
X1=Pembelajaran X2=Cara mengajar Y=klasifikasi
8 4 Baik
4 5 Jelek
4 6 jelek
7 7 Baik
5 6 Jelek
6 5 Baik

Akan menilai kualitas dosen dengan attribute X1=7 dan

X2=4 , tanpa harus mengeluarkan biaya untuk
melakukan survey, maka dapat diklasifikasikan kualitas
dosen tersebut termasuk yang baik atau jelek.
X1 X2
Pembelajaran Cara mengajar
8 4
4 5
4 6
7 7
5 6
6 5
Square Distance to query distance
(8-7)² + (4-4) ² = 1
(4-7)² + (5-4) ² = 10
(4-7)² + (6-4) ² = 13
(7-7)² + (7-4) ² = 9
(5-7)² + (6-4) ² = 8
(6-7)² + (5-4) ² = 2
X1 X2 Square Distance to query Jarak Apakah termasuk Y= Kategori
distance terkecil NN ? NN
Latihan