Klasifikasi (Classification)

ALGORITMA K-NEAREST NEIGHBOR

K-Nearest Neighbour (KNN)
KNN merupakan sebuah metode klasifikasi terhadap sekumpulan data
berdasarkan pembelajaran data yang sudah terklasifikasi sebelumnya.
Termasuk dalam supervised learning, dimana query instance yang abru
diklasifikasikan berdasarkan mayoritas kedekatan jarak dari kategori yang ada
dalam KNN
KNN digunakan dalam banyak aplikasi data mining, statistical patern
recognition, image processing
K-Nearest Neighbour (KNN)
Diberikan titik query, akan ditemukan sejumlah k objek atau (titik
training) yang paling dekat dengan titik query
Klasifikasi menggunakan voting terbanyak diantara klasifikasi dari k obyek
Algoritma K-Nearest Neighbour (KNN) menggunakan klasifikasi
ketetanggan sebagai nilai prediksi dari query instance yang baru
Analogi KNN
Nearest Neighbour Rule
Algoritma KNN
 Tentukan K (tetangga terdekat yang terlihat, tentukan sendiri)
 Hitung jarak data baru dengan semua data training, ukuran jarak yang digunakan (Euclidean
Distance):

(𝑞𝑖 − 𝑝𝑖)2
𝑖=1

 Urutkan jarak tersebut dari yang terdekat

 Periksa kelas K tetangga terdekat
 Kelas data baru = kelas mayoritas k tetangga terdekatnya
Contoh Kasus
Diketahui data kertas tisu special (data training) berikut:

X1 = Acid Durability
X2 = Strengh (kg/M2) Class
(Second)
7 7 Bad
7 4 Bad
3 4 Good
1 4 Good

Jika terdapat data baru X1= 3, X2= 7 dengan K=3 tentukan kelas dari data tersebut!
Penyelesaian
 K = 3 artinya jumlah tetangga yang dilihat adalah 3 tetangga
terdekat
 Ada 2 kelas yaitu good dan bad
 X1 menunjukkan acid durability
 X2 menunjukkan strenght
Penyelesaian (2)
 Hitung jarak titik sampel dengan data training menggunakan
Euclidean distance formula

𝑑 𝑑𝑎𝑡𝑎1, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (7 − 3)2 +(7 − 7)2 = 4

𝑑 𝑑𝑎𝑡𝑎2, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (7 − 3)2 +(4 − 7)2 = 5
𝑑 𝑑𝑎𝑡𝑎3, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (3 − 3)2 +(4 − 7)2 = 3
𝑑 𝑑𝑎𝑡𝑎4, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (1 − 3)2 +(4 − 7)2 = 3.6
Penyelesaian (3)
 Urutkan hasilnya

𝑑 𝑑𝑎𝑡𝑎1, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (7 − 3)2 +(7 − 7)2 = 4 3

𝑑 𝑑𝑎𝑡𝑎2, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (7 − 3)2 +(4 − 7)2 = 5 4

𝑑 𝑑𝑎𝑡𝑎3, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (3 − 3)2 +(4 − 7)2 = 3 1

𝑑 𝑑𝑎𝑡𝑎4, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (1 − 3)2 +(4 − 7)2 = 3.6 2

Penyelesaian (4)
K=3, berarti ambil 3 tetangga terdekat

𝑑 𝑑𝑎𝑡𝑎1, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (7 − 3)2 +(7 − 7)2 = 4

𝑑 𝑑𝑎𝑡𝑎3, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (3 − 3)2 +(4 − 7)2 = 3

𝑑 𝑑𝑎𝑡𝑎4, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (1 − 3)2 +(4 − 7)2 = 3.6
Penyelesaian (5)
 Periksa kelas dari 3 tetangga tersebut

𝑑 𝑑𝑎𝑡𝑎1, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (7 − 3)2 +(7 − 7)2 = 4 Bad

𝑑 𝑑𝑎𝑡𝑎3, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (3 − 3)2 +(4 − 7)2 = 3 Good

𝑑 𝑑𝑎𝑡𝑎4, 𝑑𝑎𝑡𝑎 𝑏𝑎𝑟𝑢 = (1 − 3)2 +(4 − 7)2 = 3.6 Good

Kesimpulan
Data baru: X1= 3, X2= 7 MASUK KE KELAS

GOOD
Tugas
Jika digunakan k= 1
(1 – Nearest
Neighbor) berapa
nilai prediksi Y pada
data baru (baris
terakhir)?