K-Nearest

Neighbor
Haris Subagya A11.2014.08307
Muhammad Imam Khoiriza A11.2014.08312
Bagas Denny Brahmana A11.2014.08314
Alwi Mubarok A11.2014.08335
Annuar Hidayat A11.2014.08541
 Pendahuluan
• K-Nearest Neighbour atau KNN adalah salah dari algoritma
instance based learning atau case-based reasoning.
• Definisi case based reasoning:

• KNN digunakan dalam banyak aplikasi data mining, statistical

pattern recognition, image processing, dll.
• Beberapa aplikasinya meliputi: pengenalan tulisan tangan,
satellite image dan ECG pattern. ECG produces
a pattern reflecting the electrical activity of the heart.
Apa itu is K-Nearest Neighbor
(KNN) Algorithm?
• K-nearest neighbor adalah algoritma supervised
learning dimana hasil dari instance yang baru
diklasifikasikan berdasarkan mayoritas dari
kategori K-tetangga terdekat.
• Tujuan dari algoritma ini adalah untuk
mengklasifikasikan obyek baru berdasarkan
atribut dan sampel2 dari data training.
• Algoritma K Nearest neighbor menggunakan
neighborhood classification sebagai nilai
prediksi dari nilai instance yang baru.
Kelebihan dan kelemahan dari
Algoritma K-Nearest Neighbour
• Kelebihan dari Algoritma K-Nearest Neighbor :
– Robust terhadap data yang noisy
– Efektif jika training data berjumlah banyak
• Kekurangan dari Algoritma K-Nearest Neighbor :
– Perlu menunjukkan parameter K (jumlah tetangga terdekat)
– Berdasarkan perhitungan nilai jarak (Distance based
learning), tidak jelas perhitungan jarak mana yang sebaiknya
digunakan dan atribut mana yang memberikan hasil yang
baik.
– Nilai komputasinya tinggi karena kita perlu menghitung jarak
dari nilai baru ke semua data yang ada di data training.
Beberapa cara pengindexan (K-D tree) dapat digunakan untuk
mereduksi biaya komputasi.
Contoh Kasus
Data diatas adalah dataset kelulusan dimana terdapat 5 record untuk data
training yaitu no 1-5 dan 1 data testing yaitu data ke-6. Terdapat 5 atribut yaitu
SMT1, SMT2, SMT3, SMT4, SMT5 yang tipe datanya numerik (bisa
dijumlahkan) dan terdapat 1 label yaitu kelulusan yang mempunyai jenis data
nominal yaitu tepat waktu atau terlambat.
 Menentukan parameter K, K=3, sehingga didapat data sebagai
berikut :
Langkah berikutnya yaitu mengurutkan objek-objek tersebut ke dalam kelompok
yang memiliki euclidian terkecil. Untuk mengurutkan kita hanya mengurutkan
sesuai data terkecil ke terbesar (ranking), sehingga menjadi seperti data berikut :

Setelah itu kita lanjut pada tahap menentukan nilai Y (klasifikasi nearest neighbour)
yang dilakukan dengan cara mengambil data sesuai parameter K pada langkah
pertama tadi yang telah ditentukan K=3, sehingga kita ambil 3 data terbaik saja.
Hasil data tersebut sebagai berikut :
Dari ketiga data terbaik tersebut kita harus melihat labelnya berikut data ketika
dengan label sesuai dengan dataset awal

Dan diperoleh label yang sesuai :

Data terbaik dari tabel sebelumnya adalah data ke 2, 4, 5 dan memiliki label
‘Tepat Waktu’ pada masing-masing data tersebut, sehingga karena mayoritas
rataan data tersebut memiliki label ‘Tepat Waktu’, jadi dapat kita simpulkan
hasil klasifikasi metode KNN pada data ‘Abdul Kodir’ adalah ‘Tepat Waktu’
SEKIAN TERIMA KASIH