MAKALAH

“ K-NEAREST NEIGHBOR (KNN) ”

Disusun untuk memenuhi mata kuliah Data Mining

Dosen Pengampu : Ibu Gellysa Urva, M.Kom

Disusun Oleh:
Merlin Keren (1955201050)
Kartini (1955201003)
Sarah Zulvianty (1955201011)
Rahmah Melati (1955201045)
Rizka Yulianti (1955201013)
Zakia Nabila (1955201062)
Bella Rosa (1955201034)
Monica Fitriyani (1955201043)

PROGRAM STUDI TEKNIK INFORMATIKA

SEMESTER 7 PAGI
SEKOLAH TINGGI TEKNOLOGI DUMAI
2022/2023
 KATA PENGANTAR

Puji syukur penulis panjatkan kepada Tuhan Yang Maha Esa, yang telah berkenan memberi
petunjuk dan kekuatan kepada kami sehingga makalah “K-Nearest Neighbor (KNN)” ini dapat
penulis selesaikan dengan tepat waktu.

Makalah ini merupakan salah satu tugas mata kuliah Data Mining Kelas Informatika 7 Pagi
Sekolah Tinggi Teknologi Dumai.
Dalam kesempatan ini penulis menyampaikan rasa terima kasih kepada Ibu Gellysa Urva,
M.Kom selaku Dosen Mata Kuliah Data Mining yang memberikan materi dalam penyusunan
makalah ini dan semua pihak yang telah memberikan bantuan, dorongan, bimbingan dan arahan
kepada penulis.
Penulis menyadari bahwa makalah ini jauh dari kesempurnaan. Oleh karena itu, kritik dan
saran yang sifatnya membangun, kami harapkan untuk perbaikan makalah pada masa yang akan
datang. Semoga makalah ini dapat bermanfaat khususnya bagi penulis dan para pembaca pada
umumnya.

Dumai, 21 November 2022

Kelompok III

ii
 DAFTAR ISI

KATA PENGANTAR ................................................................................................................... ii

DAFTAR ISI................................................................................................................................. iii

BAB 1 PENDAHULUAN ............................................................................................................. 1

1.1 Latar Belakang Penulisan ..................................................................................................... 1

1.2 Rumusan Masalah ................................................................................................................ 1

1.3 Tujuan Penulisan .................................................................................................................. 2

BAB II PEMBAHASAN .............................................................................................................. 3

2.1 Pengertian KNN ................................................................................................................... 3

2.2 Kelebihan dan Kekurangan KNN ........................................................................................ 3

2.3 Ilustrasi KNN ....................................................................................................................... 4

2.4 Algoritma KNN .................................................................................................................... 5

2.5 Contoh Soal KNN ................................................................................................................ 5

2.6 Penyelesaian Soal Secara Manual ........................................................................................ 5

2.7 Penyelesaian Soal Pada Excel .............................................................................................. 6

2.8 Penyelesaian Soal Pada Aplikasi Weka ............................................................................... 8

2.9 Penyelesaian Soal Pada Rapid Miner ................................................................................. 12

2.10 Penerapan KNN................................................................................................................ 17

BAB III PENUTUP .................................................................................................................... 18

3.1 Kesimpulan......................................................................................................................... 18

3.2 Saran ................................................................................................................................... 18

DAFTAR PUSTAKA .................................................................................................................. 19

BAHAN SOAL ............................................................................................................................ 20

iii
 BAB 1
PENDAHULUAN

1.1 Latar Belakang Penulisan

Algoritma K-Nearest Neighbor (KNN) adalah algoritma machine learning yang
bersifat non-parametric dan lazy learning. Metode yang bersifat non-parametric memiliki
makna bahwa metode tersebut tidak membuat asumsi apa pun tentang distribusi data yang
mendasarinya. Dengan kata lain, tidak ada jumlah parameter atau estimasi parameter yang
tetap dalam model, terlepas data tersebut berukuran kecil ataupun besar.
Algoritma non-parametric seperti KNN menggunakan sejumlah parameter yang
fleksibel, dan jumlah parameter seringkali bertambah seiring data yang semakin banyak.
Algoritma non-parametric secara komputasi lebih lambat, tetapi membuat lebih sedikit asumsi
tentang data.
Algoritma KNN juga bersifat lazy learning, yang artinya tidak menggunakan titik data
training untuk membuat model. Singkatnya pada algoritma KNN tidak ada fase training,
kalaupun ada juga sangat minim. Semua data training digunakan pada tahap testing. Hal ini
membuat proses training lebih cepat dan tahap testing lebih lambat dan cenderung ‘mahal’
atau membutuhkan banyak cost dari sisi waktu dan memori. Dalam kasus terburuk, KNN
membutuhkan lebih banyak waktu untuk memindai semua titik data. Proses ini juga akan
membutuhkan lebih banyak memori untuk menyimpan data training.

1.2 Rumusan Masalah

Rumusan masalah dari makalah ini adalah :
1. Apakah Yang Dimaksud Dengan KNN?
2. Apa Saja Kelebihan dan Kelekurangan KNN?
3. Bagaimana Ilustrasi KNN?
4. Bagaimana Algoritma KNN?
5. Bagaimana Penyelesaian Soal Pada KNN?
6. Bagaimana Penggunaan Excel, Aplikasi Weka, dan Aplikasi Rapid Miner Pada KNN?

1
1.3 Tujuan Penulisan
Adapun tujuan dari makalah ini adalah :
1. Untuk Mengetahui Pengertian dari KNN.
2. Untuk Mengetahui Kelebihan dan Kelekurangan KNN.
3. Untuk Mengetahui Ilustrasi KNN.
4. Untuk Mengetahui Algoritma KNN.
5. Untuk Mengetahui Penyelesaian Soal Pada KNN.
6. Untuk Mengetahui Penggunaan Excel, Aplikasi Weka, dan Aplikasi Rapid Miner KNN.

2
 BAB II
PEMBAHASAN

2.1 Pengertian KNN

K-Nearest Neighbor (KNN) adalah metode melakukan klasifikasi terhadap objek
berdasarkan data pembelajaran yang jaraknya paling dekat dengan objek tersebut. Metode ini
bertujuan untuk mengklasifikasikan objek baru berdasarkan atribut dan training sample.
Algoritma ini mengkelaskan data baru menggunakan kemiripan antara data baru dengan
sejumlah data (k) pada lokasi yang terdekat yang telah tersedia.
K-Nearest Neighbor termasuk salah satu algoritma paling sederhana yang digunakan
dalam machine learning untuk regresi dan klasifikasi. KNN mengikuti strategi “bird of a
feather” dalam menentukan di mana data baru sebaiknya ditempatkan. Algoritma KNN
mengasumsikan bahwa sesuatu yang mirip akan ada dalam jarak yang berdekatan atau
bertetangga. Artinya data-data yang cenderung serupa akan dekat satu sama lain.
KNN menggunakan semua data yang tersedia dan mengklasifikasikan data atau kasus
baru berdasarkan ukuran kesamaan atau fungsi jarak. Data baru kemudian ditugaskan ke kelas
tempat sebagian besar data tetangga berada.

2.2 Kelebihan dan Kekurangan KNN

Kelebihan KNN adalah sebagai berikut :
1. Sangat sederhana dan mudah dipahami
2. Sangat mudah diterapkan
3. Dapat digunakan dalam proses klasifikasi.
4. Dapat digunakan dalam jumlah kelas yang berbeda-beda
5. Tidak memerlukan proses training dan proses pembangunan model, karena data baru
langsung dikelaskan.
6. Sangat mudah jika akan dilakukan penambahan data.

3
 7. Parameter yang diperlukan sedikit, yaitu hanya jumlah tetangga yang dipertimbangkan (K),
dan metode perhitungan jaraknya (distance metrik)
8. Hasil pemodelan tidak linear, sehingga cocok untuk klasifikasi data yang batasannya tidak
linear.

Kekurangan KNN adalah sebagai berikut :

1. Perlu menentukan nilai K yang tepat.
2. Computation cost yang tinggi
3. Waktu pemrosesan yang lama jika datasetnya sangat besar.
4. Tidak cukup bagus jika diterapkan pada high dimensional data
5. Sangat sensitif pada data yang memiliki banyak noise (noisy data), banyak data yang hilang
(missing data), dan pencilan (outliers).

2.3 Ilustrasi KNN

Ilustrasi knn adalah sebagai berikut :

Dari gambar dapat dijelaskan bahwa nilai yang dicari (?) jika k=3, tanda ? termasuk
kedalam class B (kelas B memiliki 2 poin dibanding class A yang hanya 1 poin saja),
sedangkan jika k=7, tanda ? termasuk ke dalam class A (kelas A memiliki 4 poin
disbanding class B yang hanya memiliki 3 poin).

4
2.4 Algoritma KNN

Adapun algoritma pelatihan jaringan perceptron adalah sebagai berikut:

1. Tentukan jumlah tetangga (K) yang akan digunakan untuk pertimbangan penentuan
kelas.
2. Hitung jarak dari data baru ke masing-masing data point di dataset.

𝐸𝑢𝑐𝑙𝑖𝑑𝑒𝑎𝑛 = √∑(𝑥𝑖 − 𝑦𝑖 )2
𝑖=1

𝐸𝑢𝑐𝑙𝑖𝑑𝑒𝑎𝑛 = √(𝑥2 − 𝑋1 )2 + (𝑦2 − 𝑦1 )2

3. Ambil sejumlah K data dengan jarak terdekat, kemudian tentukan kelas dari data baru
tersebut.

2.5 Contoh Soal KNN

1. Data Training
Tinggi Badan Berat Badan Jenis Kelamin
155 50 Perempuan
175 63 Laki-laki
160 55 Perempuan
177 68 Laki-laki
163 52 Perempuan
176 78 Laki-laki

2. Data Testing
Tinggi Badan Berat Badan Jenis Kelamin
172 58 ?

2.6 Penyelesaian Soal Secara Manual

Langkah perhitungan:
1. Tentukan jumlah k yaitu 3.
2. Deskripsikan Nilai Euclidien Distance pada setiap tabel.

5
 Tinggi Badan Berat Badan Jenis Kelamin Euclidien Distance

155 50 Perempuan √(155 − 172)2 + (50 − 58)2 = 18.8

175 63 Laki-laki √(175 − 172)2 + (63 − 58)2 = 5.8

160 55 Perempuan √(160 − 172)2 + (55 − 58)2 = 12.4

177 68 Laki-laki √(177 − 172)2 + (68 − 58)2 = 11.2

163 52 Perempuan √(163 − 172)2 + (52 − 58)2 = 10.8

176 78 Laki-laki √(176 − 172)2 + (78 − 58)2 = 20.4

3. Beri Ranking dari yang terendah ke tertinggi

Tinggi Badan Berat Badan Jenis Kelamin Euclidien Distance Rank

155 50 Perempuan √(155 − 172)2 + (50 − 58)2 = 18.8 5

175 63 Laki-laki √(175 − 172)2 + (63 − 58)2 = 5.8 1

160 55 Perempuan √(160 − 172)2 + (55 − 58)2 = 12.4 4

177 68 Laki-laki √(177 − 172)2 + (68 − 58)2 = 11.2 3

163 52 Perempuan √(163 − 172)2 + (52 − 58)2 = 10.8 2

176 78 Laki-laki √(176 − 172)2 + (78 − 58)2 = 20.4 6

4. Hasil
Maka, didapatlah: (K=3) dengan tinggi 172 dan berat 58 adalah Jenis Kelamin laki -
laki dengan 3 prediksi yaitu
1. Laki-laki dengan Ed=5.8
2. Perempuan dengan Ed=10.8
3. Laki-laki dengan Ed=11.2

2.7 Penyelesaian Soal Pada Excel

1. Pengenalan Data Training dan Data Testing

6
2. Penyelesaian Tanpa Normalisasi

3. Penyelesaian Normalisasi Z-Score

7
 4. Penyelesaian Normalisasi MIN-MAX

2.8 Penyelesaian Soal Pada Aplikasi Weka

Berikut penyelesaian soal pada aplikasi Weka :
1. Sebelum Ke aplikasi weka kita harus membuat data dalam bentuk excel dan di simpan ke
dalam format CSV UTF-8 (comma delimited) agar data dapat dibaca di aplikasi weka.

8
2. Buka aplikasi Weka

3. Klik Applications Explore maka akan keluar halaman seperti gambar di bawah ini

4. Klik open file – Data F – Data Mining-KNN – Contoh KNN dengan format CSV UTF-8
(comma delimited) → sesuai kebutuhan

9
5. Klik classify – ubah folds = 5 – choose – lazy – lBk

6. Selanjutnya klik lBk tersebut lalu ubah knn menjadi 3 → sesuai kebutuhan - ok

10
7. Lalu klik start dan akan tampil hasil sebagai berikut :

8. Dari hasil terlihat bahwa nilai terendah yaitu laki-laki, maka,dapat disimpulkan dari soal
bahwa tinggi badan 172 dan berat badan 58 merupakan orang dengan jenis kelamin laki-
laki.

11
2.9 Penyelesaian Soal Pada Aplikasi Rapid Miner
Berikut contoh penyelesaian soal pada aplikasi Aplikasi Miner :
1. Import data lalu ubah masing nama data

2. Beri nama file data lalu simpan di bagian sample data dan tekan finish

12
3. Jika sudah disimpan,maka tampil data yang sudah di save di ExampleSet

4. Lalu cari data knnrapid miner dan drop ke kotak process,dan cari operator split data lalu
drop ke kotak process, next search operator k-NN and drop at to kotak process

5. Dilanjutkan search operator apply model lalu drop ke kotak process,dan yang terakhir
search operator performance classification lalu drop ke kotak process

13
6. Lalu hubungkan masing masing operator
- Knnrapidminer-split data ( out->exa)
- Split data-k-NN (par->tra)
- k-NN-Aplly model (mod->mod)
- Apply model-Perfprmance(lab->lab)
- Performace (per->res, exa->res)

14
7. Split data klik add entry dan tambah ratio , disini saya menambahkan ratio 0.8;0.2

8. Klik operator k-NN ,dan mentesting nilai K=5

15
9. Operator performance memakai nilai accuracy

10. lalu klik tombol run, dari kedua hasil prediction jenis kelamin k-NN menggunakan
operator apply model, didapatkanlah hasil K=2 adalah Laki-Laki

16
2.10 Penerapan KNN
Ada beberapa penerapan KNN yaitu sebagai berikut :

1. Peringkat kredit: Algoritma KNN membantu menentukan peringkat kredit individu

dengan membandingkannya dengan individu yang memiliki karakteristik serupa.
2. Persetujuan pinjaman: Mirip dengan peringkat kredit, algoritma k-nearest neighbor
bermanfaat dalam mengidentifikasi individu yang cenderung gagal membayar pinjaman
dengan membandingkan sifat mereka dengan individu serupa.
3. Preprocessing data: Dataset dapat memiliki banyak nilai yang hilang. Algoritma KNN
bisa digunakan untuk proses yang disebut missing data imputation yang memperkirakan
nilai-nilai yang hilang.
4. Pengenalan pola: Kemampuan algoritma KNN untuk mengidentifikasi pola sangat
bermanfaat untuk beberapa bidang. Misalnya, membantu mendeteksi pola penggunaan
kartu kredit dan menemukan pola yang tidak biasa. Deteksi pola juga berguna dalam
mengidentifikasi pola dalam perilaku pembelian pelanggan.
5. Prediksi harga saham: Karena algoritma KNN memiliki kemampuan untuk memprediksi
nilai entitas yang tidak diketahui, ini berguna dalam memprediksi nilai saham di masa
mendatang berdasarkan data historis.
6. Sistem rekomendasi: Karena KNN dapat membantu menemukan pengguna dengan
karakteristik serupa, KNN dapat digunakan dalam sistem rekomendasi. Misalnya, dapat
digunakan dalam platform streaming video online untuk menyarankan konten yang
kemungkinan besar akan ditonton oleh pengguna dengan menganalisis apa yang ditonton
oleh pengguna serupa.
7. Visi komputer: Algoritma KNN digunakan untuk klasifikasi gambar. Karena mampu
mengelompokkan titik data yang serupa, misalnya, mengelompokkan kucing dan anjing di
kelas yang berbeda, ini berguna dalam beberapa aplikasi visi komputer.

17
 BAB III
PENUTUP

3.1 Kesimpulan
K-nearest neighbor merupakan sebuah algoritma machine learning pendekatatan
supervised learning sederhana yang dapat digunakan untuk proses klasifikasi maupun
regresi. KNN berjalan dengan menentukan jarak antara data baru terhadap data tersedia,
memilih sejumalah K titik terdekat, lalu mengkelaskan data baru sesuai dengan mayoritas
kelas yang dimiliki oleh titik K.

3.2 Saran
Untuk Lebih mengetahui dan memperdalam tentang Klassifikasi KNN dalam data
mining, diharapkan mencari banyak sumber dan membaca pustaka yang lebih rinci sehingga
tidak terjadi kesalahan dalam memahami algoritmanya. Pesan penulis yaitu banyak-banyak
berlatih agar lebih memahami dalam aplikasi yang dapat membantu pemecahan masalah
terkait soal KNN dalam data mining.

18
 DAFTAR PUSTAKA

https://www.trivusi.web.id/2022/06/algoritma-knn.html

https://geospasialis.com/k-nearest-neighbor/

https://www.advernesia.com/blog/data-science/pengertian-dan-cara-kerja-algoritma-k-nearest-

neighbours-knn/

https://ilmudatapy.com/algoritma-k-nearest-neighbor-knn-untuk-klasifikasi/

https://achmadrizal.staff.telkomuniversity.ac.id/k-nearest-neighbor-k-nn/

https://medium.com/bee-solution-partners/cara-kerja-algoritma-k-nearest-neighbor-k-nn-
389297de543e

19
 BAHAN SOAL

Data Training Pemberian Pinjaman

Customer Umur Pinjaman Kategori Peminjaman

Bunda Corla 25 40000 No
Natasha 35 60000 No
Amiruddin 45 80000 No
Bimo 20 20000 No
Bunda Maia 35 120000 No
Siti Aisyah 52 18000 No
Mamang 23 95000 Yes
Munaroh 40 62000 Yes
Apolah 60 100000 Yes
Mpok Junah 48 220000 Yes
Bambang 33 150000 Yes

Data Testing Pemberian Pinjaman

Customer Umur Pinjaman Kategori Peminjaman

Methew 48 142000 ?

Pertanyaan :
Dari data training pemberian pinjaman yang telah diberikan diatas, cklasifikasikan apakah
kategori peminjaman customer bernama methew dengan umur 48 dengan pinjman 142000
menggunakan metode KNN.

20