SUMMARY

KNN ALGORITHM USING PYTHON, HOW KNN ALGORITHM WORKS,

DATA SCIENCE FOR BEGINNERS BY SIMPLILEARN

K NEAREST NEIGHBOR (KNN) ALGORITHM EXPLAINED

OLEH DR. RAJESH KUMAR
DATA SCIENCE HEAD AT SCG CHEMICALS

Disusun Oleh:

Bayu Hanif Pratama

2056102002

Program Studi Magister Terapan Teknik Komputer

Jurusan Teknologi Informasi
Politeknik Caltex Riau
2021
BAGAIMANA K-NEAREST NEIGHBOR CLASSIFICATION ALGORITHM PRESENTATION
(KNN ALGORITHM) BEKERJA
Materi disampaikan oleh Simplilearn

1. WHY DO WE NEED KNN ?

Seperti yang kita ketahui bersama bahwa machine learning dapat melakukan prediksi
dengan mempelajari data-data historical yang telah tersedia.

Contoh dalam memprediksi seekor hewan yang tampak dari kejauhan, memprediksi apakah
hewan tersebut adalah seekor kucing ?
Dalam melakukan Analisa terhadap objek yang akan diprediksi, maka diperlukan beberapa
data pengetahuan dari masing-masing objek. Seperti contoh pada kasus prediksi objek
kucing, ada beberapa atribut yang harus diperhatikan ;

Dan dari beberapa atribut atau karakteristik dari dua objek tersebut ternyata yang memiliki
kedekatan/ korelasi yang sangat signifikan adalah sharp claws, uses to climb dan bigger
length of ears.

Dengan menggunakan beberapa data objek-objek yang tersedia maka terbentuklah

kelompok atau kluster yang membedakan antara kucing dan anjing.

2
 Selanjutnya, kita posisikan objek yang akan kita prediksi ke dalam grafik kluster di atas,
menurut analisa, objek yang kita amati memiliki kuku yang tajam dan telinganya sedikit lebih
Panjang. Dan ternyata posisi objek kita adalah sebagai berikut :

Amati dengan seksama, objek yang kita prediksi lebih condong berada dalam lingkaran data
kucing atau anjing. Dengan memprehatikan jumlah objek lain yang terdekat, maka bisa
simpulkan dengan objek tetangga terbanyak, maka objek kita berada pada kluster kucing.
Dan kita prediksi bahwa objek tersebut adalah seekor kucing.

Kenapa menggunakan KNN ? Karena KNN berdasar pada fitur kesamaan, dan kita dapat
melakukan klasifikasi menggunakan KNN classifier.

2. WHAT IS KNN ?
KNN adalah algoritma supervised machine learning yang sederhana dan banyak digunakan
untuk melakukan klasifikasi.
KNN mengelompokkan seluruh data historical yang tersedia dan mengklasifikasikan data
baru berdasarkan pengukuran kesamaan.
K di KNN adalah parameter yang mengacu pada jumlah tetangga terdekat untuk
dimasukkan dalam proses pemungutan suara mayoritas.

Misalkan K=5, Artinya Titik data diklasifikasikan oleh suara mayoritas dari 5 tetangga
terdekatnya.

3
 Contoh :

Di sini, titik yang tidak diketahui akan diklasifikasikan sebagai merah, karena 4 dari 5
tetangga berwarna merah.

3. HOW DO WE CHOOSE THE FACTOR “K” ?

Algoritma KNN didasarkan pada kesamaan fitur: memilih nilai k yang tepat adalah proses
yang disebut penyetelan parameter, dan penting untuk akurasi yang lebih baik.

Terdapat perbedaan hasil prediksi jika kita melakukan perubahan angka K .

Beberapa hal yang perlu diperhatikan untuk memilih nilai K adalah :
1. Sqrt(n), di mana n adalah jumlah total titik data
2. Nilai ganjil K dipilih untuk menghindari kebingungan antara dua kelas data

k yang lebih tinggi memiliki peluang kesalahan yang lebih rendah

4. WHEN DO WE USE KNN ?

Ketika :
1. Data berlabel
2. Data tidak mengandung noise
3. Datasets kecil

5. HOW DOES KNN ALGORITHM WORK

Akan dijelaskan menggunakan satu contoh ;

Diberikan dataset dengan 2 variabel : length (cm) dan berat (kg) dan setiap titik
diklasifikasikan sebagai normal atau kurang berat badan.

4
Atas dasar data yang diberikan, kita harus mengklasifikasikan set di bawah ini sebagai
normal atau kurang berat badan menggunakan KNN.

Dengan asumsi, kita tidak tahu bagaimana menghitung BMI.

Untuk menemukan tetangga terdekat, kita akan menghitung jarak Euclidean.
Menurut formula jarak Euclidean, jarak antara dua titik ditandai dengan koordinat (x,y) dan
(a,b) diberikan oleh :

Mari perhatikan perhitungan berikut agar lebih jelas :

Oleh karena itu, kita telah menghitung jarak Euclidean dari titik data yang tidak diketahui
dari semua titik seperti yang ditunjukkan.

5
 Kita memiliki n=10 dan sqrt(10)=3.1. Maka dari itu kita gunakan K = 3
Jadi, tetangga mayoritas menunjuk kea rah ‘normal’
Oleh karena itu, sesuai algoritma KNN kelas (57, 170) harus ‘normal’

Rekap KNN
1. K bilangan bulat positif ditentukan, bersama dengan sampel baru
2. Kami memilih entri k dalam database kami yang paling dekat dengan sampel baru
3. Kami menemukan klasifikasi yang paling umum dari entri ini
4. Ini adalah klasifikasi yang kami berikan untuk sampel baru

6. USE CASE – PREDICT WHETHER A PERSON WILL HAVE DIABETES OR NOT

Tujuan : memprediksi apakah seseorang akan didiagnosis menderita diabetes atau tidak.

Kami memiliki kumpulan data 768 orang yang atau tidak didiagnosis menderita diabetes.

6
7
8
K Nearest Neighbor (KNN) Algorithm Explained
Oleh Dr. Rajesh Kumar
Data Science Head at SCG Chemicals

1. Machine learning
Machine learning adalah bagian dari kecerdasan buatan yang memberikan kemampuan
pada mesin belajar secara otomatis dan meningkatkan dari pengalaman.

Apa itu kecerdasan buatan ? intinya jika kita terapkan kebiasaan kita sebagai manusia,
Bahasa kita, cara kita bekerja, dan lain-lain kedalam mesin dan mesin tersebut
berperilaku layaknya manusia.

Machine learning merupakan cara mesin belajar dari sejarah atau dari pengalaman
seperti yang kita pelajari sebagai manusia .

Ada banyak sekali manfaat dan kegunaan dari machine learning, seperti untuk
memprediksi harga beberapa tahun kedepan untuk keperluan usaha/ bisnis.

Jenis – jenis machine learning

a. Supervised
Pada dasarnya kita memberi tahu mesin tentang pengetahuan data.
b. Unsupervised
Digunakan jika kita tidak mengetahui jelas tentang apa yang ingin dilakukan dengan
data.
Biasanya digunakan untuk pengelompokkan data atau clustering
Pada materi yang disampaikan oleh Dr. Rajesh, menyampaikan satu contoh
penerapan machine learning di Jepang dalam melakukan segmentasi pelanggan
menggunakan data dari penggunaan air dan gas rumah.
Log pemakaian air untuk kebutuhan makan dan mandi kemudian penggunaan gas
untuk memasak, maka dapat dipelajari kapan pelanggan tersebut tidur dan bangun,
kemudian setiap kapan saja pelanggan tersebut makan diluar (berdasakan data
penggunaan air dan gas), dan lain-lain.
Dengan analisa data tersebut maka dapat diambil pengelompokkan pelanggan,
misalkan ada sebuah keluarga yang setiap minggu melakukan liburan dalam sehari,
maka akan ditawarkan sebuah asuransi perjalanan. Dan lain sebagainya.
c. Reinforcement
Konsep mesin yang belajar dari Tindakan yang dilakukan, pencapaian dari mesin ini
bisa menjadi jauh dari tujuan atau mendekati tujuan. Konsep ini menerapkan sistem
reward dan penalty.
Contoh penerapannya seperti penentuan harga produk secara adaptif. Jika
pendapatan turun maka harga produk akan diturunkan, dan jika pendapatan naik
kemudian permintaan naik maka harga produk akan naik juga.

2. What is KNN Algorithm ?

KNN adalah supervised machine learning, yang berfungsi untuk mengklasifikasi titik
data baru berdasarkan tetangganya
Features of KNN
a. Supervised learning
b. Simple
c. Non-parametic
d. Lazy algorithm
e. Classification & regression algorithm
f. Based on feature similarity

Untuk mendapatkan nilai K yang terbaik lakukanlah trial and error.

9
3. KNN Algorithm
Cara menghitung Euclidean distance sama halnya seperti yang dijelaskan oleh materi
simplilearn.

4. KNN Use Case

Dr. Rajesh menjelaskan beberapa rekomendasi referensi dan contoh-contoh project
machine learning.

5. Hands – On

10
11
12
13
14
15
16