See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/257604715

Imputasi Missing data Menggunakan Algoritma Pengelompokan Data K-

Harmonic Means

Conference Paper · January 2013

CITATIONS READS

3 5,022

2 authors:

Abidatul Izzah Nur Hayatin

Politeknik Kediri University of Muhammadiyah Malang
25 PUBLICATIONS   59 CITATIONS    39 PUBLICATIONS   22 CITATIONS   

SEE PROFILE SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Open Web Directory for Children View project

Improved Linear Regression View project

All content following this page was uploaded by Abidatul Izzah on 24 February 2014.

The user has requested enhancement of the downloaded file.

 Seminar Nasional Matematika dan Aplikasinya 2013

Imputasi Missing data Menggunakan Algoritma

Pengelompokan Data K-Harmonic Means
Abidatul Izzah 1), Nur Hayatin 2)
1)
Jurusan Teknik Informatika ITS Surabaya
Jl. Teknik Kimia Kampus Teknik Informatika ITS Surabaya
2)
Teknik Informatika Universitas Muhammadiyah Malang
Jl. Raya Tlogomas 246, Malang Indonesia
1)
aza.syaifa@gmail.com
2)
noorhayatin@umm.ac.id

Abstract— Missing data adalah hilangnya suatu nilai
atribut tertentu pada suatu instance dataset.
Permasalahan ini disebabkan oleh tidak adanya data
di lapangan atau adanya kesalahan dalam
pencacahan. Metode yang sering digunakan untuk
mengatasi permasalahan ini adalah dengan mengisi
nilai dari rataan atribut yang ada atau
menghilangkan instance yang mengandung missing
data. Penggunaan metode ini dirasa kurang efektif
karena dapat menghilangkan informasi penting
yang mungkin terdapat pada data yang dibuang.
Metode lain yang digunakan adalah dengan
mengestimasi nilai missing data atau yang dikenal
dengan imputasi data. Salah satu teknik imputasi
yang digunakan adalah algoritma pengelompokan
data K-Means (KM). Dalam perkembangannya, KM
telah disempurnakan untuk menghindari pengaruh
dari data-data yang ada di sekitar titik tengah
klaster, metode pengelompokan data ini disebut
dengan K-Harmonic Means (KHM). KHM
merupakan variasi model KM dalam hal fungsi
obyektif yang digunakan. Penelitian ini bertujuan
untuk mengimputasi nilai yang hilang pada suatu
data menggunakan K-Harmonic Means. Algoritma
KHM digunakan untuk menentukan titik centroid
yang digunakan untuk mengestimasi nilai missing
data. Data yang digunakan dalam penelitian ini
adalah lima dataset yang diperoleh dari UCI
Machine Learning. Dengan menggunakan
pendekatan metode ini diharapkan hasil imputasi
missing data yang diperoleh memiliki Mean Square
Error (MSE) sekecil mungkin.
Keywords— Imputasi, K-Harmonic Means, K-
Means, Missing data
I. PENDAHULUAN
Dalam kasus nyata, banyak sekali ditemukan
dataset yang setengah dari fiturnya hilang.
Permasalahan ini disebut dengan missing data.
Missing data dapat diakibatkan oleh kesalahan
sistem maupun human error. Dalam banyak kasus
yang berkaitan dengan pengenalan pola maupun
klasifikasi, missing data merupakan permasalahan
yang dapat mempengaruhi hasil klasifikasi.
Missing data menjadi kelemahan umum dalam
klasifikasi dimana hampir semua metode
klasifikasi hanya dapat bekerja pada data yang
lengkap. Hal ini yang mendorong perlunya dicari
metode khusus untuk penanganan terhadap
permasalahan yang berkaitan dengan missing data.
Metode yang umum digunakan adalah dengan cara
membuang data yang mengandung missing (case
deletion). Beberapa metode telah dikembangkan
khusus untuk menangani missing data. Salah satu
metode tersebut adalah teknik imputasi. Teknik
imputasi sendiri dibedakan menjadi beberapa
metode, yang paling popular adalah: mean,
median, modus, dan klasterisasi.
Imputasi missing data pernah dilakukan oleh
Malarvizhi menggunakan KM. Dalam penelitian
tersebut dilakukan analisa kinerja KM dan K-
Nearest Neighbour (KNN) untuk imputasi missing
data. Analisa dilakukan dengan cara
membandingkan akurasi dari hasil klasterisasi
kedua metode tersebut. Hasil pengujian
menunjukkan bahwa KM menunjukkan akurasi
kurang baik dibanding KNN. Hal ini
dimungkinkan karena KM memiliki kelemahan
pada inisialisasi centroid (Malarvizhi dkk, 2012).
K-Means (KM) adalah salah satu algoritma
pengelompokan data yang dapat digunakan untuk
melakukan imputasi pada missing data. Algoritma
KM mengelompokkan data (klasterisasi)
berdasarkan titik pusat klaster (centroid). Pen
(1999) telah melakukan perbandingan empat
teknik inisialisasi centroid, yaitu random, Forgy,
MacQueen dan Kaufman. Proses inisialisasi
centroid sangat mempengaruhi hasil klasterisasi
sehingga permasalahan sensitifitas terhadap
penentuan titik awal menjadi kelemahan metode
ini Jika inisialisasi centroid kurang optimal, maka
hasil klasterisasi juga akan kurang optimal.
Disamping itu titik awal pusat klaster yang
ditentukan secara random sangat memungkinkan
hasil klaster konvergen pada lokal optimal Hal
inilah yang menjadi salah satu kelemahan KM
(Pen, 1999). Untuk mengatasi masalah yang terjadi
pada inisialisasi pusat klaster, Zhang, Hsu, dan
Dayal (Zhang dkk, 1999) mengusulkan sebuah
metode baru yang diberi nama K-Harmonic Means
(KHM) yang kemudian dimodifikasi oleh
Hammerly dan Elkan (Hammerly, 2002).
Penelitian ini bertujuan untuk menerapkan
algoritma KHM sebagai algoritma untuk imputasi
missing data agar didapatkan estimasi nilai untuk
data missing yang lebih mendekati nilai

sebenarnya. Penelitian ini juga membandingkan
beberapa metode imputasi yang lain (KM, Mean,
dan Median) untuk mengetahui kinerja dari metode
tersebut dengan menganalisa klasterisasi data yang
dihasilkan.
II. STUDI PUSTAKA
A. Pengelompokan Data
Pengelompokkan data dalam data mining
dibedakan menjadi 2, yaitu klasifikasi dan
klasterisasi. Klasifikasi adalah pengelompokkan
data yang membutuhkan data latih (supervised).
Sedangkan klasterisasi adalah pengelompokkan
data tanpa membutuhkan data latih (unsupervised).
Du (2010) menjelaskan bahwa klasterisasi
adalah proses membagi data yang tidak berlabel
menjadi kelompok-kelompok data yang memiliki
kemiripan. Setiap kelompok data (klaster) terdiri
dari obyek yang memiliki kemiripan satu sama lain
dan setiap klaster memiliki ketidakmiripan dengan
klaster lain. Klasterisasi lazim digunakan dalam
analisis data multivariat.
Misalkan K adalah jumlah klaster, C
merupakan label klaster, dan P merupakan dataset.
Klasterisasi harus memenuhi kriteria sebagai
berikut:
Ci  , i  {1,2,..., K} (1)
Ci  C j  , i  j and i, j {1,2,..., K} (2)
K
P (3)
C i
i 1
B. Imputasi Missing Data
Missing data adalah suatu kondisi hilangnya
sebagian fitur pada dataset. Missing data dapat
disebabkan oleh kesalahan sistem seperti tidak
adanya respon terhadap sensor atau perangkat
penerima input. Dapat pula disebabkan oleh human
error seperti ketidaklengkapan memasukkan data
pada database atau ketidakpahaman responden
dalam pengisian kuisioner pada survey skala besar
sehingga melewati form isian yang telah
disediakan. Metode yang ada pada data mining
hanya dapat memroses data yang memiliki
kelengkapan fitur sehingga dibutuhkan
penanganan khusus terhadap permasalahan ini.
Ada 3 metode yang digunakan untuk penanganan
missing data, yaitu : Case Deletion, Parameter
Estimation, dan Imputation Techniques (Little dan
Rubin, 2002).
Case deletion merupakan metode yang paling
mudah yaitu dengan cara menghapus data yang
mengandung missing. Kelemahan dari metode ini
adalah dimungkinkan informasi-informasi penting
ikut terhapus ketika missing data dihapus. Teknik
imputasi merupakan metode penanganan missing
data yang lebih banyak diteliti. Imputasi data
adalah memperkirakan nilai pada missing data
Seminar Nasional Matematika dan Aplikasinya 2013
dengan cara mendapatkan pola dari data yang
memiliki fitur lengkap. Beberapa metode imputasi
yang populer adalah: Mean, Median/Modus dan
klasterisasi.
Missing data adalah suatu kondisi dimana
data tidak ada atau data hilang. Terdapat 3
mekanisme penghilangan data, antara laon
Missing Completely at Random (MCAR), yaitu
jika distribusi data yang hilang pada suatu atibut
tidak tergantung pada data pengamatan atau
missing data. Metode ini akan menggunakan
dataset komplit kemudian membangkitkan missing
data secara acak berdasarkan proporsi tertentu.
Keuntungan dari metode ini adalah memudahkan
para peneliti untuk estimasi komputasi dari model
yang diusulkan Mekanisme lain adalah Missing at
Random (MAR), yaitu jika distribusi data yang
hilang pada suatu atribut tergantung pada data
pengamatan tetapi tidak tergantung pada missing
data. Yang terakhir adalah Not Missing at
Random (NMAR), jika distribusi data yang hilang
pada suatu atribut tergantung pada missing data
(Pigott dan Therese, 2011)..
C. K-Means
Algoritma KM merupakan algoritma
klasterisasi yang mengelompokkan data
berdasarkan titik pusat klaster (centroid) terdekat
dengan data. Tujuan dari KM adalah
pengelompokkan data dengan memaksimalkan
kemiripan data dalam satu klaster dan
meminimalkan kemiripan data antar klaster.
Ukuran kemiripan yang digunakan dalam klaster
adalah fungsi jarak. Sehingga pemaksimalan
kemiripan data didapatkan berdasarkan jarak
terpendek antara data terhadap titik centroid.
Tahapan awal yang dilakukan pada proses
klasterisasi data dengan menggunakan algoritma
KM adalah pembentukan titik awal centroid cj
Pada umumnya pembentukan titik awal centroid
dibangkitkan secara acak. Jumlah centroid cj yang
dibangkitkan sesuai dengan jumlah klaster yang
ditentukan di awal. Setelah k centroid terbentuk
kemudian dihitung jarak tiap data xi dengan
centroid ke-j sampai k, dinotasikan dengan d(xi,cj).
Terdapat beberapa ukuran jarak yang digunakan
sebagai ukuran kemiripan suatu instance data,
salah satunya adalah jarak Euclid. Perhitungan
jarak Euclidean seperti pada Persamaan 4.
Jika semakin kecil, kesamaan antara
dua unit pengamatan semakin dekat. Syarat
menggunakan jarak Euclid adalah jika semua fitur
dalam dataset tidak saling berkorelasi. Jika
terdapat fitur yang berkorelasi maka menggunakan
 Seminar Nasional Matematika dan Aplikasinya 2013

konsep jarak Mahalanobis (Duran dan Odell, Selanjutnya untuk setiap data xi, hitung nilai
1974). keanggotaan m(cl|xi) untuk setiap titik pusat klaster
Selanjutnya dari jarak tersebut dicari yang cl berdasarkan Persamaan 6.
terdekat sehingga data akan mengelompok || x  c ||  p2
berdasarkan centroid yang paling dekat. Tahap m(cl | xi )  k i l
berikutnya adalah update titik centroid dengan  || xi  cl ||  p2
l 1 (6)
menghitung rata-rata jarak seluruh data terhadap
centroid. Selanjutnya akan kembali lagi ke proses Untuk setiap data xi, hitung nilai bobot w(xi)
awal. Iterasi ini akan diulangi terus sampai berdasarkan Persamaan 7.
K
didapatkan centroid yang konstan artinya titik  || xi  cl ||  p 2
centroid sudah tidak berubah lagi. Atau iterasi w( xi )  l 1
2
dihentikan berdasarkan jumlah iterasi maksimal  K || x  c ||  p 
 i l 
yang ditentukan (Agusta, 2007). Gambar 1  l 1 
(7)
menunjukkan diagram alur algoritma KM. Untuk setiap titik pusat cj, ulang kembali
perhitungan untuk posisi titik pusat klaster dari
Tentukan k
semua data berdasarkan nilai keanggotaan dan
bobot yang dimiliki tiap data. Penentuan posisi
Bangkitkan titik pusat ini berdasarkan Persamaan 8.
centroid {cj,..,ck} N
 m(cl | xi ).w( xi ).xi
cl  i 1
N
Hitung dij(xi,cj),  m(cl | xi ).w( xi )
{i=1,..,N},{j=1,..,k} i 1 (8)
Ulangi perhitungan nilai fungsi tujuan sampai
Tentukan klaster update centroid sampai mendapatkan nilai fungsi
untuk tiap anggota tujuan yang tidak terdapat perubahan atau kurang
dari ambang batas. Tetapkan keanggotaan data xi
pada suatu klaster dengan titik pusat klaster cj
sesuai dengan nilai keanggotaan xi terhadap cj.
N Update Tahapan KHM dapat dilihat pada Gambar 2.
centroid

Inisialisasi centroid ci
Y

Kelompok data
Tent nilai parameter p

Gambar 1. Diagram Prosedur KM

Hitung nilai keanggotaan tiap centroid
m(cl|xi) dan nilai bobot w(xi)
D. K-Harmonic Means
Algoritma KHM merupakan pengembangan
dari KM yang memperbaiki kekurangan dari KM Hitung nilai posisi centroid ci baru
dengan menggunakan fungsi obyektif yang
didapatkan dengan cara meminimalisasi rata-rata
harmonik dari jarak seluruh data dengan tiap Tetapkan keanggotaan data xi pada
centroid. Dari hasil penelitian menunjukkan bahwa suatu klaster dengan titik pusat klaster
KHM tidak sensitif terhadap inisialisasi centroid cj
dan secara signifikan meningkatkan kualitas
klasterisasi dibandingkan dengan KM (Zhang dkk Gambar 2. Diagram Prosedur KHM
1999).
Widiartha (2012) menjelaskan langkah-langkah III. METODE
KHM sebagai berikuy: Langkah pertama KHM Untuk mengimplementasikan algoritma
adalah inisialisasi posisi titik pusat klaster awal pengelompokan data KHM sebagai metode
secara random. Kemudian jika p adalah input imputasi missing data, langkah pertama adalah
parameter dan biasanya nilai p ≥ 2. hitung nilai membagi data yang digunakan menjadi data latih
fungsi tujuan Persamaan 5. dan data uji. Data yang digunakan adalah data
N K komplit yang tidak mengandung missing data.
KHM ( X , C )  
i 1
K 1 Langkah berikutnya adalah melakukan

l 1 || xi  cl ||
p
(5) pengelompokan data dari data latih tersebut
menggunakan KHM. Dari proses pengelompokan
 Seminar Nasional Matematika dan Aplikasinya 2013

Dataset

Membangkitkan missing data

(proporsi = 10%, 30% 50%)

Imputasi dengan Imputasi dengan Imputasi dengan Imputasi dengan

KHM KM Mean Median

Membandingkan
nilai MSE

Gambar 3. Bagan Penelitian

ini akan diperoleh masing-masing centroid untuk

setiap kelompok data.
Kemudian pada data uji dilakukan
penghilangan nilai atribut menggunakan teknik
MCAR hingga data uji terdiri dari data komplit Dc
dan data missing Dm. Proporsi penghilangan nilai
atribut ini sebesar 10%, 30%, dan 50%. Kemudian
dilakukan tahap imputasi dengan menghitung jarak
Euclidean sesuai dengan Persamaan 1 antara
setiap data uji yang mengandung missing data Dm
dengan masing-masing titik centroid pada setiap
kelompok data.
Centroid terdekat berdasarkan jarak tersebut
akan mengisi atribut yang hilang pada Dm. Proses
ini dilakukan sampai seluruh missing data terisi.
Evaluasi dilakukan dengan menghitung nilai
Mean Square Error (MSE) antara nilai imputasi
dengan nilai real. Jika
merupakan dataset real dan
merupakan dataset hasil
imputasi maka MSE dapat ditentukan dengan
persamaan :
Bagan metode penelitian ini dapat dilihat pada
Gambar 3.
IV. UJI COBA DAN ANALISIS
B. Skenario Uji Coba
Pengujian dilakukan pada beberapa metode
imputasi untuk menganalisa performa dari metode
imputasi. Pada penelitian ini terdapat 4 metode
yang akan diujicobakan yaitu KHM, KM, Mean,
dan Median. Proses pertama yang akan dilakukan
untuk imputasi data dari data komplit adalah
membangkitkan missing data. Dengan cara
menghilangkan beberapa instance secara acak,
berturut-turut dengan proporsi 10%, 30%, dan
50%.
Setelah diperoleh dataset dengan missing data,
proses imputasi dilakukan. Evaluasi dari hasil
imputasi dilihat dari perhitungan MSE. Dalam
setiap imputasi untuk masing-masing dataset dan
proporsi dilakukan 10 kali replikasi. Dimana dari
setiap replikasi akan dihitung nilai MSE sehingga
dari 10 replikasi akan didapatkan nilai rata-rata
MSE untuk tiap metode. Pada akhirnya uji one way
ANOVA dilakukan untuk mengetahui performa
terbaik dari metode yang diujikan
C. Hasil Uji Coba
Pada pengujian menggunakan metode KHM,
parameter yang digunakan adalah p = 2. Berikut ini
Tabel 2 menunjukkan nilai rata-rata MSE yang
diperoleh dari 10 replikasi.

A. Data Uji Coba

Data yang digunakan dalam uji coba ini TABEL 2. HASIL UJI COBA
adalah dataset iris, wine, dan glass yang diambil Rata-rata MSE
Metode Proporsi
dai UCI Machine Learning Repository. Dataset Iris Glass Wine
tersebut merupakan dataset yang lengkap yang 10% 0.0032 0.0032 0.0184
tidak terdapat missing value pada data.
KHM 30% 0.029 0.0009 0.0006
Karakteristik dataset tersebut dapat dilihat pada
Tabel 1. 50% 0.0557 0.0011 0.0008
TABEL 1. DATASET
10% 0.0047 0.0114 0.016
Dataset Instance Atribut
Iris 150 4 KM 30% 0.0622 0.0013 0.0007
Wine 178 13
Glass 214 10 50% 0.0716 0.0015 0.0009
 Seminar Nasional Matematika dan Aplikasinya 2013

Rata-rata MSE KHM memberikan nilai MSE yang sama dengan

Metode Proporsi
Iris Glass Wine metode imputasi KNN dan Median. Hal ini
10% 0.0360 0.0159 0.0822 disebabkan proses pemilihan data hilang adalah
secara random sehingga adakalanya nilai nilai
Mean 30% 0.0926 0.0013 0.0009 yang hilang merupakan median itu sendiri.
50% 0.1199 0.0013 0.0013
V. KESIMPULAN
10% 0.0384 0.0279 0.103
Hasil imputasi menggunakan KHM
Median 30% 0.1048 0.0017 0.0011 memberikan nilai MSE paling kecil untuk semua
50% 0.1236 0.0016 0.0014 dataset yakni 0.0293 untuk dataset Iris, 0.001733
untuk dataset Glass, dan 0.0066 untuk dataset
Wine. Jika dibandingkan dengan teknik imputasi
Dari pengamatan secara rata-rata metode KM, Mean, dan Median, secara rata-rata imputasi
imputasi pengelompokan data KHM memiliki missing data menggunakan algoritma
MSE paling rendah. Dalam pengujian data hasil pengelompokan data KHM menunjukkan hasil
10 replikasi antara metode KHM dengan KM, yang lebih baik. Namun hasil uji statistik
Mean, dan Median diatas digunakan uji statistik menunjukkan bahwa perbedaan secara signifikan
ANOVA dengan taraf kepercayaan 95%. Dengan terjadi antara KHM dengan Mean dan Median,
menggunakan software SPSS 17, diperoleh nilai tidak dengan KM. Dari hasil yang telah
p-value untuk perbandingan metode KHM dengan didapatkan, dapat disimpulkan bahwa secara rata-
metode imputasi KM, Mean, dan Median dapat rata KHM mampu memberikan nilai akurasi yang
dilihat pada Tabel 3. Nilai yang ditunjukkan lebih baik jika dibandingkan dengan metode KM
adalah nilai p-value antara metode KHM dengan namun perbedaan ini tidak terlihat signifikan.
metode lainnya.
DAFTAR PUSTAKA
Tabel 3. HASIL UJI STATISTIK Agusta, Y, 2007, K-Means – Penerapan, Permasalahan dan
p Metode Terkait. Jurnal Sistem dan Informatika
Metode Data Proporsi Vol. 3, 47-60
KM Mean Median Du, K.L., 2010, Clustering A neural network approach.
Neural Network, 23, pp.89-107
10% 0.994 0 0
Duran, B.S., Odell, P.L.,1974, Cluster Analysis : A Survey,
Iris 30% 0.514 0.054 0.016 Springer-Verlag, Berlin and New York
Little, R. J. dan Rubin, D.B. 2002. Statistical analysis with
50% 0.919 0.065 0.046 missing data. Second Edition. John Wiley and
Sons, New York.
10% 0.985 0.948 0.723 Hammerly, G., dan Elkan, C., 2002, Alternatives to The K-
KHM Glass 30% 0.887 0.89 0.457 Means Algorithm that Find Better Clusterings,
Proceedings of the 11th international conference
50% 0.684 0.937 0.468 on information and knowledge management, hal.
600–607.
10% 1 0.76 0.567 Malarvizhi, T. 2012, K-NN classifier performs better than k-
means clustering in missing value imputation,
Wine 30% 0.976 0.585 0.18
IOSR Journal of Computer Engineering, Vol.6,
50% 0.983 0.029 0.009 No. 5, hal 12-15.
Pen, J.M., Lozano, J.A., dan Larranaga, P. (1999), An
Empirical Comparison of Four Initialization
Jika diambil nilai α = 0.05, maka hal ini Methods for The K-Means Algorithm, Pattern
menunjukkan bahwa metode imputasi KHM Recognition Letters, Vol. 20, hal. 1027-1040.
Pigott D.T., 2011. A review of methods for missing data.
menunjukkan hasil yang baik secara signifikan Educational Research and Evaluation, Vol. 7,
jika dibandingkan dengan Mean dan Median, No.4, hal. 353-383.
namun tidak untuk KM karena nilai yang Widiartha, I.M, Arifin, A.Z., Yuniarti, A., 2012, Klasterisasi
ditunjukkan kurang dari nilai batas α. Dari sini Data Iris Menggunakan Metode Berbasis
Artificial Bee Colony Dan K-Harmonic Means
bisa disimpulkan bahwa secara rata-rata metode Tesis Pascasarjana Jurusan T. Informatika, FTIF,
KHM memiliki performa yang bagus dengan Institut Teknologi Sepuluh Nopember, Surabaya.
menghasilkan MSE yang paling kecil jika Zhang, B., Hsu, M., dan Dayal, U. 1999, K-Harmonic Means –
dibandingkan dengan tiga metode A Data Clustering Algorithm, Technical Report
HPL-1999-124, Hewlett-Packard Laboratories.
pembandingnya. Namun, pada kasus tertentu

View publication stats