CITEE 2019 Yogyakarta, 24-25 Juli 2019
Evaluasi User Experience pada Sistem Informasi Pasar Kerja
Menggunakan User Experience Questionnare (UEQ)
Kharis, Paulus Insap Santosa, Wing Wahyu Winarno
Departemen Teknik Elektro dan Teknologi Informasi Fakultas Teknik UGM
Jl. Grafika No 2 Kampus UGM Yogyakarta, 55281, Indonesia
kharis@mail.ugm.ac.id
Abstract—The purpose of E-government implementation is to
improve public service quality. One of implementation forms
is the Labor Market Information System for the job seeker, it
is managed by Indonesian Ministry of Manpower. However,
according to the job seeker society’s opinion as the main user,
the service quality of the system isn’t known yet. User
experience is one of the benchmarks of product quality,
service or information system. The purpose of the research is
to measure user experience in information system of Indone-
sian labor market department. The measurenment is conduct-
ed by using user experience questionnaire (UEQ). The evalua-
tion result of user experience shows that perspicuity, effi-
ciency, stimulation and novelty aspects on Labor Market
Information System gets under average score. While attrac-
tiveness and dependability aspects gets bad score.
Keywords- e-government; user experience; User Experience
Questionnaire (UEQ);
Intisari—Penerapan e-government bertujuan untuk mening-
katkan kualitas pelayanan publik. Salah satu bentuk
penerapan e-government adalah Sistem Informasi Pasar
Kerja bagi para pencari kerja yang dikelola Kementerian
Tenaga Kerja RI. Akan tetapi, sistem ini belum diketahui
kualitas layanannya menurut masyarakat pencari kerja se-
bagai pengguna utamanya. User experience merupakan sa-
lah satu tolok ukur kualitas suatu produk, layanan atau
sistem informasi. Penelitian ini bertujuan untuk melakukan
pengujian user experience pada Sistem Informasi Pasar
Kerja Kemnaker RI. Pengujian dilakukan menggunakan
tool berupa User Experience Questionnaire (UEQ). Hasil
evaluasi user experience menggunakan UEQ menunjukkan
bahwa aspek perspicuity, efficiency, stimulation dan novelty
pada Sistem Informasi Pasar Kerja mendapatkan skor
below average. Sedangkan aspek attractiveness dan depend-
ability mendapatkan skor bad.
Kata kunci- e-government; user experience; User
Experience Questionnaire (UEQ);
I. PENDAHULUAN
Masalah ketenagakerjaan merupakan masalah yang
dihadapi oleh sebagian besar negara, terutama bagi negara
berkembang, tak terkecuali di Indonesia. Masalah ketena-
gakerjaan, jika tidak ditangani secara serius, dapat me-
ningkatkan angka pengangguran [1]. Masalah pengang-
guran, jika tidak ditangani secara serius pula, akan meng-
akibatkan peningkatan kemiskinan. Bahkan Swaramarinda
[2] menyebutkan bahwa pengangguran merupakan penye-
bab terbesar dari kemiskinan. Pemerintah berupaya untuk
menangani masalah ketenagakerjaan tersebut melalui ke-
bijakan-kebijakan yang dikeluarkan. Kebijakan-kebijakan
tersebut berupa kebijakan yang langsung bersinggungan
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
ISSN: 2085-6350
dengan masalah ketenagakerjaan, maupun kebijakan pen-
dukung berupa kebijakan pelayanan publik dan kebijakan
tentang peningkatan kualitas pelayanan publik. Undang-
Undang Nomor 13 Tahun 2003 menjadi payung hukum
layanan ketenagakerjaan di Indonesia. Undang-undang
tersebut mengatur masalah pelayanan terhadap pencari
kerja meliputi pelatihan kerja, penempatan kerja, perluas-
an kerja, hubungan kerja, dan beberapa masalah ketenaga-
kerjaan lainnya [3]. Dalam undang-undang tersebut juga
mensyaratkan adanya keterpaduan lintas sektoral pusat
dan daerah, serta keterpaduan antara unsur-unsur penem-
patan kerja yang meliputi: pencari kerja, lowongan pe-
kerjaan, informasi pasar kerja, mekanisme antar kerja dan
kelembagaan penempatan kerja. Pemerintah juga menge-
luarkan kebijakan yang bertujuan meningkatkan kualitas
layanan publik, termasuk diantaranya layanan ketenaga-
kerjaan, berupa Instruksi Presiden Republik Indonesia
Nomor. 03 Tahun 2003. Dengan Inpres ini pemerintah
berupaya untuk meningkatkan kualitas pelayanan publik
secara efektif dan efisien dengan mengoptimasikan pe-
manfaatan teknologi informasi [4].
Kementerian Tenaga Kerja Republik Indonesia (se-
lanjutnya disebut Kemnaker) pada pemerintah pusat dan
Dinas Tenaga Kerja (selanjutnya disebut Disnaker) pada
masing-masing Pemerintah Daerah merupakan instansi
yang bertugas melaksanakan pembangunan ketenaga-
kerjaan berdasarkan Undang-Undang Nomor 13 Tahun
2003 tersebut. Kemnaker dan Disnaker memberikan ber-
bagai layanan ketenagakerjaan baik yang langsung me-
nyentuh kebutuhan masyarakat pencari kerja maupun
yang tidak secara langsung. Layanan penempatan kerja
yang meliputi layanan kartu pencari kerja atau kartu
kuning (AK1), pemberian lowongan kerja serta perluasan
kerja dilaksanakan oleh Seksi Penempatan Kerja di bawah
Kepala Bagian Penempatan Kerja dan Perluasan Kerja
pada Disnaker di masing-masing daerah.
Dalam memberikan pelayanan-pelayan tersebut, ins-
tansi Kemnaker dan/atau Disnaker sudah banyak me-
manfaatkan teknologi informasi sebagai implementasi dari
Inpres nomor 3 Tahun 2003 tentang Kebijakan dan Stra-
tegi Nasional Pengembangan E-Government. Salah satu-
nya adalah pemberian informasi lowongan pekerjaan bagi
pencari kerja menggunakan sistem informasi berbasis web
yaitu Sistem Informasi Pasar Kerja Kemnaker RI. Akan
tetapi, sistem ini belum diketahui kualitas layanannya
menurut masyarakat pencari kerja sebagai pengguna
utamanya. User experience merupakan salah satu tolok
ukur kualitas suatu produk, layanan atau sistem informasi.
Penelitian ini bertujuan untuk mengevaluasi kualitas
Sistem Informasi Pasar Kerja Kemnaker RI tersebut dari
237
ISSN: 2085-6350 Yogyakarta, 24-25 Juli 2019
sisi pengalaman pengguna (User Experience/UX) ber-
dasarkan tanggapan dari pengguna sistem menggunakan
User Experience Questionnare (UEQ).
II. TINJAUAN PUSTAKA
A. Sistem Informasi Pasar Kerja
Sistem Informasi Pasar Kerja merupakan aplikasi
berbasis web yang digunakan di Direktorat Pengembang-
an Pasar Kerja Kementerian Tenaga Kerja RI. Sistem ini
dikembangkan dengan tujuan untuk membantu pencari
kerja dalam menemukan pekerjaan, dan membantu per-
usahaan yang sedang mencari calon pekerja. Pencari kerja
dapat langsung mencari lowongan pekerjaan yang ter-
cantum dalam website tersebut. Salah satu tampilan dari
Sistem Informasi Pasar Kerja ini seperti disajikan pada
Gambar 1. Sistem ini juga digunakan di Dinas Tenaga
Kerja di Pemerintah Daerah Kabupaten/Kota, termasuk
Dinas Perindustrian dan Tenaga Kerja Kab. Magelang
(Disperinnaker Kab. Magelang). Disperinnaker Kab.
Magelang menggunakan sistem ini dalam memberikan
layanan ketenagakerjaan pada Seksi Penempatan Kerja.
Sistem ini digunakan untuk melayani masyarakat yang
memohon kartu pencari kerja (AK1). Pemohon AK1
kemudian mendapatkan akun pada Sistem Informasi Pasar
Kerja tersebut. Melalui sistem tersebut, pencari kerja
(yang sudah mendapatkan kartu AK1) dapat mencari in-
formasi lowongan pekerjaan dari perusahaan-perusahaan
dari seluruh Indonesia. Gambar 1 menyajikan tampilan
halaman pencarian lowongan pekerjaan.
Gambar 1. Tampilan Sistem Informasi Pasar Kerja
Pada pencarian tersebut, pencari kerja diminta untuk
memfilter informasi lowongan pekerjaan apa saja yang
ingin ditampilkan. Filter pencarian lowongan pekerjaan
berdasarkan kata kunci, kategori pekerjaan serta lokasi
perusahaan seperti disajikan pada Gambar 1. Aplikasi
akan menampilkan informasi lowongan pekerjaan yang
sesuai dengan kriteria pencarian yang ada. Jika filter
dikosongkan, maka aplikasi akan menampilkan semua
lowongan yang tersedia saat itu. Pencarian juga dapat
dilakukan dengan cara masuk ke dalam akun sebagai
pencari kerja. Pencari kerja yang sudah menjadi member
akan mengisikan biodata yang terdiri dari data akun, data
diri, pendidikan dan kriteria pekerjaan yang diharapkan.
Pencarian informasi lowongan pekerjaan bagi pencari
kerja yang sudah terdaftar menjadi pengguna Sistem
Informasi Pasar Kerja dapat dilakukan dengan pencarian
semua lowongan maupun melalui rekomendasi yang
diberikan oleh sistem.
238
CITEE 2019
B. User Experience
User Experience (UX) merupakan faktor yang penting
dalam menentukan penerimaan pengguna terhadap sebuah
produk/layanan [5]. UX mencakup aspek persepsi peng-
guna, perilaku, bahkan hal yang melibatkan emosi peng-
guna. Tujuan umum dari pengembangan UX adalah untuk
meningkatkan interaksi antara sistem dengan pengguna
[6]. Dalam konteks e-Government, UX perlu diperhatikan
dalam pengembangan dan desain sistem sebagai acuan
dalam peningkatan pelayanan publik. Beberapa penelitian
tentang evaluasi UX terhadap sistem e-Government
pernah dilakukan. Antara lain oleh Sukmasetya dkk [6]
yang meneliti implementasi e-Government Indonesia ber-
dasarkan perspektif UX. Peneliti lain, Adha dkk [7] meng-
ukur kualitas UX dari sistem penyetaraan ijazah lulusan
perguruan tinggi luar negeri Kemristekdikti, meng-
gunakan metode PULSE dan HEART yang dikombi-
nasikan dengan WEBQUAL. Penelitian lain dilakukan
oleh Sivaji dkk [8] yang mengukur UX dari website
Electronic Labor Exchange (ELX) milik pemerintah
Malaysia.
C. User Experience Questionnaire (UEQ)
Terdapat berbagai tool yang dapat digunakan untuk
mengukur faktor UX. Salah satunya adalah User
Experience Questionnaire (UEQ). UEQ merupakan suatu
instrumen yang digunakan untuk melakukan pengolahan
data survei terkait pengalaman pengguna yang mudah un-
tuk dipraktikkan, dapat dipercaya, berdasar, dan diman-
faatkan untuk melakukan penilaian kualitas subjektif [9].
Penilaian UX dari produk interaktif apa pun dapat dilaku-
kan dengan cepat menggunakan UEQ.
Skala kuesioner UEQ dirancang untuk mencakup ke-
san/persepsi tentang pengalaman pengguna secara me-
nyeluruh [10]. Kuesioner UEQ terdiri dari 26 item per-
tanyaan. Kuesioner ini mencakup enam skala, yaitu:
• Attractiveness (daya tarik): Impresi umum peng-
guna atas produk, suka atau tidak suka [11].
• Perspicuity (Kejelasan): Seberapa besar kejelasan
dari sebuah produk. Misal: mudah dipahami atau
sulit dipahami.
• Efficiency (Efisiensi): Seberapa besar pengguna
dapat menyelesaikan tugasnya tanpa usaha yang
besar atau efisien. Misal: cepat atau lambat, prak-
tis atau tidak praktis.
• Dependability (Ketepatan): apakah pengguna me-
rasa dapat mengontrol interaksi? Misal: dapat di-
prediksi atau tidak dapat diprediksi, mendukung
atau menghalangi [12].
• Stimulation (Stimulasi): Seberapa besar motivasi
untuk menggunakan produk. Misal: bermanfaat
atau kurang bermanfaat, menarik atau tidak me-
narik.
• Novelty (Kebaruan): Seberapa besar kebaruan dari
produk. Misal: kreatif atau tidak kreatif, konser-
vatif atau inovatif [13].
Keenam skala tersebut dikelompokkan menjadi tiga
kelompok yaitu attractiveness, pragmatic quality dan
hedonic quality seperti tersaji pada Gambar 2. Aspek at-
tractiveness merupakan bagian utama dari UEQ, yaitu
berkaitan persepsi pengguna akan daya tarik sistem.
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
CITEE 2019 Yogyakarta, 24-25 Juli 2019
Gambar 2. Struktur pengelompokan skala pada UEQ [15]
Aspek pragmatic quality berkaitan dengan persepsi
pengguna atas aspek teknis dalam mencapai tujuan (me-
laksanakan tugas) menggunakan sistem atau layanan yang
tersedia. Aspek hedonic quality berkaitan merupakan as-
pek non-teknis yang berkaitan dengan emosi pengguna
saat menggunakan sistem atau layanan [14]. Pengelom-
pokan item-item pertanyaan UEQ secara lengkap ditun-
jukkan pada Gambar 2.
Kelengkapan aspek, yaitu attractiveness, pragmatic
quality dan hedonic quality menjadi keunggulan UEQ
dibanding tool yang lain. Selain itu, ketersediaan template
berupa Data Analysist Tool dalam format excell dalam
mengukur UX memudahkan penggunaan alat ukur UEQ.
III. METODOLOGI
Metodologi yang digunakan dalam penelitian tersaji
dalam Gambar 3.
Gambar 3. Langkah penelitian
Pada Gambar 3, langkah yang dilakukan dalam pene-
litian diawali dengan Mulai, dilanjutkan Persiapan Instru-
men Penelitian, Pemilihan Responden, Pengumpulan Da-
ta, Analisis Hasil, Mendefinisikan Hasil dan diakhiri de-
ngan Selesai.
A. Persiapan Instrumen Penelitian
Instrumen penelitian disini meliputi kuesioner untuk
mengevaluasi sistem. Instrumen kuesioner dibuat meng-
gunakan Google Form untuk memudahkan penyebaran
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
ISSN: 2085-6350
kuesioner. Kuesioner yang disiapkan untuk mengukur UX
dari Sistem Informasi Pasar kerja terdiri dari 26 item
pertanyaan dengan tujuh poin skala likert sesuai dengan
kuesioner baku yang digunakan yaitu UEQ.
B. Pemilihan Responden
Calon responden yang dipilih dalam penelitian ini
adalah pengguna (user) dari Sistem Informasi Pasar Kerja.
Pengguna yang dijadikan sebagai responden adalah peng-
guna yang masuk kategori pencari kerja. hal ini dikarena-
kan pengguna pencari kerja merupakan pengguna yang
langsung merasakan manfaat dari Sistem Informasi Pasar
Kerja. Data calon responden ini diperoleh dengan memin-
ta bantuan administrator sistem baik yang di Direktorat
Pengembangan Pasar Kerja Kemnaker RI maupun di Di-
nas Tenaga Kerja di Pemda Kabupaten/Kota. Data peng-
guna Sistem Informasi Pasar Kerja yang dibutuhkan me-
liputi; nama, alamat, nomor hp dan alamat email (jika
ada).
C. Pengumpulan Data
Instrumen penelitian (kuesioner) yang telah disusun
dalam format Google Form disebarkan melalui alamat
email atau nomor hp calon responden. Data respon yang
diperoleh dapat diunduh kemudian diubah ke dalam
bentuk lembar sebar (spreedsheet) untuk keperluan peng-
olahan data.
D. Analisis Hasil
Untuk menghitung hasil kuesioner UEQ, terdapat tool
khusus yang digunakan untuk menganalisis data respon
kuesioner UEQ. Data analysis tool tersebut berupa file
excell yang dapat diunduh dari website resmi UEQ. untuk
menggunakaan kita tinggal memasukkan data dari res-
ponden pada Tab “Data”.
E. Mendefinisikan Hasil
Hasil analisis data yang berupa evaluasi UX Sistem
Informasi Pasar Kerja diterjemahkan dan disimpulkan.
239
ISSN: 2085-6350 Yogyakarta, 24-25 Juli 2019
IV. HASIL DAN PEMBAHASAN
A. Persiapan Instrumen Penelitian
Instrumen pengujian yang disiapkan adalah kuesioner
untuk mengukur UX dari Sistem Informasi Pasar Kerja.
Kuesioner tersebut seperti tersaji pada Gambar 4.
Gambar 4. Kuesioner UEQ
Gambar 4 menyajikan daftar pertanyaan yang diguna-
kan sesuai dengan kuesioner baku dari UEQ berupa 26
kuesioner dengan tujuh poin isian skala Likert.
B. Pemilihan Responden
Instrumen (kuesioner) penelitian yang telah disusun
dalam format Google Form disebarkan kepada calon res-
ponden yang sudah disiapkan. Data calon responden
berasal dari Data Pemohon Kartu AK1 di Dinas Perindus-
trian dan Tenaga Kerja Kab. Magelang. Jumlah calon res-
ponden yang akan digunakan dalam penelitian ini berkisar
antara 300 orang. Jumlah yang besar ini untuk meng-
antisipasi minimnya partisipasi calon responden dalam
mengisikan kuesioner. Calon responden ini merupakan
user dari Sistem Informasi Pasar Kerja yang masuk dalam
ketegori pencari kerja.
C. Pengumpulan Data
Dari 300 calon responden yang disiapkan, terdapat 20
responden yang memberikan tanggapan terhadap kues-
ioner yang diberikan. Jumlah tersebut sudah mencukupi
untuk mengukur usability. Menurut [16] tidak ada kepasti-
an jumlah responden yang digunakan untuk mendapatkan
hasil evaluasi usability. Akan tetapi aturan 16 ± 4 (artinya
jumlah pengguna antara 16–4 sampai dengan 16+4)
menghasilkan hasil uji dengan tingkat validitas yang
tinggi.
Karakteristik responden berdasarkan pendidikan
terakhir dan usia tersaji pada Gambar 5 dan Gambar 6.
Gambar 5 menyajikan data deskriptif responden berdasar-
kan latar belakang pendidikan. Berdasarkan Gambar 5
dapat terlihat bahwa latar belakang pendidikan responden
paling banyak adalah lulusan Stara 1 (S1) dengan jumlah
8 responden. Sedangkan lulusan Sekolah Menengah Ke-
juruan (SMK)/Madrasah Aliyah Kejuruan (MAK) dan lu-
lusan Diploma masing-masing berjumlah 7 responden.
240
CITEE 2019
PENDIDIKAN
10
5
0
Gambar 5. Data demografi pendidikan responden
USIA
<20 Tahun
0% 15%
20% 20 s/d 25
Tahun
25 s/d 30
65%
Tahun
30 s/d 35
Tahun
Gambar 6. Data demografi kelompok usia responden
Sisanya, 1 responden yang mempunyai latar belakang
pendidikan Strata 2 (S2). Sementara lulusan SMP/Mts,
SMA/MA dan lain-lain tidak ada. Dengan sebaran
responden yang mempunyai latar belakang pendidikan
seperti tersebut di atas, diharapkan responden sudah
cukup familiar dengan internet dan penggunaan sistem
yang berbasis web.
Gambar 6 menyajikan data deskriptif responden
berdasarkan kelompok umur. Dari sajian tersebut terlihat
bahwa responden didominasi oleh kelompok usia 20 s/d
25 tahun dengan prosentase 65 %. Prosentase kelompok
usia 25 s/d 30 tahun sebesar 20 % dan prosentase kelom-
pok usia di bawah 20 tahun sebesar 15 %. Sedangkan
kelompok usia lain tidak ada. Sebaran data tersebut me-
nunjukkan bahwa responden sedang dalam masa produktif
sebagai angkatan kerja yang potensial.
Proses pengumpulan data dilakukan dengan cara me-
minta responden untuk mengunjungi halaman website
Sistem Informasi Pasar Kerja Kemnaker RI untuk mencari
lowongan pekerjaan yang sesuai dengan profil responden.
Setelah itu, responden diberi tautan kuesioner dalam
format Google Form dan diminta untuk memberi penilai-
an terhadap Sistem Informasi Pasar Kerja dengan mengisi
kuesioner yang tersedia.
D. Analisis Hasil
Data respon dari responden dimasukkan ke dalam
Data Analysis Tool, yaitu pada Tab “Data”. Tool ini akan
menghitung UX dengan perhitungan statistika UEQ.
Sebelum melihat hasil perhitungan UEQ, perlu dilakukan
analisis terhadap data yang masuk. Analisis yang dilaku-
kan adalah analisis terhadap skala inkonsistensi, seperti
tersaji pada Gambar 7, dan analisis terhadap reliabilitas
data. Uji reliabilitas data tersaji pada TABEL 1.
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
CITEE 2019 Yogyakarta, 24-25 Juli 2019
Gambar 7. Skala inkonsistensi jawaban responden
Inkonsistensi data adalah pengecekan terhadap data
yang dimasukkan oleh responden secara acak, pengisian
kuesioner secara tidak serius atau kurang/tidak pahamnya
responden dengan item pengujian [15]. Hal ini dapat
terjadi terutama jika kuesioner UEQ dilakukan secara
daring. Untuk menguji jawaban acak ini, digunakan meto-
de heuristik sederhana. Dalam suatu skala, semua item
yang mengukur aspek UX yang serupa harus mempunyai
jawaban yang serupa pula.
Jika terdapat perbedaan mencolok (lebih dari 3) antara
evaluasi UX yang serupa, hal ini menunjukkan terdapat
masalah dalam pengisian jawaban. Dan jika masalah ter-
sebut, maka akan lebih baik jika jawaban dari responden
tersebut diabaikan (dihapus). Gambar 7 menyajikan hasil
skala inkonsistensi data jawaban dari responden pada Ku-
esioner UEQ yang disebarkan. Dalam skala inkonsistensi
data yang dihasilkan tidak ada nilai yang lebih besar dari
angka 2.
Selain itu, perlu juga dilakukan konfirmasi terhadap
reliabilitas data dengan mengecek koefisien Cronbach
Alpha. Koefisien Cronbach Alpha mendeskripsikan kon-
sistensi untuk semua item pada semua skala. Suatu data
evaluasi menggunakan UEQ dapat dikatakan memiliki
konsistensi yang tinggi jika nilai dari koefisien Cronbach
Alpha lebih besar atau sama dengan 0,7 [10]. TABEL 1
menyajikan koefisien reliabilitas Cronbach Alpha pada
tiap skala. Pada data tersebut menunjukkan bahwa semua
skala mendapatkan nilai koefisien Cronbach Alpha yang
lebih besar dari 0,7 dengan rincian attractiveness (0,95),
perspicuity (0,88), efficiency (0,93), deppendability (0,88),
stimulation (0,92), dan novelty (0,79).
Setelah melakukan konfirmasi terhadap skala inkon-
sistensi jawaban, kemudian dilakukan perhitungan mean,
variance dan simpangan baku pada data jawaban res-
ponden. Hasil perhitungan Mean dan variance tersaji pada
Gambar 8 Gambar 9. Mean merupakan hasil per-hitungan
rata-rata dari semua tanggapan responden yang dikelom-
pokkan pada masing-masing skala. Sedangkan variance
menunjukkan variasi sebaran data.
TABEL 1. Koefisien reliabilitas conbach alpha
Scale Cronbach Alpha
Attractiveness 0,95
Perspicuity 0,88
Efficiency 0,93
Dependability 0,88
Stimulation 0,92
Novelty 0,79
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
ISSN: 2085-6350
Gambar 8. Skala UEQ (Mean dan Variance) dalam format tabel
Gambar 9. Skala UEQ (Mean dan Variance) format grafik
Nilai rata-rata impresi dari user dengan rentang nilai
antara -0,8 dan 0,8 merupakan nilai evaluasi normal, nilai
> 0,8 merupakan evaluasi positif dan nilai-nilai <-0,8
merupakan evaluasi negatif [8][11].
Gambar 8 menyajikan hasil perhitungan Mean dan
Variance untuk masing-masing skala yakni attractiveness,
perspicuity, efficiency, dependabilty, stimulation, dan no-
velty. Dari keenam skala yang dihitung, semua menghasil-
kan evaluasi normal (dengan penanda panah ke samping
warna kuning), kecuali skala Stimulation yang menghasil-
kan evaluasi positif (dengan penanda panah ke atas warna
hijau) dengan nilai 0,8. Gambar 9 menampilkan hasil per-
hitungan mean dan variance yang sudah dikonversi dalam
bentuk grafik sehingga memudahkan dalam membaca
hasil evaluasi. Terlihat bahwa semua skala, yang diwakili
dengan bar kotak, berada pada area normal (warna krem)
kecuali skala Stimulation yang berada pada batas bawah
area positif. Selain bar yang mewakili setiap skala, ter-
dapat pula bar berupa garis yang berada pada tengah bar
kotak. Bar garis tersebut mewakili nilai confidence inter-
val pada setiap skala.
Hasil perhitungan dapat pula disajikan berdasarkan
tiga kelompok yaitu attractiveness, pragmatic quality ser-
ta hedonic quality. Seperti disajikan pada TABEL 2 dan
Gambar 10. Pada TABEL 2 dan Gambar 10, hasil
evaluasi UEQ untuk tiap kelompok yaitu attractiveness,
pragmatic quality serta hedonic quality. Ketiga kelompok
mendapatkan evaluasi normal dengan nilai 0,67 untuk
attractiveness, 0,68 untuk pragmatic quality serta 0,60
untuk hedonic quality.
TABEL 2. Hasil mean dan variance pada setiap kelompok UEQ
Pragmatic and Hedonic Quality
Attractiveness 0,67
Pragmatic Quality 0,68
Hedonic Quality 0,60
241
ISSN: 2085-6350 Yogyakarta, 24-25 Juli 2019 CITEE 2019

Interpretasi terhadap skor yang diperoleh dapat disaji-

kan dalam bentuk benchmark [9]. TABEL 3 dan Gambar
11 menunjukkan bahwa dari enam skala UEQ yaitu
attractiveness, perspicuity, efficiency, dependability, sti-
mulation, dan novelty terdapat empat skala (perspicuity,
efficiency, stimulation dan novelty) dengan hasil below
average dan dua skala lainnya (attractiveness dan depend-
ability) mendapatkan hasil bad.
E. Pembahasan
Gambar 7 menunjukkan bahwa dalam perhitungan in-
konsistensi jawaban dari responden tidak terdapat skala
inkonsistensi yang lebih besar dari 3 (nilai paling besar
adalah 2). Hal ini menunjukkan bahwa semua data dapat
digunakan untuk dalam proses pengujian UX. Selanjutnya
Gambar 10. Hasil perhitungan UEQ untuk setiap kelompok
TABEL 1 menunjukkan bahwa koefisien reliabilitias
Cronbach Alpha yang diperoleh cukup tinggi yaitu di atas
Menurut [12] pengelompokan hasil evaluasi means 0,7 untuk semua skala. Hal ini berarti bahwa data tang-
dan variance berdasarkan evaluasi negatif, normal atau gapan dari responden yang digunakan dalam evaluasi ini
positif terkadang belum dapat memberikan pengertian reliabel.
yang aktual bagi para praktisi untuk menginterpretasikan
hasil evaluasi terhadap sebuah produk apakah produk Gambar 8 dan Gambar 9 menyajikan hasil evaluasi
tersebut baik atau tidak? Terlebih lagi jika produk yang terhadap Sistem Informasi Pasar Kerja Kemnaker RI ber-
dievaluasi merupakan produk baru yang belum pernah ada pada level normal, kecuali aspek Stimmulation yang
dilakukan evaluasi UX sehingga belum mempunyai pem- mendapatkan nilai positif. Gambar 9 juga menampilkan
banding terhadap nilai yang dihasilkan, ataupun produk error bar yang cukup tinggi. Ini berarti, jika dilakukan
lama yang baru sekali dilakukan evaluasi UX. Untuk itu repetisi (pengulangan) penelitian dengan kondisi yang
Schrepp dkk [12] membuat sebuah pembanding dengan yang sama, maka kemungkinan hasil yang diperoleh akan
mengumpulkan hasil pengujian UX yang pernah dilaku- berbeda, dengan hasil berkisar pada rentang error yang
kan terhadap suatu produk menggunakan UEQ dan kemu- ada [15]. Hal ini dimungkinkan dipengaruhi oleh jumlah
dian menjadikannya sebagai patokan/pembanding dalam responden yang digunakan ataupun juga sebaran dari
menjustifikasi apakah suatu produk tersebut baik atau jawaban responden. Hasil evaluasi UX berdasarkan tiga
tidak. Hasil pembandingan antara evaluasi UX pada Sis- kelompok besar yaitu Attractivness, Pragmatic Quality
tem Informasi Pasar Kerja dengan benchmark dataset dan Hedonic Quality seperti yang ditunjukkan pada
tersaji pada TABEL 3 dan Gambar 11. TABEL 2 dan Gambar 10 mengindikasikan bahwa hasil
evaluasi menjukkan bahwa Sistem Informasi Pasar Kerja
Kemnaker RI berada pada level normal. Hasil evaluasi
TABEL 3. UEQ Benchmark ditunjukkan secara lebih jelas pada UEQ benchmark.
Scale Mean Comparisson to Interpretation
benchmark
TABEL 3 dan Gambar 11 menunjukkan bahwa hasil eva-
Attractiveness 0,67 Bad In the range of the 25% luasi UX berdasarkan tanggapan dari pengguna terhadap
worst results Sistem Informasi Pasar Kerja Kemnaker RI berkisar
Perspicuity 0,73 Below Average 50% of results better, 25% antara Bad dan Below Average. UEQ benchmark yang di-
of results worse hasilkan menunjukkan bahwa dari enam skala UEQ yaitu
Efficiency 0,71 Below Average 25% of results better, 50% attractiveness, perspicuity, efficiency, dependability, sti-
of results worse mulation, dan novelty terdapat empat skala (perspicuity,
Dependability 0,59 Bad In the range of the 25%
efficiency, stimulation dan novelty) dengan hasil below
worst results
Stimulation 0,80 Below Average 50% of results better, 25%
average dan dua skala lainnya (attractiveness dan depend-
of results worse ability) mendapatkan hasil bad. Hal ini menandakan bah-
Novelty 0,40 Below Average 50% of results better, 25% wa kualitas Sistem Informasi Pasar Kerja Kemnaker RI
of results worse masih buruk. Belum ada satupun skala UEQ yang me-
nunjukkan hasil Good apalagi Excelent. Bahkan skala
yang menghasilkan nilai Above Average pun belum ada.
V. KESIMPULAN DAN SARAN
Evaluasi UX terhadap Sistem Informasi Pasar Kerja
Kemnaker RI menggunakan UEQ menunjukkan bahwa
pengguna dari Sistem Informasi Pasar Kerja Kemnaker RI
belum cukup mendapatkan apa yang mereka inginkan
baik dari segi daya tarik, fungsionalitas sistem maupun
dari segi tampilan yang membuat pengguna nyaman.
Hasil evaluasi UX menggunakan UEQ seperti tersaji pada
Gambar 11. UEQ Benchmark Gambar 8 menunjukkan bahwa dua aspek yang paling
harus diperhatikan adalah aspek dependability yang
mendapatkan skor 0,588 dan aspek novelty yang men-

242 Departemen Teknik Elektro dan Teknologi Informasi, FT UGM

CITEE 2019 Yogyakarta, 24-25 Juli 2019
dapatkan skor 0,400. Hal ini menunjukkan bahwa peng-
guna merasa belum dapat mengontrol interaksinya dengan
sistem [17]. Atau dapat pula bahwa pengguna belum
merasa aman saat menggunakan sistem. Selain itu, peng-
guna belum menemukan kebaruan dalam sistem yang di-
tawarkan. UEQ benchmark yang dihasilkan juga menun-
jukkan bahwa dari enam skala UEQ yaitu attractiveness,
perspicuity, efficiency, dependability, stimulation, dan
novelty terdapat empat skala (perspicuity, efficiency,
stimulation dan novelty) dengan hasil below average dan
dua skala lainnya (attractiveness dan dependability)
mendapatkan hasil bad. Hal ini dapat dikarenakan peng-
guna dari sistem belum merasa bahwa kebutuhan mereka,
baik dari sisi fungsionalitas maupun kemudahan dalam
pemaikan, terpenuhi oleh sistem. Untuk itu diperlukan ke-
terlibatan pengguna dalam pengembangan sistem selanjut-
nya, sehingga kebutuhan pengguna sistem dapat lebih
terakomodir.
Penelitan yang dilakukan masih terdapat keterbatasan.
Antara lain hasil evaluasi menunjukkan error bar yang
cukup tinggi. Yang menandakan bahwa jika dilakukan
repetisi (pengulangan) terhadap penelitian ini, maka ke-
mungkinan hasilnya akan berbeda dengan kisaran hasil
berada di antara confidence interval yang ada [15]. Untuk
itu, disarankan bagi peneliti lain untuk melakukan pe-
nelitian dengan jumlah responden yang lebih banyak.
Error bar yang tinggi juga dapat disebabkan oleh bera-
gamnya pengetahuan pengguna terhadap sistem yang ada.
Selain itu, pengambilan data dengan dengan cara me-
nyebarkan kuesioner melalui email atau nomor hp
menyebabkan peneliti tidak dapat melihat secara langsung
bagaimana responden menggunakan sistem yang dievalu-
asi. Begitu juga, peneliti tidak dapat mengukur task
success rate ketika responden menggunakan sistem yang
dievaluasi. Untuk itu, perlu dilakukan penelitian meng-
gunakan metode pengumpulan data yang berbeda yang
memungkinkan adanya pemantuan dan perhitungan task
success rate.
REFERENCES
[1] Muhdar HM, “Potret Ketenagakerjaan, Pengangguran, dan
Kemiskinan di Indonesia: Masalah Dan Solusi,” Al-Buhuts,
vol. 11, no. 2, hal. 42–66, 2015.
[2] D. R. Swaramarinda, “Analisis Dampak Pengangguran
Terhadap Kemiskinan Di Dki Jakarta,” Jurnal Pendidikan
Ekonomi dan Bisnis (JPEB), vol. 2, no. 2, hal. 63, 2017.
[3] R. Indonesia, “Undang-Undang No.13 Th 2003 Tentang
Ketenagakerjaan,” no. 1, 2003.
[4] Inpres, “Inpres No. 3 Th. 2003,” Igarss 2014, vol. 2004, no. 1,
hal. 1–5, 2003.
[5] H. B. Santoso, R. Y. K. Isal, T. Basaruddin, L. Sadira, dan M.
Schrepp, “Research-in-progress: User experience evaluation
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
ISSN: 2085-6350
of Student Centered E-Learning Environment for computer
science program,” Proceedings - 2014 3rd International
Conference on User Science and Engineering: Experience.
Engineer. Engage, i-USEr 2014, hal. 52–55, 2015.
[6] P. Sukmasetya, H. B. Santoso, dan D. I. Sensuse, “Current E-
Government Public Service on User Experience Perspective
in Indonesia,” 2018 International Conference on Information
Technology Systems and Innovation, ICITSI 2018 -
Proceedings, hal. 159–164, 2019.
[7] Y. Adha, W. Winarno, dan P. Santosa, “Pengalaman
Pengguna Laman Pelayanan Publik,” vol. 40, no. 1, hal. 48–
55, 2017.
[8] S. S. T. Ashok Sivaji, Norfarhana Abdollah, “Measuring
Public Value UX based on ISO / IEC 25010 Quality
Attributes,” User Science and Engineering (i-USEr), 2014
3rd International Conference, hal. 56–61, 2014.
[9] B. Laugwitz, T. Held, dan M. Schrepp, “Construction and
evaluation of a user experience questionnaire,” Lecture Notes
in Computer Science (including subseries Lecture Notes in
Artificial Intelligence and Lecture Notes in Bioinformatics),
vol. 5298 LNCS, hal. 63–76, 2008.
[10] M. Rauschenberger, M. Schrepp, J. Thomaschewski, S.
Olschner, dan M. Perez-Cota, “Efficient Measurement of the
User Experience of Interactive Products. How to use the User
Experience Questionnaire (UEQ).Example: Spanish
Language Version,” International Journal of Interactive
Multimedia and Artificial Intelligence, vol. 2, no. 1, hal. 39,
2013.
[11] A. Sularsa dan A. S. Prihatmanto, “Evaluasi User Experiences
Produk iDigital Museum dengan Menggunakan UEQ,” Jurnal
Teknologi Informasi, vol. 2, no. 2, hal. 56–62, 2015.
[12] M. Schrepp, A. Hinderks, dan J. Thomaschewski,
“Construction of a Benchmark for the User Experience
Questionnaire (UEQ),” International Journal of Interactive
Multimedia and Artificial Intelligence, vol. 4, no. 4, hal. 40,
2017.
[13] M. Audi, R. I. Rokhmawati, dan H. M. Az-zahra, “Analisis
Aspek Usability dan User Experience Website dan Aplikasi
Mobile Radio Streaming ( Studi Pada Website dan Aplikasi
Mobile Radio Prambors ),” Jurnal Pengembangan Teknologi
Informasi dan Ilmu Komputer (J-PTIIK) Universitas
Brawijaya, vol. 2, no. 12, hal. 6391–6400, 2018.
[14] V. Intanny, I. Widiyastuti, M. Dolorosa, dan K. Perdani,
“Pengukuran Kebergunaan dan Pengalaman Pengguna
Marketplace Jogjaplaza . id dengan Metode UEQ dan USE
Questionnaire Measuring Usability and User Experience of
The Marketplace of Jogjaplaza . id Using UEQ and USE
Questionnaire,” vol. 3, no. 2, hal. 117–126, 2018.
[15] M. Schrepp, M. P. Cota, J. Thomaschewski, dan R.
Gonçalves, User Experience Questionnaire Handbook. 2019.
[16] R. Alroobaea dan P. J. Mayhew, “How many participants are
really enough for usability studies?,” Proceedings of 2014
Science and Information Conference, SAI 2014, no. August,
hal. 48–56, 2014.
[17] S. V. Izabal, I. Aknuranda, dan H. M. Az-zahra, “Evaluasi
dan Perbaikan User Experience Menggunakan User
Experience Questionnaire ( UEQ ) dan Focus Group
Discussion ( FGD ) pada Situs Web FILKOM Apps
Mahasiswa Fakultas Ilmu Komputer Universitas Brawijaya,”
vol. 2, no. 9, hal. 3224–3232, 2018.
243