Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 3, No. 6, Juni 2019, hlm. 5583-5591 http://j-ptiik.ub.ac.id

Evaluasi Usability Aplikasi MY JNE Dengan Metode User Experience

Questionnaire (UEQ) Dan Heuristic Evaluation
Reinardus Dimas Bagus Kurniawan1, Satrio Hadi Wijoyo2, Niken Hendrakusma Wardani3

Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: 1dimasbagus1213@gmail.com, 2satriohadi@ub.ac.id, 3niken13@ub.ac.id

Abstrak
PT Jalur Nugraha Ekakurir (JNE) adalah perusahaan jasa pengiriman barang ke berbagai daerah di
Indonesia maupun luar negeri. Saat ini PT JNE sudah memiliki aplikasi mobile yang berguna untuk
tracking barang, cek tarif, serta berbagai fitur lainnya pada aplikasi MY JNE. Berdasarkan observasi
dan tanggapan yang terdapat di playstore, ditemukan permasalahan usability pada aplikasi MY JNE
pada bahasa yang tidak konsisten dan tampilan pesan error yang sulit dimengerti, hal tersebut
berdampak pada pengalaman pengguna yang buruk. Hal yang dapat dilakukan untuk mengurangi
persoalan tersebut adalah dengan mengevaluasi usability dan memberikan desain rekomendasi yang
baru. Penelitian ini menggabungkan metode UEQ (User Experience Questionnaire) untuk
mendapatkan pengalaman pengguna secara kuantitatif dari user dan Heuristic Evaluation untuk
mendapatkan penilaian kualitatif dari evaluator. Responden yang berpartisipasi dalam penelitian ini
sebanyak 30 orang dengan kriteria berdomisili di Malang dan mempunyai akun MY JNE. Hasil
pengukuran benchmark UEQ menghasilkan kategori Bad untuk skala Attractiveness, Efficiency,
Dependability, Stimulation, dan Novelty. Namun, untuk skala Percpicuity menghasilkan kategori
Below Average. Evaluator menemukan 22 permasalahan usability dan memberikan saran perbaikan.
Konsolidasi telah dilakukan dan dilanjutkan dengan mendesain prototype dari rekomendasi evaluator.
Hasil pengujian prototype telah menyelesaikan 22 permasalahan usability sebelumnya dan ditemukan
satu permasalahan baru dengan nilai severity ratings minor.
Kata kunci: usability, UEQ, heuristic evaluation, pengalaman pengguna, desain perbaikan
Abstract
PT Jalur Nugraha Ekakurir (JNE) is a shipping service company to various regions in Indonesia and
overseas. PT JNE has a mobile application that has features such as tracking items, checking rates,
and a variety of other features. Based on observations and responses found in the Play Store, usability
problems was found in the MY JNE application that had an impact on poor user experience. A new
design recommendation can be proposed to reduce such problems. This study combines the UEQ
(User Experience Questionnaire) method to obtain quantitative user experience from users and
Heuristic Evaluation to obtain qualitative evaluations from evaluators. There were 30 individuals who
participated in this study who were selected based on several criteria which are currently staying in
Malang and own a MY JNE account. The UEQ benchmark measurement results in the Bad category
for Attractiveness, Efficiency, Dependability, Stimulation, and Novelty. However, for the Perspicuity
scale, it produces a Below Average category. The evaluator found 22 usability issues and suggested
design improvements. Consolidation has been carried out and followed by designing prototypes from
evaluator recommendations. The results of testing the prototype have completed 22 previous usability
problems and found a new problem with a minor severity ratings value.
Keywords: usability, UEQ, heuristic evaluation, user experience, design improvements

Indonesia pada tahun 2017 sebanyak 143,26

1. PENDAHULUAN
Pesatnya pertumbuhan pengguna internet
berdasarkan APJII (Asosiasi Penyelenggaraan
Jasa Internet Indonesia) menunjukan data di
juta pengguna internet. Jumlah yang besar
tersebut tentunya dapat mendorong
pertumbuhan ekonomi di Indonesia melalui
jaringan internet, sebagai contohnya e-
commerce. Berbelanja secara online sudah

Fakultas Ilmu Komputer

Universitas Brawijaya 5583
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
menjadi hal biasa di Indonesia, dengan
kemudahan yang diberikan, pengguna dapat
langsung memesan barang melalui aplikasi.
Kegiatan dan proses bisnis suatu organisasi
dapat didukung oleh teknologi informasi (TI)
yang memegang peranan penting. Salah satu
peran penting TI dalam organisasi adalah
sebagai sarana untuk membantu mewujudkan
efesiensi proses bisnis yang berjalan, serta TI
juga dapat dijadikan salah satu pilihan untuk
membantu proses pengambilan keputusan.
Contoh perkembangan teknologi informasi saat
ini adalah aplikasi berbasis mobile. Perangkat
mobile telah merubah cara hidup dan kegiatan
kita sehari-hari, tidak hanya konten yang
disediakan, namun pada saat ini kita dapat
melakukan banyak hal seperti pembayaran debit
dan kredit, memesan makanan atau bahkan
menandatangani dokumen digital (Budiu,
2015). Dengan kemudahan yang ditawarkan,
tentunya aplikasi mobile dapat menjadi sarana
dalam mewujudkan efisiensi proses bisnis
dalam suatu organisasi.
PT Jalur Nugraha Ekakurir (JNE) adalah
perusahaan jasa pengiriman barang ke berbagai
daerah di Indonesia maupun luar negeri (JNE,
2015). JNE menjadi salah satu pilihan untuk
pengiriman barang di e-commerce. Saat ini PT
JNE sudah memiliki aplikasi mobile yang
berguna untuk tracking barang, cek tarif, serta
berbagai fitur lainnya pada MY JNE (JNE,
2015). Berdasarkan observasi yang telah
dilakukan peneliti secara langsung, berdasarkan
prinsip usability Nielsen pada consistency and
standards, bahasa yang digunakan masih belum
memiliki konsistensi yang jelas antara bahasa
Indonesia dan bahasa Inggris. Dari masalah
tersebut aplikasi MY JNE dirasa tidak memiliki
konsistensi bahasa yang jelas. Pada keterangan
dalam prinsip usability help users recognize,
diagnose, and recover from errors, penggunaan
bahasa yang digunakan untuk menunjukan
pesan error, sulit untuk dimengerti oleh
pengguna. Pada fitur pendaftaran, terlalu
banyak inputan yang harus dilakukan, hal
tersebut membuat prinsip usability aesthetic
and minimalist design diperlukan untuk
mengatur permasalahan tersebut. Serta Data
pendukung lainnya yaitu dari 77.811 pengguna,
sebanyak 17.652 pengguna atau sebesar 22%
memberikan bintang 1 pada aplikasi MY JNE
di playstore. Dampak yang ditimbulkan
membuat para pengguna menjadi kesulitan
dalam menggunakan aplikasi MY JNE.
Menurut Jakob Nielsen (2012), usability
Fakultas Ilmu Komputer, Universitas Brawijaya
5584
adalah sebuah atribut kualitas yang menilai
seberapa mudah antarmuka pengguna untuk
digunakan. Usability memiliki 5 komponen
kualitas seperti efficiency, learnability, errors,
memorability, dan statisfaction (Nielsen, 2012).
Kelima komponen tersebut seharusnya menjadi
pertimbangan setiap designer dalam merancang
sebuah user interface (UI). Dimana UI tentunya
akan berdampak pada user experience (UX).
Pengalaman pengguna dapat berupa hasil dari
yang telah dirasakan atau dipikirkan oleh
pegguna pada saat menggunakan suatu sistem.
Permasalahan yang terdapat pada aplikasi MY
JNE adalah masih minimnya pengalaman
pengguna yang dirasakan.
Penelitian ini menggunakan metode User
Experience Questionnaire (UEQ) dan Heuristic
Evaluation. Tujuan utama dari metode UEQ
adalah untuk pengukuran cepat dan langsung
terkait UX (Schrepp, 2017). UEQ digunakan
sebagai bagian dari classical usability test
untuk mengumpulkan beberapa data kuantitatif
tentang kesan responden mengenai pengalaman
pengguna (Schrepp, 2018). Dengan hasil
metode UEQ, dimungkinkan untuk membuat
dugaan mengenai bidang-bidang dimana
perbaikan akan memiliki dampak yang tinggi
(Schrepp, 2018). Metode Heuristic Evaluation
berguna untuk menemukan masalah usability
dalam suatu UI oleh evaluator dengan prinsip
usability yang diakui (Nielsen, 1995).
Evaluator menilai apakah sebuah sistem sudah
sesuai dengan prinsip-prinsip desain.
Penelitian ini menggabungkan metode
UEQ untuk mendapatkan pengalaman
pengguna dari user dan Heuristic Evaluation
untuk mendapatkan penilaian dari expert,
dengan objek aplikasi berbasis mobile MY JNE.
Setelah mendapatkan hasil kuantitatif dari
pengujian UEQ terkait tingkat UXnya, maka
dapat dilakukan pengujian kembali dengan
Heuristic Evaluation guna memberikan
rekomendasi perbaikan. Tujuan dari penelitian
ini adalah mengetahui hasil pengujian dan
menghasilkan rekomendasi perbaikan berupa
desain prototype.
2. STUDI LITERATUR
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
2.1. MY JNE
PT Jalur Nugraha Ekakurir menghadirkan
aplikasi berbasis mobile untuk memberikan
kemudahan bagi pelanggan dalam mengirim,
cek tarif dan memantau pengiriman. MY JNE
sangat cocok untuk pengirim dan penerima
barang karena tersedia pada aplikasi mobile
sehingga tidak perlu membuka website untuk
mengecek status barang. Pada aplikasi ini
memiliki beberapa fitur seperti My Shipment,
Check Tarif, JNE Nearby dan MY JOB. Dalam
beberapa fiturnya, pengguna diharuskan
mendaftarkan diri terlebih dahulu untuk
menikmati fitur tersebut (JNE, 2015).
2.2. Evaluasi
Peran evaluasi dalam sebuah desain sistem
interaktif adalah untuk memastikan bahwa
sistem dapat berperilaku seperti yang
diharapkan dan memenuhi kebutuhan (Dix,
2004). Menurut Alan Dix, selain mengevaluasi
kemampuan fungsionalnya dalam suatu desain
sistem, penting juga untuk menilai user
experience dan dampaknya, seperti aspek
seberapa mudah sistem dipelajari, usability dan
kepuasan pengguna terhadap sistem.
2.3. Usability
Definisi usability dalam ISO 9241-11:2018
adalah sejauh mana suatu produk, sistem atau
layanan dapat digunakan oleh pengguna dalam
mencapai tujuan yang telah ditentukan dengan
efisiensi, efektivitas dan kepuasan dalam
konteks penggunaan tertentu. Usability adalah
atribut kualitas yang menilai seberapa mudah
user interface digunakan (Nielsen, 2012).
2.4. User Experience Questionnaire (UEQ)
User Experience Questionnaire (UEQ)
sering digunakan sebagai bagian dari usability
testing untuk mengumpulkan data kuantitatif
tentang kesan beberapa peserta mengenai
pengalaman pengguna suatu produk (Devy, et
al, 2017). Metode ini memungkinkan pengguna
dengan cara sederhana dan langsung untuk
mengungkapkan perasaan, kesan, dan sikap
yang muncul ketika menggunakan produk yang
sedang diteliti (Laugwits, et al, 2008). Menurut
Martin Schrepp, UEQ berisi 6 skala dengan 26
item pernyataan, antara lain:
1. Attractiveness: Kesan mengenai
keseluruhan produk, apakah pengguna
Fakultas Ilmu Komputer, Universitas Brawijaya
5585
menyukai atau tidak suatu produk?
2. Perspicuity: Seberapa mudah produk
dikenali? Seberapa mudah untuk
mempelajari penggunaan produk?
3. Efficiency: Dapatkah pengguna
menyelesaikan tugas mereka tanpa
usaha yang perlu?
4. Dependability: Apakah pengguna
merasa mampu menggendalikan
interaksi?
5. Stimulation: Apakah menarik dan
memotivasi untuk menggunakan
produk?
6. Novelty: Apakah produk ini inovatif
dan kreatif? Apakah produk tersebut
menarik minat pengguna?
2.5. Heuristic Evaluation
Heuristic Evaluation (HE) terdiri dari 10
prinsip umum untuk desain interaksi, disebut
‘Heuristic’ karena metode ini adalah aturan
umum dan tidak spesifik pada usability
guidelines (Nielsen, 1995). Evaluator menilai
apakah sebuah sistem sudah sesuai dengan
prinsip-prinsip desain. Sekelompok evaluator
harus memeriksa secara individual dan
memberitahukan temuan mereka dengan
membuat daftar tentang masalah usability yang
ditemukan. Evaluator juga harus
mengelompokan tingkat keparahan dari
masalah yang teridentifikasi (Borovina, et al,
2014). Tujuan dari metode ini adalah untuk
menemukan permasalahan usability dalam
suatu desain yang ada. Faktor-faktor yang
mempengaruhi metode HE antara lain adalah
keahlian dari evaluator, tingkat keparahan
usability problem, dan kegiatan yang
diperlukan untuk mengidentifikasi masalah
(Nielsen, 1995). Menurut Schlecht (2017),
pengujian setidaknya dilakukan oleh tiga orang,
keuntungan dari banyaknya peserta review
adalah makin besar kemungkinan mereka
menemukan error yang sama, masing-masing
pun lebih besar kemungkinan menemukan
masalah yang peserta lain belum tentu temukan.
2.6. Severity Ratings
Dalam pengujian Heuristic Evaluation,
temuan permasalahan usability yang didapatkan
oleh evaluator dikelompokkan berdasarkan
tingkat keparahan (severity ratings) dari
permasalahan tersebut. Pengelompokan
dilakukan untuk memudahkan pengembang
sistem dalam memperbaiki sistem yang sedang
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
diuji (Neilsen, 1995).
3. METODOLOGI
Pada bab ini membahas tentang
metodologi penelitian yang terdiri dari beberapa
tahapan atau langkah-langkah yang harus
dilakukan dalam menganalisis usability aplikasi
MY JNE. Tahapan penelitian dapat dilihat pada
Gambar 1.
Gambar 1. Tahapan Penelitian
3.1. Studi Literatur
Pada tahap studi literatur ini membahas
mengenai teori relevan yang berhubungan
untuk analisis kebutuhan penelitian dan semua
dasar teori yang digunakan untuk mendukung
penelitian. Teori yang dijabarkan bersumber
dari hasil membaca dan menganalisis jurnal
penelitian terdahulu dan berbagai bentuk
sumber informasi yang terdapat di internet
untuk dapat menunjang penelitian ini.
Fakultas Ilmu Komputer, Universitas Brawijaya
5586
3.2. Perencanaan dan Pengumpulan Data
Perencanaan dilakukan untuk menetapkan
langkah yang harus diambil untuk mencapai
tujuan. Langkah awal adalah menyiapkan
kuesioner yang sudah tersedia pada metode
UEQ, dengan bentuk semantic differential yang
berjumlah 26 item pernyataan. Penyebaran
kuesioner dilakukan dengan metode purposive
sampling, dimana penentuan pengambilan
sampel ditentukan oleh peneliti dengan
menetapkan ciri-ciri khusus yang sesuai dengan
tujuan penelitian, sehingga dapat menjawab
permasalahan penelitian (Hidayat, 2017).
Jumlah target sampel 30 orang dengan kriteria
mahasiswa dan masyarakat pengguna aplikasi
MY JNE yang memiliki akun dan berdomisili
di Malang. Langkah selanjutnya adalah
pembuatan dokumen pengujian Heuristic
Evaluation untuk mempermudah para evaluator
menilai objek yang diteliti. Dokumen berisikan
pengertian singkat 10 prinsip usability, kolom
permasalahan, tingkat keparahan dan kolom
rekomendasi, evaluator dapat mengisikannya
pada kolom yang sudah tersedia. Untuk
mencapai tujuan penelitian maka pengumpulan
data dilakukan perlu dilakukan untuk
memperoleh informasi. Tujuan pada penelitian
ini adalah untuk mengetahui hasil pengujian
dan memberikan hasil desain rekomendasi
perbaikan pada aplikasi MY JNE.
3.3. Pengujian UEQ
Pada analisis objektif pengumpulan data
dilakukan dengan menggunakan kuesioner
UEQ secara kuantitatif untuk mengukur
pengalaman pengguna pada aplikasi MY JNE
dengan parameter analisis berasal dari enam
skala UEQ yaitu Attractiveness, Efficiency,
Percpicuity, Dependability, Stimulation, dan
Novelty. Dari hasil pengumpulan data maka
pengujian UEQ dapat dilakukan. Pengujian
dilakukan dengan menginputkan data dari hasil
kuesioner ke dalam dokumen analysis tools
yang tersedia pada metode UEQ. Dokumen
Excel yang disediakan untuk menganalisis data
tersebut, secara otomatis akan mengolah
inputan untuk mendapatkan hasil perhitungan
dari keenam skala UEQ. Hasil dari pengujian
ini adalah rata-rata dari setiap skala UEQ. Lalu
langkah selanjutnya adalah pengukuran
benchmark untuk mengetahui kategori user
experience yang dihasilkan. Dari hasil tersebut
dimungkinkan untuk membuat setidaknya
beberapa asumsi untuk dilakukan perbaikan.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
3.4. Pengujian Heuristic Evaluation
Dalam pelaksanaan pengujian Heuristic
Evaluation, terdapat beberapa hal yang harus
diperhatikan sebelumnya. Umumnya metode ini
membutuhkan pendapat para expert atau dapat
disebut dengan evaluator usability expert yang
memiliki aspek usability atau bidang content
dari sistem tersebut (Nielsen, 1992). Evaluator
yang akan membantu pengujian HE adalah Ibu
Almira Syawli S.Kom, Bapak Lutfi Fanani,
S.Kom., M.T., M.Sc. selaku dosen yang pernah
mengampu mata kuliah Evaluasi Pengalaman
dan Antarmuka Pengguna, serta Shidqon
Alkaaf dan Gusti Rachman Nico dari Citridia IT
Solution yang memiliki pengalaman dibidang
pembangunan aplikasi. Saat evaluasi
berlangsung, evaluator diberikan panduan
untuk mengisikan dokumen heuristik, agar
dapat dipahami dan dapat menemukan
permasalahan usability secara detail dan teliti
demi kebaikan dari aplikasi MY JNE yang
dievaluasi. Evaluator diharuskan menemukan
permasalahan usability sesuai dengan 10 prinsip
heuristik usability Nielsen. Hasil dari pengujian
ini adalah rata-rata dari tingkat keparahan yang
telah diisikan oleh para evaluator serta
rekomendasi perbaikan yang diberikan dari
permasalahan tersebut.
3.5. Analisis dan Pembahasan
Pada metode UEQ data mentah yang
didapatkan dari tiap responden akan diolah dan
menghasilkan tingkat user experience dari
pengguna MY JNE. Dari pengujian Heuristic
Evaluation tentunya didapatkan hasil
rekomendasi dari para evaluator. Hasil tersebut
dianalisis kembali sehingga menghasilkan
rekomendasi yang digunakan untuk perbaikan
usability pada MY JNE. Rekomendasi yang
diberikan berupa desain prototype berdasarkan
tingkat keparahan yang perlu dilakukan
perbaikan terlebih dahulu.
3.6. Kesimpulan dan Saran
Setelah semua proses pengujian dilakukan
didapatkan kesimpulan yang membahas
keseluruan penelitian. Pada kesimpulan akan
menjawab semua rumusan masalah yang telah
dijabarkan pada awal penelitian ini serta saran
yang dapat diberikan untuk penelitian
berikutnya.
Fakultas Ilmu Komputer, Universitas Brawijaya
5587
4. ANALISIS DAN PEMBAHASAN
Analisis dan pembahasan akan memuat
hasil evaluasi yang telah dilakukan pada metode
UEQ dan heuristic evaluation. Desain
perbaikan akan dibahas sebagai bentuk solusi
dari permasalahan yang ditemukan.
4.1. Analisis Hasil Kuesioner UEQ
Seluruh nilai dari jawaban responden telah
dikonversikan menjadi bobot nilai untuk tiap
skala UEQ, dengan bobot nilai tersebut dapat
dilakukan perhitungan mean. Hasil nilai mean
dapat dilihat pada Gambar 2.
Gambar 2. Grafik Nilai Mean Skala UEQ
Berdasarkan hasil yang terdapat pada
Tabel 1 menunjukan hanya skala Percpicuity
yang mendapatkan level positif (Good) dengan
nilai mean sebesar 0.875. Skala Attractiveness
mendapatkan nilai mean sebesar 0,350,
Efficiency mendapatkan nilai mean 0,492,
Dependability mendapatkan nilai mean 0,683,
Stimulation mendapatkan nilai mean -0,175,
dan Novelty mendapatkan nilai mean -0,758.
Jika nilai mean yang didapatkan diantara -0,8
hingga 0,8 maka pernyataan tersebut bernilai
normal.
Tabel 1. Nilai Mean Tiap Skala UEQ
Skala Rata-rata
Attractiveness 0.350
Percpicuity 0.875
Efficiency 0.492
Dependability 0.683
Stimulation -0.175
Novelty -0.758
Setelah mengetahui nilai mean pada
aplikasi MY JNE, maka nilai tersebut dapat
dibandingkan dengan produk lainnya yang
tersedia pada UEQ. Perbandingan ini dilakukan
untuk mengukur kembali user experience yang
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 5588

didapat dengan nilai benchmark yang tersedia. perubahan jika diperlukan. Pada tahap
Benchmark pada UEQ memiliki lima katergori konsolidasi para evaluator tidak menemukan
level user experience yang menggambarkan masalah baru, melainkan saling menanggapi
tingkat produk yang dievaluasi dengan produk hasil temuan masalah evaluator lain.
lainnya. Dilihat pada Gambar 3, aplikasi MY Tanggapan yang diberikan dapat berupa nilai
JNE mendapatkan hasil rata-rata pada kategori severity ratings yang baru, oleh karena itu
Bad (buruk) untuk tiap skalanya, kecuali skala diperlukan untuk menghitung rata-rata severity
Perspicuity mendapatkan kategori Below ratings untuk tiap masalah. Tabel 3
Average (Dibawah rata-rata). Hal ini mendasari menunjukan hasil konsolidasi untuk tiap
bahwa user experience pada aplikasi MY JNE temuan masalah.
masih buruk. Tabel 3. Jumlah Temuan Masalah
Deskripsi Heuristic Severity
No
Permasalahan (H1-H10) Ratings
1 Info layanan tidak 2
H1,H5
berfungsi
2 Tidak ada keterangan 3
H2
perbedaan jenis tarif
Penambahan keterangan
3 berat pada menu check H2 1
Gambar 3. Diagram Benchmark UEQ
tarif (Kg)
4 Nama toko pada profil 3
4.2. Analisis Hasil Evaluasi Heuristik ambigu
H2,H4

Penelitian ini juga bertujuan untuk 5 Penggunaan bahasa 2

H2,H4
tidak konsisten
mendapatkan penilaian dari para expert
Pemilihan asal & tujuan
dibidang usability. Metode ini membutuhkan 6 masih melakaukan H3 1
pendapat para ahli atau dapat disebut dengan pengetikan
evaluator untuk menemukan permasalahan 7 Fitur “profile” sangat 1
H3
usability pada aplikasi MY JNE. Evaluator useless
memberikan tingkat keparahan (severity Fitur “My Shipment”
8 harusnya tidak perlu H3 1
ratings) dan saran perbaikan pada tiap login
permasalahan yang ditemukan. Hasil 9 Icon tanda centang pada 2
H4
permasalahan yang ditemukan oleh tiap pendaftaran
evaluator dapat dilihat pada Tabel 2. Pada 10 Bahasa tidak konsisten H4 2
temuan permasalahan tersebut terdapat 11 Bahasa tidak konsisten H4 2
permasalahan yang serupa dengan
12 Ambigu pada fitur email 2
permasalahan yang ditemukan oleh peneliti dan H4
histori tracking barang
telah divalidasi oleh para evaluator. “JNE NEARBY” tidak
13 otomatis menyalakan H5 3
Tabel 2. Jumlah Temuan Masalah untuk menyalakan GPS
Evaluator Temuan Permasalahan 14 Tidak ada konfirmasi 3
H5
1 7 password saat registrasi
Tampilan daftar terlalu
2 5 15 banyak klik karena tiap H7 4
3 6 form beda halaman
Penataan menu dan
4 7 16 tampilan yang terlalu H7 2
biasa
Total 25
17 Slider tidak ada aksi lain 2
H8
selain zoom-in
18 Error pada salah inputan 4
Dari seluruh masalahan yang ditemukan, resi lebih diperjelas
H9
beberapa permasalahan memiliki lebih dari satu Tidak ada pendefinisian
prinsip usability. Jika digabungkan, temuan 19 terkait layanan yang H10 3
permasalahan yang sesungguhnya berjumlah 22 diberikan
dengan 8 permasalahan ditemukan lebih dari 20 Tidak ada dokumen 1
H10
penggunaan aplikasi
satu evaluator. Konsolidasi diperlukan untuk Keteragan waktu
menyatukan seluruh jawaban dari tiap evaluator 21 pengiriman kurang jelas H10 3
menjadi satu kesatuan dan dapat dilakukan bagi pengguna awam

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 5589

pada menu check tarif

Pada menu “My JOB”
22 harus diberi keterangan 2
H10
“Bayar ditempat/kantor
JNE”

4.3. Rekomendasi Perbaikan

Dari analisis masalah yang telah
dijabarkan, maka langkah selanjutnya adalah
pembuatan prototype sesuai dengan
rekomendasi yang telah disarankan. Dalam
pembuatan protopype juga dipertimbangkan
segala prinsip heuristik menurut Nielsen agar
tetap mempertahankan konsistensi perbaikan
usability. Berikut adalah beberapa desain
perbaikan yang telah dilakukan, Gambar 4 Gambar 5. Desain Perbaikan Form Registrasi
menunjukan permasalahan error pada hasil
inputan resi yang sulit dimengerti dan desain Gambar 6 menunjukan permasalahan nama
perbaikan yang telah menampilkan pesan yang toko pada profil yang ambigu dan hanya
mudah dimengerti oleh pengguna. menampilkan data diri, setelah dilakukan desain
perbaikan menu profil memiliki fitur edit untuk
mengubah data diri dan fitur bahasa untuk
mengubah bahasa yang diinginkan serta FAQ
untuk memudahkan pengguna baru dalam
menggunakan aplikasi MY JNE.

Gambar 4. Desain Perbaikan Tracking Resi

Gambar 5 menunjukan permasalahan pada
form registrasi yang terlalu banyak klik untuk
mengisi form dan desain perbaikan menunjukan
form registrasi yang sudah menjadi satu
halaman untuk memudahkan pengguna
mengisi.
Gambar 6. Desain Perbaikan Profil
Gambar 7 menunjukan permasalahan pada
fitur cek tarif dimana kurangnya penjelasan
terhadap layanan yang diberikan, desain
perbaikan memberikan fitur tambahan untuk
menjelaskan definisi tiap layanan dan durasi
pengiriman.

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Gambar 7. Desain Perbaikan Check Tarif
4.4. Evaluasi Desain Perbaikan
Perbaikan desain yang telah dilakukan
perlu dievaluasi kembali untuk mendapatkan
persetujuan dan tanggapan dari evaluator. Dari
22 permasalahan yang didapatkan, telah
terdapat desain perbaikan pada tiap
permasalahnya. Untuk menilai desain perbaikan
maka dilakukan evaluasi heuristik yang berguna
untuk mengevaluasi kembali jika masih
didapatkan permasalahan usability dari desain
yang telah dibuat. Dari ketiga evaluator telah
memberikan persetujuan dari tiap desain
perbaikan, yang menandakan bahwa tidak ada
temuan permasalahan usability kembali.
Namun, evaluator 2 menemukan permasalahan
usability pada heuristik 1 visibility of system
status dan heuristik 5 error prevention terkait
bagaian info layanan yang cukup diakomodir
dalam aplikasi mobile atau tidak perlu aplikasi
web dengan nilai severity ratings 2.
5. KESIMPULAN
Hasil pengujian kuantitatif dengan User
Experience Questionnaire (UEQ) menunjukan
hasil pengalaman pengguna MY JNE bernilai
positif pada skala kejelasan (Percpicuity)
dengan nilai mean 0,875 yang hampir
menyentuh level normal. Namun, untuk skala
daya tarik (Attractiveness) menghasilkan nilai
0.350, efisiensi (Efficiency) 0,492, ketepatan
(Dependability) 0,683, stimulasi (Stimulation) -
0,175 dan kebaruan (Novelty) -0,758 yang
masih belum mendapatkan nilai positif.
Fakultas Ilmu Komputer, Universitas Brawijaya
5590
Pengukuran menggunakan benchmark UEQ
menghasilkan rata-rata kategori user experience
Bad untuk aplikasi MY JNE. Dari hasil
tersebut, dapat ditarik kesimpulan bahwa
responden memberikan penggalaman pengguna
yang buruk pada aplikasi MY JNE.
Hasil pengujian kualitatif dengan metode
Heuristic Evaluation menghasilkan 22 temuan
permasalahan dari aplikasi MY JNE. Terdapat 8
permasalahan serupa yang ditemukan oleh tiap
evaluator evaluator.
Desain perbaikan didukung 10 prinsip
usability dan Google Material Design terkait
permasalahannya. Hasil evaluasi desain
perbaikan pada info layanan masih didapatkan 1
permasalahan usability pada heuristik 1
visibility of system status dan heuristic 5 error
prevention oleh evaluator 2.
6. SARAN
Kekurangan dari penelitian ini terletak
pada metode Heuristic Evaluation dimana
pengujian dilakukan secara terpisah, untuk
penelitian kedepannya dapat dilakukan
pengujian secara online. Kelebihan dari dari
diskusi online, para evaluator dapat langsung
mendiskusikan hasil temuan mereka dan
memberikan tanggapan. Evaluasi usability pada
MY JNE dapat diterapkan juga pada metode
evaluasi lainnya untuk mendapatkan hasil yang
berbeda atau di evaluasi kembali dengan data
yang telah tersedia pada penelitian ini.
DAFTAR PUSTAKA
Asosiasi Penyelenggaraan Jasa Internet
Indonesia, 2018. Infografis Penetrasi &
Perilaku Pengguna Internet Indonesia
2017. [Online] Asosiasi
Penyelenggaraan Jasa Internet
Indonesia. Tersedia di:
https://apjii.or.id/survei2017 [Diakses 1
Januari 2019].
Budiu, R. 2015. Mobile User Experience:
Limitations and Strengths. [Online]
Tersedia di:
https://www.nngroup.com/articles/mobi
le-ux/ [Diakses 17 Desember 2018].
Borovina, N., Bulja, K., Boskovic, D., &
Salihbegovic, A. 2014. Heuristic Based
Evaluation Of Mobile Services Web
Portal Usability, [Online] Tersedia di:
https://www.researchgate.net/publicatio
n/286665508 [Diakses 20 Desember
2018].
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Dix, A., et al, 2004. Human-Computer
Interaction. 3th ed. Harlow: Pearson
Education.
Devy, N,P,R., Wibirama, S., & Santosa, P,I.
2017. Evaluating User Experience of
English Learning Interface using User
Experience Questionnaire and System
Usability Scale, [Online] Tersedia di:
https://ieeexplore.ieee.org/document/82
76345 [Diakses 20 Desember 2018].
Hidayat, A. 2017. Penjelasan Teknik Purposive
Sampling Lengkap Detail. [Online]
Tersedia di:
https://www.statistikian.com/2017/06/p
enjelasan-teknik-purposive-
sampling.html/amp [Diakses 12
Februari 2019].
International Organization for Standardization,
2018. ISO 9241-11:2018 - Ergonomics
of human-system interaction — Part 11:
Usability: Definitions and concepts.
Online Browsing Platform: ISO.
JNE, 2015. MyJNE. [Online] Tersedia di:
https://www.jne.co.id/id/produk-dan-
layanan/jne-express/myjne [Diakses 15
Februari 2019].
Laugwitz, B., Held, T., & Schrepp, M. 2008.
Construction and evaluation of a user
experience questionnaire. [Online]
Tersedia di:
https://link.springer.com/chapter/10.10
07/978-3-540-89350-9_6 [Diakses 20
Desember 2018].
Fakultas Ilmu Komputer, Universitas Brawijaya
5591
Nielsen, J. 2012. Usability 101: Introductuin to
Usability. [Online] Tersedia di:
https://www.nngroup.com/articles/usabi
lity-101-introduction-to-usability/
[Diakses 17 Desember 2018].
Nielsen, J. 1995. 10 Usability Heuristic for
User Interface Desain. [Online]
Tersedia di:
https://www.nngroup.com/articles/ten-
usability-heuristics/ [Diakses 18 Januari
2019].
Nielsen, J. 1992. Finding Usability Problems
Through Heuristic Evaluation, [Online]
Tersedia di:
https://dl.acm.org/citation.cfm?id=1428
34 [Diakses 20 Desember 2018].
Schrepp, M., Hinderks, A., & Thomaschewski,
J. 2017. Construction of a Benchmark
for the User Experience Questionnaire
(UEQ). [Online] Tersedia di:
http://www.ijimai.org/journal/node/151
4 [Diakses 20 Desember 2018].
Schrepp, M. 2018. User Experience
Questionnaire Handbook. [pdf]
Tersedia di: https://www.ueq-
online.org/ [Diakses 20 Desember
2018].
Schlecht, D. 2017. Your Step-By-Step Guide
To Heuristic Evaluation In UX Design.
[Online] Tersedia di:
https://careerfoundry.com/en/blog/ux-
design/what-is-a-heuristic-evaluation-
in-ux/ [Diakses 3 Maret 2019].