Abstrak
CV ANT merupakan software house di Kota Surabaya. Pada tahun 2019 perusahaan
memproduksi aplikasi e-surat mobile untuk salah satu klien. Pada akhir tahun 2021 perusahaan
berinisiatif untuk memperbarui desain User Interface dan User Experience (UI/UX) aplikasi
tersebut tapi belum adanya pengujian baik untuk desain versi lama maupun baru. Penelitian ini
dilakukan pengujian usability pada desain aplikasi mobile e-surat versi lama dan versi baru
untuk mengetahui apakah desain baru mempunyai user experience yang lebih baik dari versi
lama atau tidak. Teknik pengujian yang digunakan adalah User Experience Questionnaire
(UEQ) dan pengujian prototype menggunakan task skenario pada desain versi baru. Sebagai
responden adalah pengguna desain versi lama berjumlah 23 orang. Teknik UEQ menghasilkan
nilai untuk desain versi baru adalah skala Daya Tarik mendapat 2.4 (excellent), Kejelasan 2.3
(excellent), Efisiensi 2.1 (excellent), Ketepatan 2.2 (excellent), Stimulasi 2.5 (excellent), dan
Kebaruan 1.5 (good). Sedangkan versi lama skala Daya Tarik mendapat 1.7 (good), Kejelasan
1.5 (above average), Efisiensi 1.4 (above average), Ketepatan 1.6 (good), Stimulasi 1.4 (good),
dan Kebaruan 0.5 (below average). Sehingga bisa disimpulkan bahwa desain versi baru
mempunyai user experience yang lebih baik dari desain versi lama. Namun masih perlu adanya
perbaikan berdasarkan hasil pengujian prototype yaitu 51 dari 100 dengan level Sedang.
Kata kunci— User Experience Questionnaire (UEQ), Pengujian Usability, User Interface dan
User Experience (UI/UX), Aplikasi Mobile, Aplikasi E-Surat.
Abstract
CV ANT is a software house in the city of Surabaya. In 2019 the company produced a
mobile e-mail application for one of its clients. At the end of 2021, the company took the
initiative to update the application's User Interface and User Experience (UI/UX) design but
there has been no testing for both the old and new versions of the design. This study conducted
usability testing on the old and new versions of the e-mail mobile application design to find out
whether the new design has a better user experience than the old version or not. The testing
technique used is the User Experience Questionnaire (UEQ) and prototype testing using a task
scenario in the new version design. As respondents, there are 23 users of the old version of the
e-mail application. The UEQ technique produces scores for the new version design, namely the
Attractiveness scale gets 2.4 (excellent), Dependability 2.3 (excellent), Efficiency 2.1 (excellent),
Accuracy 2.2 (excellent), Stimulation 2.5 (excellent), and Novelty 1.5 (good). While the old
version of the Attractiveness scale got 1.7 (good), Perspicuity 1.5 (above average), Efficiency
1.4 (above average), Dependability 1.6 (good), Stimulation 1.4 (good), and Novelty 0.5 (below
average). So it can be concluded that the new version design has a better user experience than
the old version design. However, there is still a need for improvement based on the results of
prototype testing, which is 51 out of 100 with a Medium level.
Keywords— User Experience Questionnaire (UEQ), Usability Testing, User Interface and User
Experience (UI/UX), Mobile Application, Email Application.
1. PENDAHULUAN
C V ANT merupakan perusahaan konsultan dan jasa teknologi informasi yang terletak di
Kota Surabaya Jawa Timur sejak tahun 2010. CV ANT telah membantu banyak klien
dalam membuat software berbasis web, mobile application maupun pengadaan
insfratruktur IT. Salah satu software yang telah dibuat oleh perusahaan untuk salah satu klien
adalah aplikasi e-surat versi mobile android pada tahun 2019. Berdasarkan wawancara dengan
manajer produksi diperoleh informasi bahwa pada sekitar akhir tahun 2021 perusahaan
berinisiatif untuk membuat redesign User Interface dan User Experience (UI/UX) aplikasi
dengan harapan dapat memberikan User Experience (UX) yang lebih baik, memudahkan user
dan memberikan nilai tambah bagi kerja sama perusahaan.
Namun belum adanya pengujian UX yang dilakukan untuk desain versi baru maupun
versi lama, sehingga keputusan untuk membuat desain baru dengan harapan tersebut belum
diketahui kebenarannya apakah desain versi baru yang telah dibuat mempunyai UX yang lebih
baik dari desain versi lama atau tidak. Sebagai solusi dari permasalahan tersebut maka pada
penelitian ini akan dilakukan pengujian usability pada desain versi lama dan versi baru untuk
mengetahui apakah desain versi baru mempunyai UX yang lebih baik dari versi lama atau tidak.
Pengujian usability dilakukan untuk mengevaluasi apakah sebuah aplikasi sudah sesuai dengan
kebutuhan pengguna atau belum [1]. Aspek Kegunaan (Usability) meliputi pengguna dapat
merasakan kemudahan, kenyamanan, dan kecepatan dalam menggunakan aplikasi untuk
mencapai tujuan [2]. Teknik yang digunakan untuk pengujian usability adalah User Experience
Questionnaire (UEQ).
UEQ adalah kuesioner yang dapat memberikan sebuah penilain secara cepat [3]. UEQ
yang terdiri dari 26 items pertanyaan yang diberikan kepada responden untuk mendapat data
subjektif yang berasal dari kuesioner UEQ [4]. UEQ dapat digunakan untuk membandingkan
pengalaman pengguna dua produk. Evaluasi UEQ dari kedua produk atau kedua versi produk
dibandingkan berdasarkan rata-rata skala untuk setiap skala UEQ [5]. Terdapat 6 skala
pengukuran dalam UEQ yaitu Data Tarik (Attractiveness), Kejelasan (Perspicuity), Efisiensi
(Efficiency), Ketepatan (Dependability), Stimulasi (Stimulation), dan Kebaruan (Novelty) [6].
Penelitian terdahulu dilakukan oleh Siti Rohmah dan Maxsi Ary (2021) untuk
membandingkan antara dua aplikasi pinjaman online menggunakan metode usability testing
dengan teknik uji System Usability Scale (SUS) dan metode User Experience Questionnaire
(UEQ). Hasil dari penelitian adalah penilaian kuantitatif dari pengujian menggunakan teknik
SUS dan UEQ [7]. Namun dalam penelitian tersebut tidak disertai uraian feedback dari
responden mengenai apa yang membuat responden kurang puas.
Selanjutnya penelitian dilakukan oleh Wibowo et al. (2019) untuk membandingkan user
experience dua aplikasi mobile banking dengan skenario testing dan menggunakan UEQ [4].
Penelitian tersebut relevan dengan penelitian ini, tetapi terdapat perbedaan metode dalam
pengujian skenario karena dalam penelitian ini pengujian skenario dilakukan secara online
menggunakan platform Maze.co. Selanjutnya penelitian dilakukan oleh Karis et al. (2019) untuk
menguji user experience pada sistem informasi pasar kerja Kemnaker RI mengguanakan tool
UEQ [8]. Pada penelitian peneliti tidak dapat mengukur task success rate ketika responden
menggunakan sistem yang dievaluasi.
Hasil dari penelitian ini adalah penilaian kuantitatif berdasarkan analisis menggunakan
teknik UEQ terhadap desain UI/UX aplikasi e-surat mobile baik desain versi lama maupun baru
dan pengujian prototype terhadap desain versi baru disertai data uraian kritik dan saran sebagai
bahan perbaikan.
Binti, et., al [Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)
Title of manuscript is short and clear, implies research results (First Author)
3460 Jatisi ISSN 2407-4322
Vol. 9, No. 4, Destember 2022, Hal. 3458-3466 E-ISSN 2503-2933
2. METODE PENELITIAN
Binti, et., al [Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)
Jatisi ISSN 2407-4322
Vol. 9, No. 4, Desember 2022, Hal. 3458-3466 E- ISSN 2503-2933 3461
2.5 Kesimpulan
Setelah semua tahapan penelitian selesai, maka tahap terakhir adalah dilakukan
penarikan kesimpulan. Kesimpulan diambil berdasarkan hasil analisis data yang telah dilakukan.
Kesimpulan berisi jawaban singkat terhadap setiap rumusan masalah berdasarkan data yang
telah terkumpul [9].
Binti, et., al [Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)
Title of manuscript is short and clear, implies research results (First Author)
3462 Jatisi ISSN 2407-4322
Vol. 9, No. 4, Destember 2022, Hal. 3458-3466 E-ISSN 2503-2933
Hasil nilai mean pada desain versi lama menunjukkan nilai evaluasi positif pada skala
Daya Tarik, Kejelasan, Efisiensi, Ketepatan, dan Stimulasi. Namun skala Kebaruan
mendapatkan nilai evaluasi netral. Sedangkan hasil pada desain versi baru menunjukkan semua
skala mendapatkan nilai evaluasi yang positif. Selanjutnya hasil tersebut dapat dibandingkan
dengan kumpulan data benchmark yang berisi produk tipikal yang sudah mapan dan cukup
berbeda untuk mendapatkan gambaran yang lebih baik tentang kualitas suatu produk [5]. Hasil
perbandingan dengan kumpulan data benchmark dimuat pada Tabel 6.
Binti, et., al [Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)
Jatisi ISSN 2407-4322
Vol. 9, No. 4, Desember 2022, Hal. 3458-3466 E- ISSN 2503-2933 3463
Hasil perbandingan dengan kumpulan data benchmark menunjukkan desain versi baru
dapat mencapai kategori penilaian tertinggi yaitu excellent (bagus sekali) pada 5 skala yaitu
Daya Tarik, Kejelasan, Efiensi, Ketepatan dan Stimulasi dan kategori good (bagus) pada skala
Kebaruan. Sedangkan desain versi lama mendapatkan nilai tertinggi pada kategori good (bagus)
untuk skala Daya Tarik, Ketepatan dan Stimulasi, kategori above average (diatas rata-rata)
untuk skala Kejelasan dan Efisiensi, dan kategori below average (dibawah rata-rata) untuk skala
Kebaruan. Sehingga bisa disimpulkan bahwa desain versi baru mempunyai user experience
yang lebih baik dari desain versi lama. Hal tersebut selaras dengan grafik perbandingan kedua
versi pada Gambar 2, bahwa terlihat pada kesemua skala pada desain versi baru mendapatkan
nilai yang lebih tinggi dibandingkan desain versi lama.
Binti, et., al [Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)
Title of manuscript is short and clear, implies research results (First Author)
3464 Jatisi ISSN 2407-4322
Vol. 9, No. 4, Destember 2022, Hal. 3458-3466 E-ISSN 2503-2933
Tabel 7 menunjukkan nilai MIUS dari masing-masing skenario. dari jumlah tester 23
orang yang menjalankan pengujian hanya tersisa 14 orang yang berhasil menyelesaikan seluruh
skenario hingga skenario ke 4. Diketahui kegagalan paling banyak terdapat pada skenario 2
(SK2) dengan nilai persentase tester mengakhiri pengujian (Avg Bouce) tertinggi dibandingkan
yang lain yaitu 47,1% sehingga berpengaruh pada nilai MIUS yang rendah yaitu 29 dari 100.
Jumlah tester yang berhasil menjalankan SK2 sebanyak 17 orang dari 23 orang yang artinya 6
orang lainnya gagal, dikarenakan 5 responden mengakhiri pengujian dengan menutup langsung
browser dikarenakan tidak menemukan tombol rollback pada halaman detail pengajuan surat
yang disebabkan oleh tampilan pengujian platform Maze.co yang tidak responsif untuk versi
mobile sehingga tombol rollback tersebut tidak terlihat ketika pengujian menggunakan
handphone, dan 1 orang responden tidak berhasil menyelesaikan SK1 sehingga tidak bisa
menjalankan ke SK2.
Binti, et., al [Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)
Jatisi ISSN 2407-4322
Vol. 9, No. 4, Desember 2022, Hal. 3458-3466 E- ISSN 2503-2933 3465
sebesar 39% atau 9 dari 23 responden. Hal tersebut selaras dengan data kritik dan saran pada
Gambar 5 dimana sebanyak 36% atau 8 responden tidak memberikan masukan dikarenakan
merasa sudah puas dengan desain versi baru.
4. KESIMPULAN
Hasil penelitian dapat disimpulkan bahwa desain versi baru mempunyai user experience
yang lebih baik dibandingkan versi lama, dikarenakan nilai mean dan nilai benchmark pada
keenam skala pengukuran desain versi baru mendapatkan nilai lebih tinggi dibandingkan versi
lama. Meskipun desain versi baru mendapatkan nilai lebih unggul, tapi masih perlu adanya
perbaikan berdasarkan hasil pengujian prototype dan data kritik dan saran dari pengguna,
dikarenakan berdasarkan hasil pengujian prototype mendapatkan nilai MAUS 51 dari 100 yang
berada pada level usability sedang yang masih perlu ditingkatkan lagi.
5. SARAN
Penulis mengucapkan terima kasih kepada Bapak Aditya Tanjung selaku Direktur
sekaligus Bapak Zulmi Adi Rizky selaku Manager Produksi dan seluruh tim CV ANT atas
dukungan pemberikan akses data dalam penelitian ini.
Binti, et., al [Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)
Title of manuscript is short and clear, implies research results (First Author)
3466 Jatisi ISSN 2407-4322
Vol. 9, No. 4, Destember 2022, Hal. 3458-3466 E-ISSN 2503-2933
DAFTAR PUSTAKA
[7] S. Rohmah and M. Ary, “Analisis Pengalaman Pengguna Aplikasi Pinjaman Online
Menggunakan Metode Usability Testing dan User Experience Questionnaire (Studi kasus
pada Akulaku dan Kredivo Indonesia),” JSI J. Sist. Inf., Vol. 13, No. 1, pp. 2230–2245,
2021.
[8] Kharis, P. I. Santoso, and W. W. Winarno, “Evaluasi User Experience pada Sistem
Informasi Pasar Kerja Menggunakan User Experience Questionnare (UEQ),” CITEE.
CITEE, Yogyakarta, pp. 237–243, 2019.
[9] Sugiyono, Metode Penelitian Pendidikan (Pendekatan Kuantitatif, Kualitatif, dan R&D).
Bandung: Alfabeta, 2015.
[11] A. G. Glowdy, R. Fauzi, and E. N. Alam, “Perbaikan Tampilan User Interface Untuk
Meningkatkan User Experience pada Aplikasi Nganggur.Id Menggunakan Metode User-
Centered Design,” e-Proceeding Eng., Vol. 7, No. 2, pp. 7617–7624, 2020.
Binti, et., al [Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)