Tugas 2 Kelompok 1 EAP

JURNAL YANG BERHUBUNGAN DENGAN 3 METODE
DISUSUN OLEH :
Kelompok 1
 M Fadil
 Rafi Palabuti
 Riski Saputra
 Triadi
 Wisnu Suprapto
PROGRAM STUDI SISTEM INFORMASI

JURUSAN ILMU KOMPUTER
FAKULTAS MATEMTIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS RIAU
2022
UJI USABILITY DENGAN METODE COGNITIVE
WALKTHROUGH PADA SITUS WEB PERPUSTAKAAN UNIVERSITAS MERCU
BUANA JAKARTA
Priyo Raharjo1, Wisnu Ananta Kusuma2, Heru Sukoco3

1
Mahasiswa Pasca Sarjana IPB Program Studi Magister Teknologi Informsi Untuk Perpustakaan
2
Ketua Komisi Pembimbing, Dosen Pascasarjana Departemen Ilmu Komputer, FMIPA IPB
3
Anggota Komisi Pembimbing, Dosen Pascasarjana Departemen Ilmu Komputer, FMIPA IPB
Abstract
Creating a university library’s website needs to pay attention to usability aspect as a key of success and also as a user
requirement for a website existence. The purpose of this research is to identify and analyze what problem would user
facing and also giving a recommendation for maintenance in website’s interface to become more user-friendly. In this
research, we did usability test to Universitas Mercu Buana library’s website using cognitive walkthrough method. A
Cognitive walkthrough is a method to test usability where tester does series of task scenario to reach its goal.
Usability test component covers effectiveness and efficiency. The result of this testing shows that the rate of finished
task scenario from respondent are 90%. The Margin of error in this task scenario are from downloading from
ProQuest database article. The average time for respondent completes all the task scenario is 680 seconds. The
problem that users facing when using the website are finding book title, downloading thesis, finding journal title,
finding article title, and downloading article from ProQuest database. the improvement this website need are adding
the new search filter for ProQuest database article, the search box should be on every web pages, collection
availability status should be showing in the search result without clicking title or call number, and term naming
should be relevant to the content.
Keywords: Cognitive Walkthrough, Library Website, Usability, Usability Testing, Website
Albert, 2008). Efektifitas berhubungan dengan tingkat
penyelesaian skenario tugas oleh responden untuk
Pendahuluan mencapai tujuan dalam menggunakan situs web.
Perpustakaan perguruan tinggi sebagai salah satu unit Efisiensi berkaitan dengan jumlah waktu yang
pendukung diharuskan untuk selalu dapat memberikan diperlukan responden dan jumlah kesalahan yang
layanan pengguna secara cepat dan tepat untuk dilakukan oleh responden dalam mencapai tujuan.
mendukung tri darma perguruan tinggi. Salah satunya Tingkat kesalahan ini dapat digunakan untuk
dengan membangun situs web perpustakaan yang membantu memprioritaskan masalahmasalah dan
dapat memenuhi kebutuhan dari para penggunanya. untuk mengukur tingkat kesulitan skenario tugas
Pembangunan sebuah situs web perpustakaan dibandingkan dengan skenario tugas yang lainnya
perguruan tinggi perlu memperhatikan aspek usability (George 2008). Hasil uji usability mengarahkan
sebagai kunci keberhasilan dan syarat penerimaan keputusan dan memungkinkan untuk mengambil
pengguna terhadap keberadaan situs web. Usability lompatan besar menuju user experience (pengalaman
merupakan cerminan dari kebiasan yang umumnya pengguna) yang lebih baik (Blakiston 2015).
dilakukan pengguna situs. Nielsen dan Loranger (2006) Menurut Lewis dalam Bligard dan Osvalder (2013)
mengemukakan bahwa memperhatikan usability cognitive walkthrough adalah metode evaluasi usability
merupakan hal yang penting agar sebuah situs dapat di mana satu atau lebih evaluator bekerja melalui
bertahan hidup dan tidak ditinggal penggunanya. Situs serangkaian skenario tugas dan meminta sejumlah
yang memiliki usability tinggi memiliki peluang untuk pertanyaan dari perspektif pengguna. Pada cognitive
lebih sering dikunjungi. walkthrough, urutan tindakan merujuk kepada
International Standards Organization (ISO 9241-11) langkahlangkah pada antarmuka yang diperlukan
mendefinisikan usability sebagai sejauh mana suatu pengguna untuk mencapai tujuan tertentu. Cognitive
produk dapat digunakan oleh pengguna tertentu untuk walkthrough merupakan metode berbasis teori, di
memperoleh tujuan tertentu dengan efektifitas, mana evaluator mengevaluasi setiap langkah yang
efisiensi, dan kepuasan dalam konteks penggunaan. diperlukan untuk melakukan tugas berbasis skenario,
Usability berarti memastikan bahwa sesuatu bekerja dan mencari masalah usability yang akan mengganggu
dengan baik untuk tujuan tertentu tanpa membuat belajar dengan eksplorasi (Hwang, 2010). Cognitive
penggunanya menjadi putus asa (Krug dalam Tullis & walkthrough dapat dilakukan menggunakan deskripsi
tekstual dari urutan aksi (tindakan), sketsa, kertas 2) Memberikan rekomendasi perbaikan antarmuka
prototipe, dan produk yang sudah bekerja (Wilson, situs web Perpustakaan UMB kepada pengembang
2014). berbasis kebutuhan pengguna agar lebih user
Responden pada penelitian ini adalah pengguna friendly.
perpustakaan yang sedang berkunjung ke
perpustakaan. Menurut Nielsen (2000) jumlah penguji Manfaat
dapat mempengaruhi identifikasi masalah usability Penelitian ini dilakukan untuk memperoleh
situs web. Satu penguji memungkinkan untuk dapat masukan dari pengguna mengenai antarmuka
meng-identifikasi sekitar 25 persen masalah uji situs web perpustakaan yang lebih layak
usability, sedangkan 15 penguji memung-kinkan kita (usable).
dapat mengidentifikasi 100 persen masalah.
Pada tahun 2009 Ali melakukan evaluasi usability Ruang Lingkup Penelitian
terhadap perpustakaan digital Blekinge Tekniska Ruang lingkup penelitian ini adalah :
Hogoskolan (BTH) dengan melakukan uji usability
1) Katalog online yang diuji adalah katalog
dengan metode think aloud, kuesioner dan wawancara
Perpustakaan Kampus Meruya & Cibubur
(Ali et al. 2009). Hasil penelitian Ebenezer pada
perpustakaan NHS London menunjukkan bahwa 2) Responden penelitian meliputi mahasiswa, dosen,
masalah yang ada pada situs web perpustakaan adalah dan karyawan UMB yang datang ke Perpustakaan
pengorganisasian informasi, dan penggunaan istilah UMB
perpustakaan yang membingungkan pengguna 3) Pengujian usability mencakup dua komponen yaitu
(Ebenezer 2003). Maryati menjelaskan bahwa efektivitas dan efisiensi. Efektivitas berkaitan
pengujian antarmuka web perpustakaan digital pada dengan tingkat penyelesaian skenario tugas
Pusat dokumentasi dan Informasi Ilmiah-LIPI sedangkan efisiensi berhubungan dengan jumlah
menggunakan metode cognitive walkthrough (Maryati waktu yang diperlukan untuk menyelesaikan dan
2014). Nurhadryani melakukan pengujian usability jumlah kesalahan yang dilakukan pada saat
untuk meningkatkan antarmuka aplikasi mobile menyelesaikan skenario tugas.
menggunakan metode observasi langsung dan
kuesioner (Nurhadryani et al. 2013). Aelani melakukan Metode Penelitian
penilaian usability sistem perwalian online di STMIK Metode pada penelitian ini terdiri dari beberapa
Amik Bandung menggunakan USE Questionnaire tahapan yaitu pengujian cognitive walkthrough, analisis
dengan tiga parameter utama yaitu Usefullness, hasil pengujian, dan rekomendasi perbaikan antarmuka
Satisfaction dan Ease of Use (Aelani et al. 2012). situs web.
Sejak peluncuran situs web perpustakaan UMB tahun
2009 sampai dengan sekarang ini, uji usability situs web Pengujian Cognitive Walkthrough
belum pernah dilakukan. Berdasarkan hal tersebut uji
Uji usability dengan metode cognitive walkthrough
usability perlu dilakukan untuk mengidentifikasi dan
terdiri dari dua tahapan yaitu tahan persiapan
menganalisis permasalahan-permasalahan yang
(preparation) dan tahap eksekusi (execution). Tahapan
dihadapi pengguna ketika menggunakan situs web
persiapan meliputi studi literature, mempelajari sistem
perpustakaan UMB. Dengan demikian uji usability
yang akan diuji, menentukan responden dan menyusun
penting untuk dilakukan untuk mendapatkan
skenario tugas yang harus dikerjakan oleh responden.
antarmuka yang sesuai dengan kebutuhan dan
Tahapan eksekusi meliputi urutan aksi walk through
kepuasan pengguna dalam menggunakan situs web.
dan perekaman masalah (Jacobsen dan John 2000).
Metode yang digunakan adalah cognitive walkthrough.
Metode cognitive walkthrough dapat membantu
Responden
memastikan desain antarmuka situs web memenuhi
Responden penelitian ini meliputi pengguna
pemetaan pemikiran pengguna, mengidentifikasi
yang menjadi target utama dari Perpustakaan UMB
bagian desain antarmuka yang biasanya tidak dipahami
yaitu mahasiswa, dosen, dan karyawan yang
oleh dosen dan mahasiswa (Wook et al. 2012).
berkunjung ke perpustakaan. Teknik yang digunakan
dalam menentukan sampel adalah sampel acak
Tujuan berstrata (stratified random sampling). Teknik ini
Penelitian ini bertujuan untuk : mengambil sampel dengan memperhatikan strata
1) Mengidentifikasi dan menganalisis permasalahan (tingkatan) didalam populasi. Responden yang dipilih
apa saja yang dihadapi oleh pengguna ketika adalah pengguna yang telah mahir dalam
menggunakan situs web perpustakaan UMB. mengoperasikan komputer dan mencari informasi
menggunakan situs web. Pertimbangan lain adalah kesalahan yang dilakukan oleh responden. Efektivitas
pengetahuan, keterampilan dan frekuensi responden berhubungan dengan tingkat penyelesaian skenario
dalam menggunakan internet, web browser, website, tugas oleh responden untuk mencapai tujuan dalam
dan search engine. menggunakan situs web. Efisiensi berkaitan dengan
Penentuan jumlah responden berdasarkan rata-rata jumlah waktu yang diperlukan responden dan jumlah
persentase jumlah pengunjung perpustakaan. kesalahan yang dilakukan oleh responden dalam
Pengunjung perpustakaan menjadi dasar dalam mencapai tujuan. Tingkat kesalahan ini dapat
menentukan komposisi responden. Data pengunjung digunakan untuk membantu memprioritaskan
perpustakaan dikelompokkan berdasar profesi yang masalahmasalah dan untuk mengukur tingkat
menjadi target utama pengguna situs web. Persentase kesulitan skenario tugas dibandingkan dengan
jumlah pengunjung periode 2011-2014 dosen 3,4%, skenario tugas yang lainnya (George, 2008). Hasilnya
karyawan 0,4% dan mahasiswa 96,2% menjadi dasar dapat menunjukkan kendala-kendala yang dihadapi
dalam menentukan komposisi jumlah responden yaitu oleh pengguna ketika berinteraksi dengan situs web
sepuluh orang. Menurut Nielsen (2012) jumlah peserta perpustakaan UMB.
pengujian pada studi usability adalah lima peserta.
Hal ini memungkinkan penelitian menemukan hampir Identifikasi Masalah dan Rekomendasi
sama banyaknya masalah usability menggunakan Perbaikan
peserta pengujian yang lebih banyak. Pengujian Setelah menganalisis hasil uji usability maka dilakukan
usability dengan lima peserta hampir selalu mendekati identifikasi masalah-masalah yang dihadapi responden
rasio antara manfaat dan biaya maksimum pada ketika menggunakan situs web perpustakaan UMB.
pengujian usability. Masalah yang timbul pada masing-masing skenario
tugas akan diberikan rekomendasi perbaikan yang
Skenario Tugas menjadi prioritas untuk segera dilakukan.
Skenario tugas yaitu kumpulan tugas-tugas yang harus
dikerjakan oleh responden pada saat menggunakan Hasil dan Pembahasan Tingkat Penyelesaian
situs web perpustakaan UMB. Menurut Tullis dan Skenario Tugas
Albert (2008) jumlah skenario tugas sebaiknya antara Tingkat penyelesaian tugas adalah ukuran dari jumlah
lima sampai dengan empat belas skenario tugas. Pada penyelesaian yang berhasil diselesaikan oleh responden
penelitian ini menggunakan sebanyak tujuh skenario untuk setiap tugasnya (George, 2008). Tingkat
tugas yang relevan dengan menu-menu yang ada pada penyelesaian skenario tugas diukur berdasar
situs web perpustakaan UMB. Tabel 1 menjelaskan persentase skenario tugas yang diselesaikan secara
skenario tugas yang harus dikerjakan oleh responden. benar oleh responden. Skenario tugas yang dapat
diselesaikan oleh seluruh responden dengan benar
Tabel 1 Skenario Tugas Uji Usability
sebanyak dua skenario tugas (melihat sejarah pinjaman
ST Tujuan Tahapan
buku dan mencari jam layanan). Skenario tugas yang
ST 1 Mencari judul buku dan 9
pengarang
tidak berhasil diselesaikan dengan benar oleh
ST 2 Mencari judul jurnal 7
responden sebanyak lima skenario tugas (mencari judul
ST 3 Mencari artikel 6 buku, mencari judul jurnal, mencari artikel, mencari
ST 4 Mencari abstrak e-tesis 8 abstrak e-tesis, dan mencari artikel dari basisdata
ST 5 Mencari artikel dari database 9 ProQuest). Hal ini menunjukkan bahwa rata-rata
ProQuest skenario tugas yang berhasil diselesaikan responden
ST 6 Melihat sejarah pinjaman 6 sebesar 90%. Responden yang berhasil menyelesaikan
buku skenario tugas secara benar sebesar 50% dan sisanya
ST 7 Mencari informasi 3 tidak berhasil menyelesaikan seluruh skenario tugas
jam layanan yang diberikan dengan benar (Gambar 2). Sebanyak
perpustakaan dua responden (20%) hanya berhasil menyelesaikan
Keterangan : skenario tugas sebesar 71%. Hasil rekapitulasi
ST = Skenario tugas menunjukkan skenario tugas yang berhasil sebanyak
dua skenario tugas. Skenario tugas yang gagal
Analisis Hasil Uji Usability diselesaikan oleh responden sebanyak lima skenario
Pada tahapan ini dilakukan analisis terhadap tingkat tugas (Gambar 1). Hal ini menunjukkan bahwa masih
keberhasilan pengguna yaitu persentase skenario ada kekurangan pada antarmuka situs web
tugas yang diselesaikan dengan benar oleh perpustakaan UMB mulai dari navigasi pada menu
responden, waktu penyelesaian tugas, dan jumlah katalog online sampai dengan ketidakpahaman
responden pada istilah e-tugas akhir dan e-thesis. skenario tugas 4. Pada skenario tugas ini responden
Masalah ini sesuai dengan yang diungkapkan oleh juga melakukan klik pada menu “Digital Library’ secara
Singley (2014) yaitu memahami perangkat penelusuran berulang-ulang untuk dapat mendapatkan e-tugas
(pencarian) dan pengguna mengalami kesulitan dalam akhirnya. Ketika responden diharuskan mengunduh file
menemukan teks secara lengkap. dokumen yang ditugaskan, responden tidak melakukan-
nya. Penggunaan istilah untuk penamaan sebuah menu
100 90 90 90
100 100 yang tidak sesuai dengan apa yang diharapkan oleh
)%
80
80 80
(s responden menyebabkan responden melakukan
)% ag
(n
60 u banyak kesalahan. Hal ini sesuai dengan masalah yang
e T
d
n
o 40
o
ir diungkapkan oleh Singley (2014) yaitu maksud dari
p an
R
se ek istilah-istilah perpustakaan dan kesulitan menemukan
20 S
-
teks secara lengkap dan Ebenezer (2003) yang
S T1 S T2 ST 3 ST 4 ST 5 ST6 S T7 menyatakan bahwa penggunaan istilah perpustakaan
Sk enar io T ugas yang membingungkan pengguna.
Gambar 1 Persentase Responden Jumlah Waktu yang Diperlukan untuk

Berhasil Menyelesaikan Skenario Tugas Menyelesaikan Skenario Tugas
1 0 0 1 00 10 0 100 100 Waktu penyelesaian skenario tugas adalah
100 86 86 86
71 7 1
jumlah waktu yang diperlukan responden untuk
80
menyelesaikan skenario tugas. Waktu penyelesaian ini
60 adalah waktu masingmasing skenario tugas yang
40 dicatat atau direkam baik itu berhasil ataupun tidak
20 berhasil (George 2008). Jumlah waktu dihitung
- berdasarkan jumlah detik yang diperlukan oleh
R1 R2 R3 R4 R5 R6 R7 R8 R9 R10 responden untuk
Resp ond en
Gambar 2 Persentase Skenario Tugas yang

Diselesaikan oleh Responden
Jumlah Kesalahan yang Dilakukan

Kesalahan adalah hasil dari suatu tindakan yang tidak
sesuai dengan apa yang dimaksudkan oleh responden
ketika uji usability berlangsung (George 2008). Jumlah
kesalahan adalah banyaknya kesalahan yang dilakukan
oleh responden ketika menyelesaikan skenario tugas
yang tidak sesuai dengan langkah-langkah yang telah
ditentukan. Tingkat kesalahan ini dapat digunakan
untuk membantu memprioritaskan masalah-masalah
dan untuk mengukur tingkat kesulitan skenario tugas
dibandingkan dengan skenario tugas yang lainnya.
Sebanyak tujuh skenario tugas diberikan kepada
responden untuk diselesaikan secara benar.
Hasil pengujian usability menunjukkan bahwa tidak ada
satu skenario tugas pun yang dapat diselesaikan oleh
seluruh responden tanpa melakukan kesalahan
(Gambar 3). Jumlah kesalahan paling banyak dilakukan
oleh responden adalah lima belas kali kesalahan
sedangkan kesalahan terkecil adalah tiga kali kesalahan
(Gambar 4). Skenario tugas 5, mengunduh artikel dari
basisdata
ProQuest, dan kenario tugas 4, mengunduh e-tugas
akhir, merupakan dua skenario tugas dengan jumlah
kesalahan tertinggi. Responden melakukan klik pada
menu yang salah yaitu e-thesis untuk menyelesaikan
menyelesaikan skenario tugas. Waktu loading dilakukan pemotongan. Jumlah pada saat Pengujian usability
MAX
situs web 278 waktu
loading tidak 165yang 97 467responden
digunakan oleh 107 diperhitungkan
37 agar menunjukkan
perhitungan waktu untuk menyelesaikan seluruh skenario tidak menjadi bias. Oleh sebab bahwa skenario
itu waktu tugas dapat dilihat pada Tabel 2. tugas 5, mengunduh
artikel dari
Tabel 2 Rekapitulasi Jumlah Waktu Penyelesaian Skenario Tugas basisdata ProQuest,
skenario tugas 4,
Total Rata-rata mengunduh e-tugas
Responden ST1 ST2 ST3 ST4 ST5 ST6 ST7 akhir dan skenario
tugas 1, mencari
R1 115 62 78 81 137 48 12 76
judul buku melalui
R2 159 59 37 221 120 58 12 666 95 katalog online,
R3 60 26 26 63 70 37 29 311 44
merupakan tiga
skenario tugas yang
R4 134 165 36 153 301 43 8 840 120
paling banyak
R5 81 109 35 132 244 28 27 656 94
membutuhkan
R6 269 121 79 254 467 101 37 1,328 190
waktu untuk
R7 84 47 25 73 107 58 15 409 58
menyelesaikannya.
R8 278 118 97 101 233 107 37 971 139 Skenario tugas 7
R9 79 43 57 118 116 83 12 508 73 melihat waktu
R10 121 68 35 160 135 46 10 575 82 layanan
Rata-rata 132 82 50 142 193 62 19 680 11 perpustakaan
(detik) merupakan jumlah
MIN 60 26 25 70 28 8 waktu paling sedikit.
Hal ini sesuai
Keterangan : dengan masalah yang diungkapkan oleh Singley
ST = Skenario tugas (2014) bahwa pengguna tidak mengetahui posisi
R = Responden pengguna berada (tersesat) pada saat melakukan
penelusuran.
Hasil perhitungan menunjukkan jumlah waktu
paling cepat yang digunakan oleh responden dalam Masalah-Masalah dan Rekomendasi
menyelesaikan skenario tugas adalah 311 detik
Perbaikan
dengan skenario tugas yang berhasil diselesaikan
Berdasarkan penjelasan pada parameter tingkat
sebesar 86%. Jumlah waktu paling lama yang
penyelesaian skenario tugas dan kesalahan
digunakan oleh responden sebanyak 1.328 detik
menunjukkan masalah-masalah yang dihadapi oleh
dengan skenario tugas yang dapat diselesaikan
pengguna ketika menggunakan situs web perpustakaan
sebesar 71 %. Rata-rata jumlah waktu yang
UMB. Dengan adanya berbagai masalah itu, maka perlu
digunakan responden untuk menyelesaikan seluruh
dilakukan adanya perbaikan-perbaikan. Permasalahan
skenario tugas adalah 680 detik.
dan rekomendasi perbaikan dapat dijelaskan pada
Tabel 3.
Tabel 3 Masalah dan Rekomendasi Perbaikan Antarmuka Situs Web

ST Tujuan Permasalahan Rekomendasi perbaikan
T1 Mencari judul a) Responden tidak dapat mengisi a) Kotak pencarian muncul di
buku dan nama penerbit pada kotak setiap halaman situs web.
pengarang pencarian ‘Penerbit’ dengan cara b) Jika menu katalog dipilih
mengetik nama penerbit, sebaiknya tidak
penerbit harus dipilih dengan menampilkan jendela baru.
menggulung ke atas ke bawah c) Dibuatkan menu
b) Responden tidak memilih judul “Ketersediaan dan lokasi”
dengan cara klik pada judul sehingga dari
responden tidak dapat mengetahui masing-masing dokumen
detail status dan lokasi buku berada yang ditampilkan dari hasil
c) pada saat dilakukan pencarian penelusuran. Menu ini akan
Responden tidak langsung mencari memberikan informasi buku
menu katalog tetapi tersedia di tempat atau
berusaha melakukan log in pada sedang dipinjam serta lokasi
menu log in mahasiswa untuk perpustakaan dimana buku
d) d) melakukan pencarian disimpan.
judul buku Responden memilih Kotak pencarian untuk
jurusan pada saat mencari judul penerbit dibuat dengan
buku sistem pengguna harus
mengetikkan penerbit yang
diinginkan bukan dengan
sistem pilihan penerbit.
T2 Mencari judul Res ponden tidak melakukan klik a Judul jurnal hasil penelusuran,
jurnal pad “ISSN” dari hasil jurnal yang jika dipilih (klik) akan tampil detail
ditampilkan, sehingga detail edisi edisinya, bukan dengan
dar i jurnal tidak tampil di layar melakukan klik pada nomor ISSN
mo nitor.
T3 Mencari artikel Responden kesulitan melakukan klik Menu ditampilkan secara
menu “Katalog > Koleksi Meruya & horizontal drop down dengan
Cibubur” menu horizontal
T4 Mencari abstrak a) Responden tidak melakukan klik Istilah yang digunakan pada
e-tesis a) pada menu “e-tugas akhir” menu maupun submenu
tetapi melakukan klik pada menu harus sesuai dengan isi
“e-thesis” informasi yang akan
b) Responden tidak mengunduh disampaikan
abstrak sehingga tidak
membingungkan pengunjung
situs web. Istilah “Digital
Library” sebaiknya diganti
dengan “Koleksi Digital”
b) Petunjuk lokasi pengunjung
situs web (breadcrumbs)
yaitu navigasi yang
memberikan informasi posisi
menu yang sedang diakses
oleh pengunjung.
T5 Mencari artikel Responden kesulitan menemukan Petunjuk cara mencari artikel ke
dari basisdata menu “Teks lengkap – PDF” untuk basisdata ProQuest dan pencarian
ProQuest dapat mengunduh artikel yang telahu melalui katalog online yang
buk ditemukan dari basisdatangkapi dengan gambar
ProQuest dile layatampilan r. Petunjuk ini
pad ditempatkan
a halaman menu dari
masi
masingng menu pencarian.
T6 Melihat sejarah Responden melakukan klik pada Me menumpercepat tampilan sub menu
pinjaman buku “Pinjamanku” secara berulang pad kali a menu “Pinjaman Saya”
men ketika
u tersebut disorot oleh
pointer
ST Tujuan Permasalahan Rekomendasi perbaikan aplikasi perwalian
online STMIK
ST 7 Mencari Responden melakukan scroll a) Menu-menu ditampilkan di AMIK BANDUNG.
informasi jam (menggulung layar) berulang kali bagian atas layar termasuk Seminar Nasional
layanan untuk mendapatkan lokasi menu menu log in untuk anggota, Aplikasi Teknologi
perpustakaan “Peraturan”. Judul buku baru, Usefull link Informasi 2012
dan statistik jumlah koleksi. (SNATI 2012).
b) Menu ditampilkan secara
Ali MU, Aasim M. (2009)
horizontal drop down dengan
Usability
menu horizontal evaluation of
c) Menu gambar sebaiknya digital library
hanya ditampilkan pada Blekinge Tekniska
halaman utama bukan pada Hogskolan a case
setiap halaman. Tujuannya study [tesis].
untuk mengurangi kegiatan Ronneby
menggulung (scroll) layar (Sweden): Shool
monitor ke atas atau ke of Computing
bawah, pada saat pengguna Blekinge Institute
melakukan pencarian of Technology Soft
informasi. Centre.
Bligard L & Osvalder A (2013) Enhanced Cognitive
Kesimpulan dan Saran Kesimpulan Walkthrough Development of the Cognitive
Hasil pengujian usability menunjukkan bahwa Walkthrough Method to Better
permasalahan yang dihadapi pengguna pada waktu Predict, Identify, and Present Usability
menggunakan situs web Perpustakaan UMB adalah Problems. Advances in Human-Computer
mengunduh artikel dari basisdata ProQuest, Interaction.
mengunduh e-tugas akhir, mencari judul artikel, http://dx.doi.org/10.1155/2013/931 698 .
mencari judul buku dengan menggunakan katalog [Diakses 13 Maret 2015].
online, dan mencari judul jurnal. Ebenezer, C (2003) Usability evaluation of an NHS
Rekomendasi perbaikan antarmuka situs web library website. Health Information And
Perpustakaan UMB berdasarkan hasil analisis yaitu Libraries Journal. 20:134-142.
menampilkan pedoman atau petunjuk cara pencarian George, CA (2008). User-centred library websites
artikel dari masing-masing database, kotak pencarian : usability evaluation methods. Oxford (UK):
koleksi (buku, artikel, jurnal, e-tugas akhir) berada Chandos Publishing.
pada bagian atas setiap halaman situs web, gambar
tidak ditampilkan disetiap halaman, dan diberikan Hwang, W (2010) Number of people required for
navigasi yang memberikan lokasi pengunjung situs usability evaluation: the 10±2 rule.
web berada. Communications of the ACM. 53(5):130-133 doi
10.1145/ 1735223. 1735255.
Saran [ISO] International Organization for Standardization,
Penelitian selanjutnya dapat dilakukan dengan ISO 9241-11 Ergonomic requirements for office
melakukan uji usability kedua setelah situs web work with visual display terminals (VDTs) — Part
Perpustakaan dilakukan desain ulang dengan 11: Guidance on usability.
https://www.iso.org/obp/ ui/#iso:std:iso:9241:-
memperhatikan dari rekomendasi yang diberikan pada
11:ed-1:v1:en [Diakses 28 Juni 2014].
penelitian ini. Dari pengujian ke-2 ini dapat dilakukan
perbandingan besaran tingkat efisiensi dan efektifitas Jacobsen, N & John, B. (2000) Two case studies in using
antarmuka situs web Perpustakaan. Komponen cognitive walkthrough for interface evaluation.
usability dapat ditambahkan seperti kepuasan Pittsburgh (PA): Human Computer
pengguna. Selain itu metode think aloud, heuristic Interaction Institute,
evaluation, dapat digabungkan untuk uji usability School of Computer Science, Carnegie Mellon
selanjutnya. University.
http://reportsarchive.adm.cs.cmu.edu/anon/200
0/ CMU-CS-00-132.pdf. [Diakses 12 Maret 2015].
Daftar Pustaka
Aelani K, Falahah (2012) Pengukuran usability sistem Nielsen, J & Loranger, H (2006). Prioritizing Web
menggunakan use questionnaire (studi kasus Usability. Berkeley: New Riders.
Nielsen, J (2012) Usability 101: Introduction to Usability.
http://www. nngroup. com/articles/usability-
101-introduction-to-usability. [Diakses 2 Mei
2015].
Nurhadryani, Y., Sianturi, SK., Hermadi, I.,
Khotimah, H. 2013. Pengujian
usability untuk meningkatkan antarmuka
aplikasi mobile. JIKA. 2(2):8393.
Simarmata, J (2010) Rekayasa web.
Yogyakarta (ID) : Andi Offset.
Singley, E (2014). Usable libraries. Top 5 problems with
library websites – a review of recent usability
studies.[Internet]. http://emilysingley.net/top-
5problems-with-library-websites-areview-of-
recent-usability-studies/ [Diakses 1 Mei 2015].
Tullis, T. & Albert, B (2008) Measuring User Experience
Collecting, Analyzing, and Presenting Usability
Metrics Interactive Technologies. Massachusetts:
Morgan Kauffman.
Rangkuman evaluasi Pada Situs Web Perpustakaan Universitas Mercu Buana
Jakarta Dengan Metode Cognitive Walkthrough
Uji usability dengan metode cognitive walkthrough terdiri dari dua tahapan yaitu tahan persiapan
(preparation) dan tahap eksekusi (execution). Tahapan persiapan meliputi studi literature,
mempelajari sistem yang akan diuji, menentukan responden dan menyusun skenario tugas yang
harus dikerjakan oleh responden.
Metode cognitive walkthrough merupakan metode evaluasi yang fokus pada kemudahan dalam
mempelajari suatu produk. cognitive walkthrough didasarkan dengan frekuensi pengguna
menggunakan produk, melalui eksplorasi dan bukan melalui instruksi formal. Fokus pada
cognitive walkthrough lebih kepada aktivitas pengguna secara kognitif, terutama pada tujuan dan
pengetahuan ketika melakukan tugas tertentu.
Responden penelitian ini meliputi pengguna yang menjadi target utama dari Perpustakaan UMB
yaitu mahasiswa, dosen, dan karyawan yang berkunjung ke perpustakaan. Teknik yang
digunakan dalam menentukan sampel adalah sampel acak berstrata (stratified random sampling).
Teknik ini mengambil sampel dengan memperhatikan strata (tingkatan) didalam populasi.
Responden yang dipilih adalah pengguna yang telah mahir dalam mengoperasikan komputer dan
mencari informasi menggunakan situs web.
Permasalahan:
 Responden tidak dapat mengisi nama penerbit pada kotak pencarian ‘Penerbit’ dengan
cara mengetik nama penerbit, penerbit harus dipilih dengan menggulung ke atas ke
bawah
 Responden tidak memilih judul dengan cara klik pada judul sehingga responden tidak
dapat mengetahui detail status dan lokasi buku berada pada saat dilakukan pencarian
 Responden tidak langsung mencari menu katalog tetapi berusaha melakukan log in pada
menu log in mahasiswa untuk melakukan pencarian judul buku
 Responden memilih jurusan pada saat mencari judul buku
Rekomendasi perbaikan
 Kotak pencarian muncul di setiap halaman situs web.
 Jika menu katalog dipilih sebaiknya tidak menampilkan jendela baru.
 Dibuatkan menu “Ketersediaan dan lokasi” dari masing-masing dokumen yang
ditampilkan dari hasil penelusuran. Menu ini akan memberikan informasi buku tersedia
di tempat atau sedang dipinjam serta lokasi perpustakaan dimana buku disimpan.
 Kotak pencarian untuk penerbit dibuat dengan sistem pengguna harus mengetikkan
penerbit yang diinginkan bukan dengan sistem pilihan penerbit.
Hasil pengujian usability menunjukkan bahwa permasalahan yang dihadapi pengguna pada
waktu menggunakan situs web Perpustakaan UMB adalah mengunduh artikel dari basisdata
ProQuest, mengunduh e-tugas akhir, mencari judul artikel, mencari judul buku dengan
menggunakan katalog online, dan mencari judul jurnal. Rekomendasi perbaikan antarmuka situs
web Perpustakaan UMB berdasarkan hasil analisis yaitu menampilkan pedoman atau petunjuk
cara pencarian artikel dari masing-masing database, kotak pencarian koleksi (buku, artikel,
jurnal, e-tugas akhir) berada pada bagian atas setiap halaman situs web, gambar tidak
ditampilkan disetiap halaman, dan diberikan navigasi yang memberikan lokasi pengunjung situs
web berada.
Penelitian selanjutnya dapat dilakukan dengan melakukan uji usability kedua setelah situs
web Perpustakaan dilakukan desain ulang dengan memperhatikan dari rekomendasi yang
diberikan pada penelitian ini. Dari pengujian ke-2 ini dapat dilakukan perbandingan besaran
tingkat efisiensi dan efektifitas antarmuka situs web Perpustakaan. Komponen usability dapat
ditambahkan seperti kepuasan pengguna.
Analisis Usability Aplikasi iBadung Menggunakan Heuristic
Evaluation Method
I Gusti Ayu Agung Diah Indrayani, I Putu Agung Bayupati, I Made Suwija Putra
Program Studi Teknologi Informasi, Fakultas Teknik, Universitas Udayana, Bukit
Jimbaran, Bali, Indonesia,Telp. (0361) 701806
e-mail: diahindrayani21@gmail.com, bayupati@it.unud.ac.id, putrasuwija@unud.ac.id
Abstrak
Seiring berjalannya waktu teknologi terus berkembang semakin canggih. Dimulai dari
website, sampai dengan teknologi mobile. Teknologi website dan mobile memiliki peran yang
sangat penting sebagai sumber informasi. iBadung merupakan sebuah aplikasi mobile yang
memiliki fungsi sebagai wadah yang menyediakan berbagai jenis buku bacaan atau dapat
disebut perpustakaan digital yang dapat diakses oleh semua orang. Untuk dapat mengukur
tingkat kenyamanan user, kelayakan aplikasi, dan interface aplikasi maka dilakukan pengujian
usability, tujuan untuk menganalisis user experience dalam penggunaan aplikasi iBadung.
Fungsi dari metode Heuristic Evaluation adalah mengetahui tingkat usability pada iBadung.
Pengujian ini mengisi kuesioner dilakukan oleh 17 orang responden dengan kategori pengguna
awam, pengguna biasa dan pengguna administrator. Hasil yang didapat dari pengujian pertama
pengguna awam mendapat nilai severity rating skala 2 kategori minor usability problem,
pengguna biasa dan pengguna administrator mendapat nilai severity rating skala 1 kategori
cosmetic problem. Temuan permasalahan yaitu pada logo aplikasi, tata letak icon menu,
tampilan menu login, penambahan pop up exit pada tampilan aplikasi iBadung dan dilakukan
perbaikan tampilan sesuai rekomendasi user selanjutnya melakukan pengujian kedua setelah
perbaikan tampilan selesai dikerjakan.
Kata kunci: Teknologi mobile, Aplikasi iBadung, User Experience, Usability, Heuristic
Evaluation
Abstract
As time goes by technology continues to develop increasingly sophisticated. Starting
from the website, to mobile technology. Website and mobile technology have a very important
role as a source of information. iBadung is a mobile application that has a function as a
container that provides various types of reading books or can be called a digital library that can
be accessed by everyone. To be able to measure the level of user comfort, application eligibility,
and application interfaces, usability testing is performed, the purpose of analyzing user
experience in the use of the iBadung application. The function of the Heuristic Evaluation
method is to know the level of usability in iBadung. This test filled out the questionnaire
conducted by 17 respondents in the category of ordinary users, ordinary users, and
administrator users. The results obtained from the first test of ordinary users get a scale severity
rating of 2 minor usability problem categories, ordinary users and administrator users get a
scale severity rating of 1 in the cosmetic problem category. The finding of the problem is the
application logo, the layout of the menu icon, the appearance of the login menu, the addition of
exit pop-ups to the iBadung application display and the appearance of improvements according
to the user's recommendations, then do a second test after the appearance of the repair is
complete.
Keywords : Mobile Technology, iBadung Applications, User Experience, Usability, Heuristic
Evaluation.
1. Pendahuluan
Perkembangan teknologi setiap waktu terus berkembang. Seiring berjalannya waktu
perkembangan internet semakin pesat sesuai kebutuhan pengguna.User experience memiliki peran
penting dalam pengembangan suatu produk maupun sebuah sistem [1]. User experience atau
seseorang yang memiliki peran dalam menggunakan produk dan sistem. Nilai dari produk atau sistem
tersebut dapat diketahui dari user experience bagaimana tanggapan dari pengguna dalam
menggunakan produk atau sistem tersebut. Mengetahui kelayakan ,tingkat kenyamanan dan kepuasan
pengguna dari produk atau sistem yang digunakan dapat diketahui melalui user experience.
Di Indonesia banyak penelitian yang dilakukan berkaitan dengan user experience untuk menilai
suatu produk, sistem, maupun jasa. Banyak objek yang menjadi bahan penelitian yang berkaitan dengan
user experience. Salah satu contoh penelitian yaitu website dan aplikasi mobile yang ada di Indonesia
yang dievaluasi berdasarkan user experience. Secara umum penelitian yang berkaitan dengan user
experience yaitu untuk mengetahui permasalah atau kekurangan dari suatu produk, sistem, dan jasa.
Permasalah yang terkait seperti user interface, eficiency, kegunaan, fungsi, dan kesenangan
pengguna[2]. Perancangan suatu produk, dan sistem harus sesuai dengan keinginan pengguna, dapat
digunakan dengan baik dan mudah[3].
Salah satu target dalam penelitian ini adalah aplikasi mobile iBadung yang merupakan Sebuah
aplikasi perpustakaan digital yang berbasis mobile, dimana aplikasi ini berperan sebagai alat bantu
mempermudah masyarakat ataupun pelajar untuk mengakses informasi mengenai pencarian buku
maupun melakukan peminjaman buku secara online, tanpa harus pergi ke perpustakaan langsung.
Dalam penggunaannya ditemukan beberapa user memberikan komentar terkait tampilan dan
kenyamanan dalam menggunakan aplikasi. User mengeluhkan mengenai tampilan yang kurang menarik
dan kurang dipahami seperti menu register, kategori buku. Diketahui pada instansi Pemerintahan Dinas
Kearsipan dan Perpustakaan Kabupaten Badung yang mengelola aplikasi iBadung belum pernah
dilakukan penelitian terkait usability. Maka dari itu untuk mengetahui bagaimana pengalaman
pengguna serta mengukur kepuasan pengguna dalam menggunakan aplikasi iBadung bisa diketahui
dengan melakukan pengujian Usability menggunakan metode Heuristic Evaluation[4]. Heuristic
evaluation merupakan sebuah metode yang digunakan untuk mengidentifikasi masalah usability dalam
hal user interface design[5]. Hasil pengujian ini menemukan permasalahan usability pada interface
aplikasi ibadung dan mendapat rekomendasi untuk dilakukan perbaikan tampilan, setelah itu dilakukan
konfirmasi tampilan yang telah diperbaiki tahap kedua kepada responden yang terlibat sebelumnya.
Hasil akhir mendapatkan perbandingan nilai heuristic evaluation dari pengujian pertama dan pengujian
kedua.
2. Metodologi Penelitian
Berikut merupakan gambaran alur proses dalam pengujian usability aplikasi iBadung
berdasarkan metode Heuristic Evaluation. Alur penelitian merupakan tahapan-tahapan setiap proses
yang akan dilakukan dalam penelitian. Gambaran alur penelitian dapat dilihat pada gambar 1 berikut.
Gambar 1. Alur Penelitian
Tahapan pada alur penelitian dalam pengujian usability aplikasi iBadung menggunakan metode
Heuristic Evalution terdapat 8 tahapan dalam melakukan proses penelitian yaitu pertama menentukan
objek penelitan dan permasalah yang akan dibahas dalam penelitian. Tahap kedua yaitu melakukan
studi literatur mempelajari teori dari jurnal, ebook, yang berkaitan dengan penelitian yang dibahas.
Tahap ketiga melakukan pengujian usability pada aplikasi iBadung. Pengujian usability ini dilakukan
dengan penyebaran kuesioner dengan metode Heuristic Evaluation. Tahap keempat Melakukan proses
evaluasi usability aplikasi iBadung pada tahap pertama melakukan rekap data kuesioner dan diolah
sesuai dengan metode Heuristic Evaluation. Setelah rekap data selesai dilakukan, akan mendapatkan
hasil yang berupa adanya rekomendasi perbaikan aplikasi iBadung berdasarkan pengujian usability yang
sudah dilakukan oleh responden. Tahapan kelima melakukan perbaikan design sesuai masalah yang
ditemukan dalam pengujian usability oleh responden. Tahapan keenam konfirmasi hasil perbaikan yang
telah dilakukan sesuai rekomendasi dari responden. Tahapan ketujuh evaluasi hasil pengujian tahap
pertama dan kedua aplikasi iBadung menggunakan metode Heuristic Evaluation. Tahap kedelapan
pengambilan kesimpulan setelah semua tahapan evaluasi selesai dilakukan. Saran yang diberikan
ditujukan untuk memperbaiki dari kekurangan yang terdapat selama proses penelitian dan memberikan
rekomendasi dalam perbaikan aplikasi baik dari segi fitur, tampilan, bahasa dan lainnya.
3. Kajian Pustaka
Berikut merupakan kajian pustaka yang terkait dengan penelitian usability bersumber dari
jurnal, ebook, artikel.
3.1 User Experience
Peran User experience sangat penting dalam pengembangan suatu produk, jasa, ataupun
sebuah sistem. User experience atau seseorang yang memiliki peran dalam menggunakan produk, jasa
dan sistem. Nilai dari produk, jasa atau sistem tersebut dapat diketahui dari user experience
bagaimana tanggapan dari pengguna dalam menggunakan produk, jasa atau sistem tersebut.
Mengetahui kelayakan, tingkat kenyamanan dan kepuasan pengguna dari produk, jasa dan sistem yang
digunakan dapat diketahui melalui user experience. Pencapaian berhasil atau kegagalan produk, jasa
dan sistem dapat diketahui melalui user experience [6].
3.2 User Interface

User interface merupakan suatu komponen penting dalam perancangan sistem informasi yang
melibatkan interaksi user untuk menghasilkan proses input serta output. User interface arti dalam
bahasa Indonesia yaitu sebuah antarmuka aplikasi. User interface yang bagus adalah user interface
yang dapat menyatukan sebuah interaksi user dengan penyedia informasi. Suatu aplikasi yang design
interface nya menarik dan user friendly akan lebih mudah digunakan dan dimengerti oleh user [7].
Design interface berhubungan dengan tampilan layar pengguna, karena design yang baik adalah poin
penting untuk membuat user tertarik mencoba dan menggunakan aplikasi tersebut [8]. Sebelum
aplikasi diluncurkan perancangan user interface harus dibuat dengan konsep bagus dan sesuai
kebutuhan user. Jika dalam perancangan tidak matang akan beresiko aplikasi bisa gagal setelah
diluncurkan [9].
3.3 Usability
Definisi usability menurut ISO 9241:11 (1998) yaitu mengetahui tingkat nilai keberhasilan dalam
pengembangan suatu bentuk produk yang dapat digunakan user untuk mencapai target sesuai
diinginkan seperti aspek efektivitas, aspek efisiensi dan mencapai kepuasan user dalam hal tertentu.
Usability digunakan untuk melakukan pengukuran tingkat kegunaan interface dari sebuah website
maupun aplikasi mobile [10]. Meningkatkan kualitas interface dapat diketahui dengan pengujian
usability [11].
3.4 Heuristic Evaluation

Pengujian usability aplikasi iBadung dengan metode Heuristic Evaluation dilakukan untuk
evaluasi design interface dari aplikasi iBadung. Pengujian ini dilakukan berdasarkan 10 aspek menurut
Nielsen (1994) [12]. Nilai severity rating berdasarkan Heuristic Evaluation dapat dilihat pada tabel 1
[11].
1. Visibility of system status yaitu suatu sistem dapat memberi tahu pengguna terhadap situasi
yang sedang terjadi dari feed back yang diberikan.
2. Match between system and the real world yaitu suatu sistem perlu menggunakan konsep
dan bahasa yang dengan mudah dimengerti oleh user.
3. User control and freedom yaitu pencegahan kesalahan yang mungkin dilakukan oleh user, dan
sistem perlu membuat menu untuk undo atau redo.
4. Consistency and standard yaitu konsistensi antarmuka pada sistem sesuai standar
5. Error prevention yaitu penanggulangan kesalah yang dapat terjadi
6. Recognition rather than recall yaitu komponen pada sistem yang dibuat mudah supaya user
tidak perlu mengingat-ingat proses berikutnya
7. Flexibility and efficiency of use yaitu suatu sistem yang bersifat efisien serta fleksibel
membuat user cepat dalam melakukan tugas
8. Aesthetic and minimalist design yaitu desain yang aesthetic tidak mengganggu pengguna
dalam menggunakan suatu sistem
9. Help users recognize, diagnose, and recover from errors yaitu pesan error dengan bahasa
yang sederhana dan memberikan solusi kepada user
10. Help and documentation yaitu menyediakan fitur bantuan dan dokumentasi untuk membantu
user dalam menggunakan sistem
Pengujian usability dilakukan dengan membuat kuesioner beberapa pertanyaan yang terkait dengan
tampilan aplikasi iBadung disesuaikan dengan 10 aspek heuristic evaluation. Kemudian dilakukan
pengujian kepada responden yang terlibat seperti pengguna awam yaitu responden yang belum pernah
menggunakan aplikasi, pengguna biasa yaitu responden yang sudah pernah menggunakan aplikasi, dan
pengguna administrator yaitu responden admin yang mengelola dashboard iBadung. Setelah pengujian
usability selesai dilakukan, tahapan selanjutnya yaitu merekap kuesioner berdasarkan perhitungan
metode heuristic evaluation. Perhitungan pada evaluasi Heuristic evaluation menggunakan
persamaan (1):
Dengan = jumlah skor rating dari sub aspek usability dalam setiap aspek usability
poin usability, bernilai 1/0

Berikutnya untuk menghasilkan nilai severity rating dari masing-masing aspek usability menggunakan
persamaan (2):
∑ …………………………………………. (2)
Dengan,
Hasil severity rating dalam satu aspek usability
Banyaknya sub aspek usability dalam setiap aspek usability
Tabel 1. Skala Nilai Severity Rating
Severity Rating Keterangan

0 Tidak ditemukan adanya permasalahan atau kekurangan pada
usability
1 Kategori cosmetic problem, permasalahan tidak perlu diperbaiki
kecuali waktu pengerjaan proyek masih tersedia.
2 Kategori minor usability problem, permasalahan kegunaan kecil,

perbaikan ini diberikan prioritas yang rendah.
3 Kategori major usability problem, permasalahan kegunaan utama,
perbaikan penting dilakukan, maka dari itu diberikan prioritas
tinggi.
4 Kategori usability catastrophe, permasalahan perbaikan ini harus
dilakukan sebelum produk diluncurkan.
Tabel 1 merupakan nilai severity rating dalam pengujian usability berdasarkan metode
Heuristic Evaluation. Nilai severity rating menunjukkan seberapa besar kategori permasalahan yang
ditemukan.
3.5 Dasar Rekomendasi Perbaikan
Dasar melakukan rekomendasi perbaikan setelah pengujian usability dilakukan terkait
rekomendasi perbaikan tampilan dari user yaitu berdasarkan teori Eight Golden Rules oleh Ben
Sheiderman dan Chaterine Plaisant mengenai Delapan Aturan Emas dari desain antarmuka dalam
bukunya yang berjudul Designing The User Interface sebagai berikut [13].
1. Strive for consistency aturan pertama ini adalah untuk mencapai atau bertujuan dalam
mengatur konsistensi interface sebuah program.
2. Cater to universal usability aturan kedua adalah menyediakan tombol pintasan. Fungsi
menggunakan tombol pintasan adalah untuk menghemat waktu atau meningkatkan kinerja
untuk pengguna.
3. Offer informative feedback aturan ketiga adalah umpan balik sangat penting karena pengguna
akan menerima pesan dari sistem untuk memberi tahu pengguna apa yang sedang terjadi.
4. Design dialogs to yield closure aturan keempat umpan balik diperlihatkan kepada pengguna
untuk memberi tahu atau menunjukkan apa proses itu selesai atau akan ada proses selanjutnya.
5. Prevent errors aturan kelima tujuan dari aturan ini adalah untuk mencegah kesalahan terjadi
dan memberikan penanganan kesalahan sederhana atau memulihkan ketika kesalahan terjadi.
6. Permit easy reversal of actions aturan keenam pengguna diberikan fitur undo yang dapat
membatalkan semua tindakan yang telah dilakukan sehingga dapat kembali dari kesalahan.
7. Support internal locus of control aturan ketujuh ini adalah untuk memastikan bahwa
pengguna adalah orang yang bertanggung jawab atas sistem tetapi bukan sistem yang
mengendalikan.
8. Reduce short-term memory load aturan kedelapan tampilan interface harus sederhana untuk
mengurangi beban memori jangka pendek
4. Hasil dan Pembahasan

Hasil dari penelitian dalam pengujian usability pada aplikasi iBadung dengan metode Heuristic
Evaluation dapat diketahui dari tabel dibawah ini.
4.1. Hasil Pengujian Heuristic Evaluation Tahap Pertama

Berikut merupakan hasil pengujian usability dengan metode heuristic evaluation melibatkan
17 responden dapat dilihat pada tabel dibawah ini.
Tabel 2. Hasil Pengujian Pengguna Awam
Aspek Nilai Masing-masing Aspek Nilai Pembulatan

1. Visibility of system status 2.436 2 2. Match between system and the 1.800 2 real
world
3. User control and freedom 1.467 1
4. Consistency and standard 1.660 2
5. Error prevention 1.740 2
6. Recognition rather than recall 1.460 1 7. Flexibility and efficiency of use 1.267
1 8. Aesthetic and minimalist design 1.200 1 9. Help users recognize, 1.114
1 diagnose, and recover from errors
10. Help and documentation 1.180 1
Nilai Rata-rata Severity Rating 1.532 2
Tabel 2 merupakan hasil dari pengujian usability dengan metode Heuristic Evaluation dari
responden pengguna awam. Responden pengguna awam merupakan responden yang masih awam
dengan aplikasi iBadung, dan mendapatkan hasil nilai severity rating dari masingmasing aspek. Nilai
rata-rata severity rating yang diperoleh yaitu 1.532 yang dibulatkan menjadi skala 2 minor usability
problem, yang artinya perbaikan dengan prioritas rendah tetapi perbaikan tetap dapat dilakukan.
Tabel 3. Hasil Pengujian Pengguna Biasa
Aspek Nilai Masing-masing Aspek Nilai Pembulatan

1. Visibility of system status 2.109 1 2. Match between system and the 1.475 1 real
world
4. Consistency and standard 1.420 1 5. Error prevention 1.400 1
6. Recognition rather than recall 0.880 1 7. Flexibility and efficiency of use 1.133
1 8. Aesthetic and minimalist design 1.200 1 9. Help users recognize, 1.714
2 diagnose, and recover from errors
Tabel 3 merupakan hasil dari pengujian usability dengan metode Heuristic Evaluation dari
responden pengguna biasa. Responden pengguna biasa merupakan responden yang sudah pernah
menggunakan aplikasi iBadung, dan mendapatkan hasil nilai severity rating dari masing-masing aspek.
Nilai rata-rata severity rating yang diperoleh yaitu 1.383 yang dibulatkan menjadi skala 1, kategori
cosmetic problem yang artinya perbaikan dapat dilakukan jika waktu pengerjaan proyek masih
tersedia.
Tabel 4. Hasil Pengujian Pengguna Administrator
Aspek Nilai SR Masing-Masing Nilai

Aspek Pembulatan
1. Visibility of system status 0.2 0
2. Match between system and the real 0.3 0
world
6. Recognition rather than recall 1.1 1
7. Flexibility and efficiency of use 0.2 0
8. Aesthetic and minimalist design 0.0 0
9. Help users recognize, diagnose, and 0.8 1
recover from errors
Nilai rata-rata severity rating 0.5 1
Tabel 4. merupakan hasil dari pengujian usability oleh administrator iBadung dengan metode
Heuristic Evaluation dan mendapatkan hasil nilai severity rating dari masing-masing aspek. Nilai rata-
rata severity rating yang diperoleh yaitu 0.5 yang dibulatkan menjadi skala 1, kategori cosmetic
problem yang artinya perbaikan dapat dilakukan jika waktu pengerjaan proyek masih tersedia.
4.2. Hasil Rekomendasi Perbaikan

Berdasarkan masukkan responden hasil dari kuesioner sesuai dengan metode Heuristic
Evaluation yang mendapatkan rekomendasi perbaikan dari user experience dalam menggunakan
aplikasi iBadung, telah dilakukan perbaikan tampilan berdasarkan referensi dari teori Eight Golden
Rules oleh Ben Sheiderman dan Chaterine Plaisant.
A B
Gambar 2. Tampilan Logo Aplikasi iBadung
Gambar A merupakan tampilan logo aplikasi iBadung sebelum dilakukan tahapan perbaikan
tampilan, sedangkan gambar B telah dilakukan perbaikan sesuai dengan rekomendasi user hasil dari
kuesioner pada aspek visibility of system status yaitu tampilan logo kurang menarik dan nama aplikasi
harus berhubungan dengan perpustakaan. Maka dibuatkan rekomendasi perbaikan tampilan baru
dengan merubah warna tampilan menjadi lebih hidup menjadi warna biru muda dengan menambahkan
keterangan Digital Library guna untuk lebih memperjelas mengenai aplikasi iBadung.
A B
Gambar 3. Tampilan Login Aplikasi iBadung
Gambar A merupakan tampilan login aplikasi iBadung sebelum dilakukan tahapan perbaikan
tampilan, sedangkan gambar B telah dilakukan perbaikan tampilan sesuai dengan rekomendasi user dari
hasil kuesioner pada aspek visibility of system status yaitu tampilan menu login perlu diperbaiki karena
kurang jelas. Maka dibuatkan perbaikan tampilan baru dengan merubah warna tampilan dengan
perpaduan warna biru dan putih serta perbaikan menu tampilan pilihan untuk login, lupa password,
menu untuk login lewat facebook dan menu buat akun baru yang dapat membuat user akan lebih
paham dalam menggunakan aplikasi iBadung.
A B
Gambar 4. Tampilan Menu Home
Gambar A merupakan tampilan menu home pada aplikasi iBadung sebelum dilakukan tahapan
perbaikan tampilan, sedangkan gambar B telah dilakukan perbaikan sesuai dengan rekomendasi user
hasil kuesioner pada aspek visibility of system status dan aspek consistency and standard yaitu
bentuk icon harus sesuai dengan isi menu, nama menu, serta tata letak icon harus disesuaikan. Oleh
karena itu perlu dilakukan perbaikan tampilan terhadap tata letak menu untuk dirubah dan diletakkan
pada bagian bawah dan penambahan keterangan nama pada setiap menu, sedangkan icon menu home
diletakkan di bagian paling kiri halaman dengan mengubah nama menu home yang semula bernama
iBadung menjadi beranda. Menu ePustaka berubah letak posisi menjadi di pojok kanan bawah. Menu
search sebelumnya berada pada pojok kanan atas menjadi masuk ke tengah menu utama serta menu
notification yang sebelumnya ada pada menu utama berubah posisi letak pada pojok kanan atas.
A B
Gambar 5. Pop Up Exit Aplikasi iBadung
Gambar A merupakan tampilan pop up exit pada aplikasi iBadung sebelum dilakukan tahapan
perbaikan tampilan yang berisi pesan untuk klik tombol back pada handphone user jika ingin keluar
dari aplikasi, sedangkan gambar B telah dilakukan perbaikan sesuai dengan rekomendasi user dari hasil
kuesioner pada aspek user control and freedom untuk dibuatkan sebuah pop up konfirmasi jika user
ingin keluar dari aplikasi iBadung seperti yang tertera pada pada gambar B.
A B
Gambar 6. Menu Tutorial Penggunaan Aplikasi
Gambar A merupakan tampilan menu tutorial penggunaan aplikasi iBadung sebelum dilakukan
perbaikan tampilan, sedangkan gambar B telah dilakukan perbaikan tampilan sesuai dengan
rekomendasi user dari hasil kuesioner pada aspek error prevention maka dibuatkan perbaikan tampilan
baru dengan merubah pilihan konten dengan menyediakan video tutorial cara menggunakan aplikasi,
karena dapat mempermudah user mempelajari cara menggunakan aplikasi tanpa takut akan terjadi
kesalahan, dengan melihat video yang disediakan akan menjadi lebih mudah dibandingkan membaca
seperti menu sebelumnya.
4.3. Hasil Pengujian Usability Heuristic Evaluation Tahap Kedua

Berikut merupakan hasil konfirmasi tahap kedua setelah perbaikan tampilan dilakukan.
Pengujian ini ditunjukan kepada responden yang terlibat sebelumnya.
Tabel 5. Hasil Pengujian Pengguna Awam
Aspek Nilai Masing-masing Aspek Nilai

Pembulatan
2. Match between system and the 1.138 1
real world
9. Help users recognize, 0.914 1
diagnose, and recover from
errors
Tabel 5 merupakan hasil konfirmasi perbaikan tampilan yang telah dilakukan berdasarkan
rekomendasi user dari pengujian usability dengan metode Heuristic Evaluation dan mendapatkan
hasil nilai severity rating dari masing-masing aspek. Nilai rata-rata severity rating yang diperoleh yaitu
0.955 yang dibulatkan menjadi skala 1 cosmetic problem.
Tabel 6. Hasil Pengujian Pengguna Biasa
Aspek Nilai Masing-masing Aspek Nilai

Pembulatan
real world
9. Help users recognize, 1.257 1
diagnose, and recover from
errors
10. Help and documentation 1.120 `1
Tabel 6 merupakan hasil konfirmasi perbaikan tampilan yang telah dilakukan berdasarkan
rekomendasi user dari pengujian usability dengan metode Heuristic Evaluation dan mendapatkan
hasil nilai severity rating dari masing-masing aspek. Nilai rata-rata severity rating yang diperoleh yaitu
0.938 yang dibulatkan menjadi skala 1 cosmetic problem.
Tabel 7. Hasil Pengujian Pengguna Administrator
Aspek Nilai SR Masing-Masing Nilai

Aspek Pembulatan
real world
9. Help users recognize, diagnose, 0.8 1
and recover from errors
Nilai rata-rata severity rating 0.3 0
Tabel 7 merupakan hasil konfirmasi perbaikan tampilan pengujian oleh administrator dengan
metode Heuristic Evaluation dan mendapatkan hasil nilai severity rating dari masingmasing aspek.
Nilai rata-rata severity rating yang diperoleh setelah perbaikan design yaitu 0.3 yang dibulatkan
menjadi skala 0, artinya tidak ditemukan adanya permasalahan lagi pada usability tersebut.
5. Kesimpulan
Hasil pengujian pertama dengan metode Heuristic Evaluation berdasarkan responden
pengguna awam mendapatkan nilai rata-rata severity rating pada skala 2 yang berarti perbaikan
prioritas rendah tetapi perbaikan tetap dilakukan. Responden pengguna biasa mendapatkan hasil skala 1
cosmetic problem perbaikan dapat dilakukan jika waktu proyek masih tersedia. Responden pengguna
administrator mendapat hasil skala 1 cosmetic problem perbaikan dapat dilakukan jika waktu proyek
masih tersedia. Beberapa perbaikan design interface yang perlu dilakukan yaitu pada aspek yang
memiliki nilai severity rating skala 2 pada hasil pengujian pengguna awam yaitu pada aspek H1
Visibility Of System Status, H2 Match Between System And The Real World, H4 Consistency
And Standard, H5 Error Prevention. Pengujian kedua setelah perbaikan tampilan dengan metode
heuristic evaluation responden pengguna awam mendapat severity rating skala 1. Responden
pengguna biasa mendapat severity rating skala 1. Responden Administrator mendapat severity rating
0. Perbandingan nilai yang didapat dari pengujian pertama dan kedua yaitu mendapatkan perubahan
nilai severity rating yang lebih baik pada pengujian kedua.
Daftar Pustaka
[1] A. I. G. Prakasa and F. Ardiansyah, “Perancangan User Experience Aplikasi
Marketplace Paket Wisata Indonesia untuk Wisatawan Lokal,” J. Ilmu Komput. dan
AgriInformatika, 2018, doi: 10.29244/jika.5.1.51-60.
[2] L. Hardiansyah and K. Iskandar, “Perancangan User Experience Website Profil Dengan Metode
The Five Planes (Studi kasus: BP3K Kecamatan Mundu),” J. Ilm. INTECH (Information Technol.
Journal) UMUS, 2019.
[3] D. A. P. A. Widhiani, I. K. R. Arthana, and I. M. A. Pradnyana, “Analisa User Experience Pada
Sistem Informasi Akademik Universitas Pendidikan Ganesha Ditinjau dari Pengguna Mahasiswa,”
J. Pendidik. Teknol. dan Kejuru., 2018, doi: 10.23887/jptkundiksha.v15i1.13048.
[4] V. Intanny, I. Widiyastuti, M. Dolorosa, and K. Perdani, “Pengukuran Kebergunaan dan
Pengalaman Pengguna Marketplace Jogjaplaza . id dengan Metode UEQ dan USE Questionnaire,”
Pekommas, 2018.
[5] A. Kurniawan, R. I. Rokhmawati, and A. Rachmadi, “Evaluasi User Experience dengan Metode
Heuristic Evaluation dan Persona (Studi pada : Situs Web Dalang Ki Purbo Asmoro),” J.
Pengemb. Teknol. Inf. dan Ilmu Komput., 2018.
[6] M. L. Khakim, O. O. Sharif, S. Prodi, M. Bisnis, F. Ekonomi, and U. Telkom, “Analisis User
Experience Aplikasi Go-Jek Menggunakan Heart Metrics,” e-Proceeding Manag., 2018.
[7] R. Firmansyah, “Usability Testing Dengan Use Questionnaire Pada Aplikasi Sipolin
Provinsi Jawa Barat,” Swabumi, vol. 6, no. 1, pp. 1–7, 2018,
doi: 10.31294/swabumi.v6i1.3310.
[8] M. S. Hartawan, “Analisa User Interface Untuk Meningkatkan User Experience Menggunakan
Usability Testing Pada Aplikasi Android Pemesanan Test Drive Mobil,” J. Teknol. Inf. ESIT Vol.
XIV, 2019.
[9] R. F. A. Aziza, “ANALISA USABILITY DESAIN USER INTERFACE PADA WEBSITE
TOKOPEDIA MENGGUNAKAN METODE HEURISTICS EVALUATION,” J. Tekno
Kompak, 2019, doi: 10.33365/jtk.v13i1.265.
[10] A. Setiawati, A. Rahim, and D. Kisbianty, “Pengembangan dan Pengujian Aspek
Usability pada Sistem Informasi Perpustakaan ( Studi Kasus : STIKOM Dinamika Bangsa Jambi ),”
Processor, 2018.
[11] L. D. Farida, “Pengukuran User Experience Dengan Pendekatan Usability [Kasus: Website
Pariwisata Di Asia Tenggara],” Semin. Nas. Teknol. Inf. dan Multimed., 2016.
[12] B. A. Mustikaningtyas, M. C. Saputra, and A. Pinandito, “Analisis Usability Pada Website
Universitas Brawijaya Dengan Heuristic Evaluation,” J. Teknol. Inf. dan Ilmu Komput., 2016,
doi: 10.25126/jtiik.201633194.
[13] O. B. KHUAN, “STUDY OF FSKKP PORTAL BASED ON SHNEIDERMAN‟S EIGHT
GOLDEN RULES,” J. Teknol., 2013, doi: 10.11113/jt.v56.60.
Analisis Usability Aplikasi iBadung Menggunakan Heuristic Evaluation Method
Heuristic Evaluation
Pengujian usability aplikasi iBadung dengan metode Heuristic Evaluation dilakukan untuk
evaluasi design interface dari aplikasi iBadung. Pengujian ini dilakukan berdasarkan 10 aspek
menurut Nielsen (1994).
1. Visibility of system status yaitu suatu sistem dapat memberi tahu pengguna terhadap
situasi yang sedang terjadi dari feed back yang diberikan.
2. Match between system and the real world yaitu suatu sistem perlu menggunakan
konsep dan bahasa yang dengan mudah dimengerti oleh user.
3. User control and freedom yaitu pencegahan kesalahan yang mungkin dilakukan oleh
user, dan sistem perlu membuat menu untuk undo atau redo.
4. Consistency and standard yaitu konsistensi antarmuka pada sistem sesuai standar
5. Error prevention yaitu penanggulangan kesalah yang dapat terjadi
6. Recognition rather than recall yaitu komponen pada sistem yang dibuat mudah supaya
user tidak perlu mengingat-ingat proses berikutnya
7. Flexibility and efficiency of use yaitu suatu sistem yang bersifat efisien serta fleksibel
membuat user cepat dalam melakukan tugas
8. Aesthetic and minimalist design yaitu desain yang aesthetic tidak mengganggu
pengguna dalam menggunakan suatu sistem
9. Help users recognize, diagnose, and recover from errors yaitu pesan error dengan
bahasa yang sederhana dan memberikan solusi kepada user
10. Help and documentation yaitu menyediakan fitur bantuan dan dokumentasi untuk
membantu user dalam menggunakan sistem
Pengujian usability dilakukan dengan membuat kuesioner beberapa pertanyaan yang

terkait dengan tampilan aplikasi iBadung disesuaikan dengan 10 aspek heuristic evaluation.
Kemudian dilakukan pengujian kepada responden yang terlibat seperti pengguna awam yaitu
responden yang belum pernah menggunakan aplikasi, pengguna biasa yaitu responden yang
sudah pernah menggunakan aplikasi, dan pengguna administrator yaitu responden admin yang
mengelola dashboard iBadung. Setelah pengujian usability selesai dilakukan, tahapan
selanjutnya yaitu merekap kuesioner berdasarkan perhitungan metode heuristic evaluation.
Dasar Rekomendasi Perbaikan

Dasar melakukan rekomendasi perbaikan setelah pengujian usability dilakukan terkait
rekomendasi perbaikan tampilan dari user yaitu berdasarkan teori Eight Golden Rules oleh
Ben Sheiderman dan Chaterine Plaisant mengenai Delapan Aturan Emas dari desain
antarmuka dalam bukunya yang berjudul Designing The User Interface sebagai berikut [13].
1. Strive for consistency aturan pertama ini adalah untuk mencapai atau bertujuan dalam
mengatur konsistensi interface sebuah program.
2. Cater to universal usability aturan kedua adalah menyediakan tombol pintasan. Fungsi
menggunakan tombol pintasan adalah untuk menghemat waktu atau meningkatkan
kinerja untuk pengguna.
3. Offer informative feedback aturan ketiga adalah umpan balik sangat penting karena
pengguna akan menerima pesan dari sistem untuk memberi tahu pengguna apa yang
sedang terjadi.
4. Design dialogs to yield closure aturan keempat umpan balik diperlihatkan kepada
pengguna untuk memberi tahu atau menunjukkan apa proses itu selesai atau akan ada
proses selanjutnya.
5. Prevent errors aturan kelima tujuan dari aturan ini adalah untuk mencegah kesalahan
terjadi dan memberikan penanganan kesalahan sederhana atau memulihkan ketika
kesalahan terjadi.
6. Permit easy reversal of actions aturan keenam pengguna diberikan fitur undo yang
dapat membatalkan semua tindakan yang telah dilakukan sehingga dapat kembali
dari kesalahan.
7. Support internal locus of control aturan ketujuh ini adalah untuk memastikan bahwa
pengguna adalah orang yang bertanggung jawab atas sistem tetapi bukan sistem yang
mengendalikan.
8. Reduce short-term memory load aturan kedelapan tampilan interface harus sederhana
untuk mengurangi beban memori jangka pendek
Hasil pengujian pertama dengan metode Heuristic Evaluation berdasarkan responden

pengguna awam mendapatkan nilai rata-rata severity rating pada skala 2 yang berarti
perbaikan prioritas rendah tetapi perbaikan tetap dilakukan. Responden pengguna biasa
mendapatkan hasil skala 1 cosmetic problem perbaikan dapat dilakukan jika waktu proyek
masih tersedia. Responden pengguna administrator mendapat hasil skala 1 cosmetic problem
perbaikan dapat dilakukan jika waktu proyek masih tersedia. Beberapa perbaikan design
interface yang perlu dilakukan yaitu pada aspek yang memiliki nilai severity rating skala 2
pada hasil pengujian pengguna awam yaitu pada aspek H1 Visibility Of System Status, H2
Match Between System And The Real World, H4 Consistency And Standard, H5 Error
Prevention. Pengujian kedua setelah perbaikan tampilan dengan metode heuristic evaluation
responden pengguna awam mendapat severity rating skala 1. Responden pengguna biasa
mendapat severity rating skala 1. Responden Administrator mendapat severity rating 0.
Perbandingan nilai yang didapat dari pengujian pertama dan kedua yaitu mendapatkan
perubahan nilai severity rating yang lebih baik pada pengujian kedua.
Evaluasi Aspek Usability pada Aplikasi Simalu
Menggunakan Metode Usability Testing
Ni Luh Putri Ari Wedayanti, Ni Kadek Ayu Wirdiani, I Ketut Adi Purnawan
Program Studi Teknologi Informasi, Fakultas Teknik, Universitas Udayana
Bukit Jimbaran, Bali, Indonesia, telp. (0361) 701806
e-mail: niluhputri60@gmail.com, ayu_wirdi@yahoo.com, adipurnawan@unud.ac.id
Abstrak
Tingkat usability dapat mempengaruhi kemudahan penggunaan suatu aplikasi termasuk aplikasi
mobile, sehingga penting untuk dilakukanya evaluasi. Aplikasi Simalu merupakan sebuah aplikasi
lokal Bali yang bergerak dalam bidang kebersihan lingkungan. Simalu tergolong aplikasi baru karena
dirilis pada awal bulan Januari tahun 2018 dan belum pernah dilakukan evaluasi usability
sebelumnya. Evaluasi usability dilakukan untuk meningkatkan User Experience pengguna, sehingga
aplikasi dapat diterima dan digunakan lebih mudah oleh pengguna. Metode yang digunakan untuk
melakukan evaluasi yaitu usability testing dengan teknik Retrospective Think Aloud dan Performance
Measurement. Hasil yang didapatkan adalah aplikasi Simalu memiliki kualitas yang belum dapat
dikatakan efektif, efisien dan memenuhi kepuasan pengguna, sehingga perbaikan desain juga
dilakukan agar aplikasi lebih baik lagi untuk memenuhi harapan pengguna.
Kata kunci: Aplikasi Simalu, Evaluasi Usability, User Experience, Usability Testing, Retrospective
Think Aloud, Performance Measurement.
Abstract
The usability level can influence how easy the use of an application including a
mobile application, so it is important to perform an evaluation. The Simalu application is
Bali’s local application that focuses on environmental hygiene. Simalu is classified as a new
application as it was released in early January 2018 and has never been evaluated before.
Usability evaluation is employed in aim to improve user experience so that the application
can be accepted and used more easily by users. The methods applied for the evaluation are
usability testing with Retrospective Think Aloud and Performance Measurement techniques.
The result shows that the Simalu application has not yet possessed effective and efficient
qualities and it also has not yet fulfilled users’ satisfaction, so improvements in the design are
also required so that the application can better meet the users’ expectations.
Keywords: Simalu Application, Usability Evaluation, User Experience, Usability Testing,

Retrospective Think Aloud, Performance Measurement.
1. Pendahuluan
Teknologi informasi di era globalisasi saat ini berkembang dengan pesat sehingga memudahkan
masyarakat dalam melakukan aktifitasnya [1]. Smartphone merupakan salah satu contoh
perkembangan teknologi informasi yang saat ini sedang berkembang pesat [2]. Smartphone
memiliki berbagai macam kemampuan dalam menjalankan berbagai aktivitas dengan mudah untuk
mendukung produktifitas [3]. Hasil dari survei Asosiasi Penyelenggara Jasa Internet Indonesia pada
tahun 2017, menyatakan bahwa persentase kepemilikian smartphone mencapai 50,08% dari jumlah
populasi penduduk di Indonesia sebesar 262 juta orang. Perkembangan smartphone yang sedang
berkembang pesat juga mendorong para developer berlomba-lomba untuk memanfaatkan situasi ini
dengan menciptakan aplikasiaplikasi baru yang dapat bermanfaat bagi para penggunanya. Salah satu
hal yang harus diperhatikan dalam proses pengembangan aplikasi baru yaitu aspek usability [4].
Penelitian sebelumnya yang berjudul A Conceptual Framework for Measuring the Quality
Aspects of Mobile Learning menyatakan bahwa masih banyak aplikasi mobile di pasaran yang sulit
untuk digunakan dan dipelajari oleh penggunanya dikarenakan tingkat usability yang rendah.
Rendahnya usability dari suatu sistem dapat mempengaruhi keputusan pengguna untuk
menggunakan aplikasi tersebut secara terus menurus atau dapat beralih menggunakan aplikasi lain
[5].
Contoh aplikasi mobile baru yang sedang berkembang adalah aplikasi Simalu. Aplikasi Simalu adalah
sebuah aplikasi lokal Bali yang bergerak dalam bidang sosial mengenai kebersihan lingkungan yang
dirilis pada awal bulan Januari tahun 2018. Aplikasi Simalu tergolong aplikasi baru yang masih
memiliki permasalahan berkaitan dengan aspek usability. Permasalahan yang terjadi yaitu pengguna
mengeluhkan sering terjadi eror saat menggunakan aplikasi, fitur yang ditawarkan tidak berfungsi
dengan baik, terdapat penempatan fitur yang tidak sesuai dan icon yang digunakan dinilai ambigu
sehingga dapat membuat pengguna baru merasa bingung dan memiliki persepsi yang berbeda saat
menggunakan aplikasi. Pengujian usability terhadap aplikasi juga belum pernah dilakukan
sebelumnya. Pengujian suatu sistem yang baru atau sedang dijalankan perlu dilakukan agar sistem
berjalan sesuai dengan fungsionalitas yang diharapkan serta kesalahan maupun kekurangan dapat
dideteksi dan diperbaiki sesegera mungkin [6]. Permasalahan berdasarkan yang telah dibahas, agar
aplikasi dapat diterima dan digunakan dengan mudah oleh pengguna, maka perlu dilakukan
Pengujian usability.
Pengujian dilakukan dengan metode Usability Testing menggunakan standar ISO 924111 yang
mengukur variabel efektifitas, efisiensi, dan kepuasan pengguna dalam menggunakan aplikasi Simalu.
Teknik yang digunakan yaitu Retrospective Think Aloud (RTA) dan Performance Measurement.
Retrospective Think Aloud digunakan karena dapat mengukur kepuasaan pengguna saat
menggunakan suatu sistem, Performance Measurement digunakan karena dapat mengukur
efektifitas dan efisiensi.
2. Metodologi Penelitian
Metodologi penelitian berisi tahapan atau gambaran dari penelitian yang dilakukan. Metodelogi
bermanfaat pada setiap penelitian untuk mempermudah mengerjakan penelitian yang dibuat.
Metodelogi penelitian yang dibahas meliputi alur penelitian, data, responden penelitian, dan dasar
pengembangan rekomendasi perbaikan yang digunakan didalam melakukan penelitian.
2.1 Alur Penelitian

Alur penelitian merupakan tahapan atau urutan yang sudah ditetapkan dalam melakukan penelitian.
Tahapan penelitian disesuaikan dengan tahapan pada analisis dan evaluasi usability dengan metode
usability Testing pada aplikasi Simalu. Alur yang dilakukan dalam proses penelitian ini dapat dilihat
pada Gambar 1.
Gambar 1. Alur Penelitian
Alur yang dilakukan dalam proses penelitian meliputi mengidenfikasi masalah, merumuskan masalah,
menentukan tujuan dan manfaat, melakukan studi literatur dengan mencari refrensi seperti
penelitian terdahulu, menentukan metode pengujian, menentukan responden, melakukan
pengumpulan data untuk mendapatkan hasil pengujian, melakukan pengujian, melakukan
pengolahan data, menganalisa hasil pengujian, membuat rekomendasi perbaikan, dan selanjutnya
menarik kesimpulan.
2.2 Data
Data diperlukan untuk mendukung keberhasilan dari evaluasi yang dihasilkan. Faktor yang perlu
diperhatikan dalam melaksanakan penelitian ini yaitu sumber data, jenis data, metode pengumpulan
data dan pengolahan data. a. Sumber Data
Sumber data yang digunakan dalam penelitian ini terdiri dari data primer dan sekunder. Data primer
adalah hasil pengujian dari responden terhadap aplikasi Simalu menggunakan metode usability
Testing. Data sekunder yaitu bersumber pada studi literatur yang meliputi penelitian terdahulu,
jurnal ilmiah, buku, e-book, dan website resmi.
b. Jenis Data
Jenis data yang digunakan dalam penelitian ini terdiri dari data kuantitatif dan kualitatif. Data
kuantitatif yaitu hasil dari pengujian usability Testing dengan teknik Performance Measurement.
Data kualitatif yaitu hasil dari pengujian usability Testing dengan teknik Retrospective Think
Aloud (RTA).
c. Metode Pengumpulan Data

Metode pengumpulan data yang digunakan dalam melakukan penelitian adalah observasi, task
scenario dan wawancara. Observasi yaitu melakukan pengamatan serta melihat dari dekat
bagaimana aplikasi digunakan oleh para responden sehingga peneliti dapat mengenalisa
permasalahan-permasalahan yang muncul [7]. Pemberian task scenario yaitu merupakan
sekumpulan tugas yang harus dikerjakan oleh responden saat menggunakan aplikasi yang akan
dievaluasi, serta melakukan wawancara untuk pengumpulan data secara langsung guna memperoleh
kedalaman informasi yang dibutuhan.
d. Pengolahan Data
Data yang telah dikumpulkan pada tahap pengumpulan data selanjutnya diolah. Data yang telah
diolah kemudian dilakukan analisis hasil. Pegolahan data dalam penelitan evaluasi aspek usability
untuk meningkatkan user experience pada aplikasi Simalu adalah sebagai berikut.
a) Performance Measurement
Teknik Performance Measurement digunakan untuk mengukur bagaimana keefektifitasan dan
keefisiensian aplikasi Simalu saat digunakan oleh pengguna. Pengukuran efektifitas dapat dihitung
berdasarkan kesuksesan dan kegagalan task yang telah dikerjakan oleh setiap responden. Efektifitas
dihitung dengan menetapkan angka biner “1” jika responden berhasil mengerjakan task dan “0” jika
responden gagal. Rumus yang digunakan untuk menghitung tingkat dari keberhasilan responden
dapat dilihat pada persamaan (1), sedangkan Rumus yang digunakan untuk menghitung tingkat dari
kegagalan responden dapat dilihat pada persamaan (2).
Berhasil= Jumlah tugas yang berhasil dilakukan ×

100% (1)
Jumlah total tugas
Gagal= Jumlah tugas yang gagal dilakukan ×

100% (2)
Jumlah total tugas
Rumus untuk menghitung tingkat dari keberhasilan responden yang digunakan yaitu banyaknya
tugas yang berhasil dikerjakan dibagi banyaknya total tugas yang diberikan yang hasilnya dikalikan
100%. Rumus untuk menghitung tingkat dari kegagalan responden yang digunakan yaitu banyaknya
tugas yang gagal dikerjakan dibagi banyaknya total tugas yang diberikan yang hasilnya dikalikan
100%. Hasil perhitungan dari task berhasil dan gagal nantinya menentukan apakah aplikasi Simalu
sudah efektif untuk digunakan, apabila nilai rata-rata task yang dikerjakan berhasil mencapai 100 %
maka aplikasi Simalu dapat dikatakan sudah efektif.
Pengolahan data untuk dimensi efisiensi dapat dilakukan dengan memperhitungkan rata-rata waktu
responden dalam mengerjakan setiap task yang diberikan dengan satuan detik. Waktu pengerjaan
mulai dihitung setelah peneliti selesai membacakan task scenario yang diberikan sampai responden
telah selesai mengerjakan task. Hasil perhitungan yang didapat nantinya menunjukkan task mana
saja yang membutuhkan waktu paling lama untuk diselesaikan berdasarkan rata-rata waktu untuk
mengerjakan setiap task dari seluruh responden yang ada [8].
b) Retrospective Think Aloud

Data Retrospective Think Aloud diperoleh dengan melakukan wawancara kepada responden saat
melihat ulang hasil video rekaman. Wawancara dilakukan untuk mengetahui pengalaman dan
pendapat responden selama menggunakan aplikasi Simalu. Pengolahan data dilakukan dengan
megumpulkan hasil verbalisasi pemikiran responden. Verbalisasi tersebut meliputi kesan pesan
ataupun kesulitan yang diutarakan responden beserta saran yang diberikan saat sesi pengujian
selesai dilaksanakan.
2.3 Responden Pengujian

Penelitian ini melibatkan sebanyak 10 orang responden. Pengelompokan responden dibagi menjadi
dua kategori yaitu, lima responden kategori pemula adalah masyarakat umum yang termasuk
generasi X (1965-1980) dan tidak terbiasa menggunakan aplikasi mobile, dan lima responden
kategori trampil adalah android developer dan mahasiswa perguruan tinggi yang termasuk generasi
millennials (1981-2000) dan terbiasa menggunakan aplikasi mobile. Pembagian kategori dilakukan
untuk melihat bagimana penilaian aplikasi dari sisi dua kategori pengguna yang berbeda.
2.4 Dasar Pengembangan Rekomendasi Perbaikian

Dasar penentuan perbaikan yang digunakan untuk memberikan rekomendasi perbaikan aplikasi yaitu
berdasarkan pengujian dengan teknik Retrospective Think Aloud. Hasil verbalisasi responden
berupa kritik dan saran yang diberikan untuk dijadikan bahan rekomendasi perbaikan. Literatur
tambahan juga digunakan sebagai panduan dalam melakukan perbaikan aplikasi Simalu yaitu
menggunakan teori The Golden Rules of User Interface Design oleh Ben Shneiderman dan
Catherine Plaisant dalam bukunya yang berjudul Designing the User Interface: Strategies for
Effective Human Computer Interaction.
3. Kajian Pustaka
Kajian pustaka memuat semua pustaka yang dijadikan acuan pada penelitian. Sumbersumber yang
digunakan dalam penelitian diperoleh dari buku, internet, maupun jurnal. Kajian pustaka yang
dijadikan landasan dalam melakukan penelitian yaitu user experience, usability, metode
evaluasi usability, usability testing.
3.1 User Experience

User Experience merupakan bentuk interaksi antara manusia dan komputer (Human Computer
Interaction) yang meliputi website, aplikasi mobile, dan aplikasi desktop. User Experience
berhubungan dengan persepsi atau respon seseorang yang dihasilkan pada saat menggunakan suatu
produk [9]. User Experience terdiri dari 4 elemen yang saling tergantung diantaranya adalah
Branding, Usability, Functionality, dan Content.
3.2 Usability
Usability merupakan bagian dari User Experience. Usability diambil dari kata usable yang berarti
tingkatan kualitas dari suatu produk yang mudah digunakan, mudah dipelajari dan mendorong
pengguna untuk menggunakannya sebagai alat bantu dalam menyelesaikan tugas [10]. Usability
dapat digunakan untuk mengukur kualitas penggalaman pengguna saat berinteraksi dengan sebuah
produk seperti website atau aplikasi.
3.3 Metode Evaluasi Usability

Metode evaluasi usability yang berfokus pada pengguna dijelaskan oleh Panayiotis Zaphiris dalam
bukunya yang berjudul Human Computer Interaction Research in Web Design and Evaluation
antara lain meliputi Usability Testing, Usability Inspection, Usability Inquiry, dan Usability Model
/ Metricsbased. Empat metode Usability yang ada tiap-tiap metode masih memiliki beberapa teknik
yang dapat digunakan untuk melakukan evaluasi usability.
3.4 Usability Testing usability Testing adalah salah satu kategori metode dalam evaluasi
usability yang digunkan untuk mengevaluasi sebuah produk dengan mengujinya langsung pada
pengguna. Tujuannya adalah untuk mengidentifikai masalah uji ketergunaan seperti, mengumpulkan
data kualitatif dan kuantitatif, mengukur kemudahan, mengukur efisiensi dan menentukan kepuasan
pengguna dengan produk (usability.gov). 10 teknik dalam metode Usability Testing yang dapat
digunakan peneliti untuk melakukan Evaluasi usability meliputi Thinking-Aloud Protocol,
Shadowing Method, Co-Discovery Learning, Coaching Method, Question-Asking Protocol,
Teaching Method, Restrospective Testing, Performance Measurement, Remote Testing, dan
Eye Tracking.
4. Hasil dan Pembahasan

Bagian ini menampilkan hasil dari proses pengolahan data pada penelitian. Pengolahan data di dapat
dari pengujian dengan menggunakan teknik Performance Measurement dan Retrospective Think
Aloud. Data yang telah diolah kemudian dilakukan analisis hasil.
4.1 Hasil Pengujian

Hasil pengujian pada bagian ini menampilkan hasil dari proses pengolahan data yang di dapat. Hasil
pengolahan data berasal dari pengujian dengan menggunakan teknik Performance Measurement
dan Retrospective Think Aloud. Teknik Performance Measurement dan Retrospective Think
Aloud menghasilkan tingkat efektifitas, efesiensi dan kepuasan pengguna dalam menggunaka
aplikasi.
a. Performance Measurement
Bagian ini menampilkan hasil pengujian menggunakan teknik Performance Measurement.
Pengujian dengan menggunakan teknik Performance Measurement digunakan untuk mengukur
variabel efektifitas dan efisiensi. Hasil dari proses pengolahan data efektifitas dan efisiensi yang telah
di dapat dari pengujian yang telah dilaksanakan adalah sebagai berikut. a) Efektifitas
Pengukuran efektifitas dihitung dari rata-rata nilai berdasarkan kesuksesan dan kegagalan dari 29
task yang dikerjakan oleh 10 responden. Responden telah ditentukan dengan dua kategori yaitu
trampil dan pemula. Rata-rata nilai dari task yang berhasil dikerjakan oleh responden kategori
trampil dapat dilihat pada Tabel 1.
Tabel 1. Hasil Data Task Berhasil Responden Kategori Trampil

Jumlah Task
Kode
yang Berhasil Total Tugas Berhasil Rata-rata
Responden
dikerjakan
R1 27 29 93,10
R2 23 29 79,31
R3 23 29 79,31 79%
R4 19 29 65,51
R5 22 29 75,86
Tabel 1 merupakan hasil rata-rata nilai dari task yang berhasil dikerjakan oleh 5 responden kategori
trampil. Rata-rata nilai yang dihasilkan adalah sebesar 79%. Rata-rata nilai dari task yang gagal
dikerjakan oleh responden kategori trampil dapat dilihat pada Tabel 2.
Tabel 2. Data Hasil Task Gagal Responden Kategori Trampil

Jumlah Task
Kode
Responden
dikerjakan
R1 2 29 6,89
R2 6 29 20,68
R3 6 29 20,68 21%
R4 10 29 34,48
R5 7 29 24,13
Tabel 2 merupakan hasil rata-rata nilai dari task yang gagal dikerjakan oleh 5 responden kategori
trampil. Rata-rata nilai yang dihasilkan adalah sebesar 21%. Rata-rata nilai dari task yang berhasil
dikerjakan oleh responden kategori pemula dapat dilihat pada Tabel 3.
Tabel 3. Hasil Data Task Berhasil Responden Kategori Pemula

Jumlah Task
Kode
Responden
dikerjakan
R6 20 29 68,96
R7 19 29 65,51
R8 17 29 58,62 64%
R9 17 29 58,62
R10 20 29 68,96
pemula. Rata-rata nilai yang dihasilkan adalah sebesar 64%. Rata-rata nilai dari task yang gagal
dikerjakan oleh responden kategori pemula dapat dilihat pada Tabel 4.
Tabel 4. Hasil Data Task Gagal Responden Kategori Pemula

Jumlah Task
Kode
Responden
dikerjakan
R6 9 29 31,03
R7 10 29 34,48
R8 12 29 41,37 36%
R9 12 29 41,37
R10 9 29 31,03
pemula. Rata-rata nilai yang dihasilkan adalah sebesar 64%.
b) Efesiensi
Pengukuran efisiensi dilakukan dengan memperhitungkan rata-rata waktu dengan satuan detik dalam
mengerjakan 29 task yang diberikan oleh 10 responden. Responden telah ditentukan dengan dua
kategori yaitu trampil dan pemula. Hasil data lama waktu pengerjaan berdasarkan responden
kategori trampil dapat dilihat pada Tabel 5.
Tabel 5. Pengolahan Data Efisiensi Responden Kategori Trampil

Task Kode Responden Rata-
Scenario R1 R2 R3 R4 R5 rata
TS1 7 6 6 6 7 6.4
TS2 46 46 56 63 90 60.2
TS3 33 81 136 121 157 105.6
TS4 22 20 28 19 38 25.4
TS5 41 36 54 56 48 47
TS6 9 8 14 10 8 9.8
TS7 20 20 23 35 71 33.8
TS8 6 7 7 8 7 7
TS9 8 12 16 22 14 14.4
TS10 23 13 30 19 18 20.6
TS11 13 11 15 17 21 15.4
TS12 17 19 18 21 17 18.4
TS13 20 27 38 18 18 24.2
TS14 14 15 21 15 13 15.6
TS15 8 6 19 36 8 15.4
TS16 17 57 27 96 28 45
TS17 11 13 24 34 17 19.8
TS18 8 6 12 11 6 8.6
TS19 18 21 18 37 20 22.8
TS20 7 6 9 6 7 7
TS21 15 14 25 27 20 20.2
TS22 37 64 84 67 99 70.2
TS23 8 7 14 11 10 10
TS24 8 7 10 11 7 8.6
TS25 25 42 21 42 45 35
TS26 9 25 18 28 29 21.8
TS27 50 45 46 53 43 47.4
TS28 39 97 204 133 90 112.6
TS29 15 10 20 16 17 15.6
Rata-rata 30
Tabel 5 merupakan hasil pengolahan data untuk mengukur variabel efisiensi. Hasil yang terdapat
pada Tabel 5 dapat diketahui bahwa rata-rata waktu untuk mengerjakan setiap task bagi responden
kategori trampil adalah 30 detik. Hasil data lama waktu pengerjaan berdasarkan responden kategori
pemula dapat dilihat pada Tabel 6.
Tabel 6. Pengolahan Data Efisiensi Responden Kategori Pemula

Task Kode Responden Rata-
Scenario R6 R7 R8 R9 R10 rata
TS1 8 7 6 5 6 6.4
TS2 203 237 262 207 201 222
TS3 30 41 68 85 50 54.8
TS4 64 50 31 52 24 44.2
TS5 212 129 113 130 114 139.6
TS6 19 18 14 12 14 15.4
TS7 220 162 243 134 122 176.2
TS8 29 13 7 7 6 12.4
TS9 25 16 21 14 14 18
TS10 32 21 25 18 24 24
TS11 27 23 31 15 15 22.2
TS12 27 26 29 22 22 25.2
TS13 55 90 29 46 52 54.4
TS14 15 21 19 14 12 16.2
TS15 39 22 16 29 32 27.6
TS16 19 31 38 54 28 34
TS17 45 58 33 39 14 37.8
TS18 20 10 9 18 9 13.2
TS19 96 59 34 35 29 50.6
TS20 6 17 11 9 7 10
TS21 14 21 26 12 29 20.4
TS22 133 110 137 120 81 116.2
TS23 22 15 10 10 9 13.2
TS24 9 16 9 10 12 11.2
TS25 43 70 69 68 39 57.8
TS26 92 61 41 27 43 52.8
TS27 85 75 61 58 72 70.2
TS28 150 174 136 104 135 139.8
TS29 85 36 21 15 19 35.2
Rata-rata 52
Tabel 6 merupakan hasil pengolahan data dengan teknik Performance Measurement. Pengolahan
data yang dilakaukan untuk mengukur variabel efisiensi. Hasil yang terdapat pada Tabel 6 dapat
diketahui bahwa rata-rata waktu untuk mengerjakan setiap task bagi responden kategori pemula
adalah 30 detik.
b. Retrospective Think Aloud

Bagian ini menampilkan hasil pengujian menggunakan teknik Retrospective Think Aloud. Pengujian
dengan menggunakan teknik Retrospective Think Aloud digunakan untuk mengukur variabel
kepuasan pengguna saat menggunakan aplikasi Simalu. Hasil pengujian menggunakan teknik
Retrospective Think Aloud dengan responden kategori trampil dapat dilihat pada Tabel 7.
Tabel 7. Hasil Data Retrospective Think Aloud Kategori Trampil

KR Masalah/Kesulitan yang dialami Kritik dan Saran yang diberikan
R1 1. Pengguna tidak mengetahui 1. Berikan tambahan informasi

pada fitur setor langsung dapat pemberitahuan verifikasi secara
terhubung ke google maps untuk langsung.
mencari rute bank sampah yang 2. Sebaiknya ketika akun belum
dipilih. terverifikasi pengguna tidak dapat
2. Kesulitan mencari fitur FAQ. login terlebih dahulu.
3.
3. Instagram Simalu tidak dapat Verifikasi akun sebaiknya lewat sms
dengan memberikan kode unik untuk
dibuka. 4. memperudah pengguna.
4. Kesulitan menemukan slider Sebaiknya ditambahkan fitur edit foto.
agar dapat terhubung ke
website Simalu.
Tabel 7 merupakan hasil data dari responden kategori trampil. Hasil data diperoleh dengan
menggunakan teknik Retrospective Think Aloud. Hasil data pengujian menggunakan teknik
Retrospective Think Aloud dengan responden kategori pemula dapat dilihat pada Tabel 8 sebagai
berikut.
Tabel 8. Hasil Data Retrospective Think Aloud Kategori Pemula

KR Masalah/Kesulitan yang dialami Kritik dan Saran yang diberikan
1. Salah melakukan daftar akun. 1. Sebaiknya fitur untuk mendafatar

2. Kesulitan mencari fitur ubah kata lebih ditonjolkan
sandi. 2. Peringatan untuk mendaftar ketika
3. Kesulitan mencari alamat yang belum mepunyai akun fontnya lebih
sesuai pada fitur jemput sampah. diperbesar.
3.
4. Kesulitan mencari detail riwayat Sebaiknya berikan
R6 transaksi. tambahan peringatan agar
5. Kesulitan menemukan bank 4. pengguna memverifikasi akun
sampah terdekat. terlebih dahulu.
Sebaiknya verifikasi akun
jangan melalui email tolong
buat agar lebih mudah melakukan
verifikasi.
Tabel 8 merupakan hasil data dari responden kategori pemula. Hasil data diperoleh dengan
menggunakan teknik Retrospective Think Aloud.
4.2 Analisis Hasil Pengujian

Bagian ini menjelaskan analisis hasil pengujian yang telah dilakukan dengan menggunakan teknik
Performance Measurement dan Retrospective Think Aloud. Analisis dilakukan untuk memberi
penjelasan lebih dalam mengenai maksud dari hasil data yang telah diperoleh untuk mendapatkan
kesimpulan. a. Performance Measurement
Hasil pengujian dengan teknik Performance Measurement akan dilakukan analisis hasil. Hasil yang
didapat adalah berupa tingkat efektifitas dan efisiensi pada aplikasi. Hasil analisis dari data
Performance Measurement yang telah diperoleh adalah sebagai berikut.
a) Efektifitas
Hasil berdasarkan pengolahan data yang telah di peroleh dari responden kategori trampil
menunjukan bahwa rata-rata responden berhasil mengerjakan task yaitu sebesar 79%, sedangkan
rata-rata responden gagal mengerjakan task yaitu sebesar 21%. Adanya kegagalan yang dialami
responden menunjukan bahwa aplikasi Simalu memiliki kualitas yang belum dapat dikatakan efektif
karena responden masih belum dapat sepenuhnya berhasil menyelesaikan task yang diberikan. Hasil
dari pengolahan data menunjukan bahwa kegagalan terjadi pada saat responden mengerjakan task
2, 3, 5, 15, 17, 22, 25, 26, 27 dan 28.
Hasil berdasarkan pengolahan data yang telah di peroleh dari responden kategori pemula
menunjukan bahwa rata-rata responden berhasil mengerjakan task yaitu sebesar 64%, sedangkan
rata-rata responden gagal mengerjakan task yaitu sebesar 36%. Adanya kegagalan yang dialami
responden menunjukan bahwa aplikasi Simalu memiliki kualitas yang belum dapat dikatakan efektif
karena responden masih belum dapat sepenuhnya berhasil menyelesaikan task yang diberikan. Hasil
dari pengolahan data menunjukan bahwa kegagalan yang terjadi pada saat responden mengerjakan
task 2, 3, 5, 7, 15, 16, 17, 22, 25, 26, 27, 28, dan 29. Kegagalan yang dialami oleh responden dapat
dijadikan acuan untuk memperbaiki aplikasi Simalu agar kedepannya meminimalisir kegagalan yang
akan dialami responden saat menggunakan aplikasi.
b) Efesiensi
Hasil berdasarkan pengolahan data efisiensi yang telah diperoleh dari responden kategori trampil
rata-rata waktu untuk mengerjakan setiap task adalah 30 detik, berdasarkan rata-rata yang diperoleh
menunjukan bahwa task 2, 3, 5, 22, 25, 27, dan 28 merupakan task yang membutuhkan waktu paling
lama untuk diselesaikan dan mempunyai nilai efisiensi yang tinggi jika dibandingkan dengan nilai
efisiensi untuk task lainnya, sehingga untuk task 2, 3, 5, 22, 25, 27, dan 28 masih belum memiliki
kualitas yang dapat dikatakan efisien saat digunakan oleh responden kategori trampil karena
responden membutuhkan waktu yang lama untuk menyelesaikan task tersebut.
Hasil berdasarkan pengolahan data efisiensi yang telah diperoleh dari responden kategori pemula
rata-rata waktu untuk mengerjakan setiap task adalah 52 detik, berdasarkan rata-rata yang diperoleh
menunjukan bahwa task 2, 5, 7, 13, 22, 25, 27, dan 28 merupakan task yang membutuhkan waktu
paling lama untuk diselesaikan dan mempunyai nilai efisiensi yang tinggi jika dibandingkan dengan
nilai efisiensi untuk task lainnya, sehingga untuk task 2, 3, 4, 5, 7, 19, 22, 25, 27, dan 28 masih belum
memiliki kualitas yang dapat dikatakan efisien saat digunakan oleh responden kategori trampil
karena responden membutuhkan waktu yang lama untuk menyelesaikan task tersebut.
b. Retrospective Think Aloud

Hasil berdasarkan analisis rekapan kesulitan ataupun masalah yang dihadapi oleh responden dapat
disimpulkan bahwa didapati responden kategori trampil mengalami kesulitan maupun masalah pada
12 fitur saat menggunakan aplikasi Simalu, sedangkan responden kategori pemula mengalami
kesulitan maupun masalah pada 13 fitur. Adanya masalah atau kesulitan yang ditemukan membuat
responden baik kategori trampil maupun pemula menjadi merasa kurang puas saat menggunakan
aplikasi Simalu, ini dikarenakan fitur-fitur yang ada pada aplikasi sulit ditemukan oleh responden
karena baik dari tata letak yang sulit ditemukan maupun icon yang dinilai kurang sesuai dengan
isinya dan ambigu.
Hasil berdasarkan analisis rekapan saran dari responden dapat diketahui bahwa dari responden
kategori trampil memberikan saran pada 25 fitur yang ada pada aplikasi Simalu, sedangkan
responden kategori pemula memberikan saran pada 20 fitur. Saran yang diberikan oleh responden
akan dijadikan sebagai bahan rekomendasi untuk memperbaiki aplikasi agar lebih baik lagi dan
memenuhi kepuasan pengguna saat menggunakan aplikasi Simalu.
4.3 Rekomendasi Perbaikan

Rekomendasi yang diberikan berupa rancangan mockup. Dasar yang digunakan untuk membuat
rekomendasi perbaikan menggunakan teori Eight Golden Rules oleh Benn Shneiderman dan hasil
pengujian usability yang telah dilakukan. Desain perbaikan aplikasi Simalu yang telah dibuat akan
ditampilkan sebagai berikut.
a. Halaman Masuk dan Daftar

SEBELUM SESUDAH
Gambar 2. Perbandingan Tampilan Halaman Masuk dan Daftar
Gambar 2 merupakan perbandingan tampilan halaman masuk dan daftar. Tampilan sebelah kiri
merupakan tampilan sebelum dilakukan perubahan dan tampilan kanan sesudah dilakukan
perubahan. Perbaikan yang dilakukan yaitu dengan melakukan penyederhanaan tampilan.
b. Halaman Beranda
SEBELUM SESUDAH
Gambar 3. Perbandingan Tampilan Halaman Beranda
Gambar 3 merupakan perbandingan tampilan halaman utama menu beranda. Tampilan sebelah kiri
perubahan. Perbaikan yang dilakukan yaitu dengan melakukan perbuahan bahasa atau istilah serta
penyederhanaan dan penyesuaian tata letak fitur.
c. Halaman Riwayat
SEBELUM SESUDAH
Gambar 5. Perbandingan Tampilan Halaman Riwayat
Gambar 5 merupakan perbandingan tampilan halaman utama menu riwayat. Tampilan sebelah kiri
perubahan. Perbaikan yang dilakukan yaitu dengan melakukan penyederhanaan fitur serta
melakukan perubahan bahasa atau istilah.
d. Halaman Akun
SEBELUM SESUDAH
Gambar 6. Perbandingan Tampilan Halaman Akun
Gambar 6 merupakan perbandingan tampilan halaman utama menu akun. Tampilan sebelah kiri
perubahan. Perbaikan yang dilakukan yaitu dengan melakukan perubahan bahasa atau istilah serta
penyederhanaan dan penyesuaian tata letak fitur.
5. Kesimpulan
Penerapan metode Usability Testing dilakukan dengan cara mengukur bagaimana keefektifitasan,
keefisiensian, dan kepuasan pengguna dalam menggunakan aplikasi Simalu. Efektifitas dapat dihitung
berdasarkan keberhasilan dan kegagalan task yang telah dikerjakan oleh responden. Efisiensi dapat
dihitung berdasarkan lama waktu pengerjaan yang dilakukan oleh responden dalam menyelesaikan
task yang diberikan. Kepuasan didapat dengan cara merekam aktifitas responden ketika sedang
mengerjakan sejumlah task yang diberikan. Video hasil rekaman yang ada diputarkan kembali untuk
mendorong ingatan responden mengenai apa yang telah dikerjakan sehingga, dapat memberikan
informasi kesalahan, keluhan maupun saran perbaikan. Hasil berdasarkan pengujian menunjukkan
bahwa aplikasi Simalu memiliki kualitas yang belum dapat dikatakan efektif, efisien dan memenuhi
kepuasan pengguna. Aplikasi Simalu belum dapat memberikan pemahaman yang maksimal melalui
tampilan yang ada baik kepada responden kategori tampil maupun pemula. Hal tersebut
menyebabkan responden mengalami kesulitan dalam mencapai tujuannya untuk mencari informasi
yang diinginkan dan membuat kinerja responden juga menjadi tidak maksimal dalam menggunakan
aplikasi. Perbaikan rekomendasi desain yaitu dengan melakukan penambahan, penyederhanaan dan
penyesuaian tata letak fitur serta konsistensi penggunaan bahasa dan istilah. Rekomendasi yang
telah dibuat diharapkan dapat menjadikan aplikasi Simalu menjadi efektif dan efisien saat digunakan
agar aplikasi lebih baik lagi untuk memenuhi kepuasan pengguna.
Daftar Pustaka
[1] M. G. Arsawiguna, A. A. K. Agung, C. Wiranatha, dan K. S. Wibawa, “Rancang Bangun Aplikasi
Game Tajen Berbasis Android menggunakan Artificial Intelligence,” Lontar Komputer, vol. 6,
no. 2, hal. 84–95, 2015.
[2] R. H. Y. Fung, D. K. W. Chiu, E. H. T. Ko, K. K. W. Ho, dan P. Lo, “Heuristic Usability Evaluation of
University of Hong Kong Libraries’ Mobile Website,” Journal of Academic Librarianship,
vol. 42, no. 5, hal. 581–594, 2016.
[3] I. P. P. Andika, P. A. Bayupati, dan N. K. A. Wirdiani, “Rancang Bangun Aplikasi
Pendeteksi Tipe dan Nilai Resistor Berbasis Android,” Lontar Komputer, vol. 6, no. 1, hal.
529–540, 2015.
[4] S. R. Wardhana, D. Purwitasari, dan S. Rochimah, “Analisis Sentimen pada Review Pengguna
Aplikasi Mobile untuk Evaluasi Faktor Usability,” Jurnal Sistem dan Informatika, vol. 11, no.
1, hal. 128–136, 2016.
[5] H. Hoehle dan V. Venkatesh, “Mobile Application Usability: Conceptualization and Instrument
Development,” MIS Quarterly, vol. 39, no. 2, hal. 435–472, 2015.
[6] M. Yudha, P. Mahendra, I. N. Piarsa, dan D. P. Githa, “Geographic Information System of
Public Complaint Testing Based on Mobile Web (Public Complaint),” Lontar Komputer, vol. 9,
no. 2, hal. 95–103, 2018.
[7] A. A. K. Oka Sudana, I. W. G. Mayun Kepakisan, dan N. K. Dwi Rusjayanthi, “Implementation of
Tree Structure and Recursive Algorithm for Balinese Traditional Snack Recipe on Android
Based Application,” International Journal of Interactive Mobile Technologies, vol. 10, no.
4, hal. 43–47, 2016.
[8] D. H. Syaifullah, M. A. Puspasari, dan A. Hanifah, “Analisis User Experience pada Penggunaan
Aplikasi Mobile Jakarta Smart City,” Prosiding SNTI dan SATELIT 2017, vol. 2017, no. 10,
hal. 217–232, 2017.
[9] R. A. Murdiono, H. Tolle, dan A. P. Kharisma, “Evaluasi User Experience pada Aplikasi Mobile
Penjualan Tiket Online,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer,
vol. 2, no. 5, hal. 2078–2085, 2018.
[10] M. D. Fahmi, H. M. Az-zahra, dan R. K. Dewi, “Perbaikan Usability Aplikasi Pemesanan
Tiket Bioskop Menggunakan Metode Usability Testing dan USE Questionnaire,” Jurnal
Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 2, no. 12, hal. 6653–6660,
2018.
Evaluasi Aspek Usability pada Aplikasi Simalu Menggunakan
Metode Usability Testing
Tingkat usability dapat mempengaruhi kemudahan penggunaan suatu aplikasi termasuk
aplikasi mobile, sehingga penting untuk dilakukanya evaluasi. Aplikasi Simalu merupakan sebuah
aplikasi local di Bali yang bergerak dalam bidang kebersihan lingkungan. Simalu tergolong aplikasi
baru karena dirilis pada awal bulan Januari tahun 2018 dan belum pernah dilakukan evaluasi usability
sebelumnya. Evaluasi usability dilakukan untuk meningkatkan User Experience pengguna, sehingga
aplikasi dapat diterima dan digunakan lebih mudah oleh pengguna. Metode yang digunakan untuk
melakukan evaluasi yaitu usability testing dengan teknik Retrospective Think Aloud dan Performance
Measurement. Hasil yang didapatkan adalah aplikasi Simalu memiliki kualitas yang belum dapat
dikatakan efektif, efisien dan memenuhi kepuasan pengguna, sehingga perbaikan desain juga
dilakukan agar aplikasi lebih baik lagi untuk memenuhi harapan pengguna.
Metode evaluasi usability yang berfokus pada pengguna dijelaskan oleh Panayiotis
Zaphiris dalam bukunya yang berjudul Human Computer Interaction Research in Web Design and
Evaluation antara lain meliputi Usability Testing, Usability Inspection, Usability Inquiry, dan
Usability Model / Metricsbased. Empat metode Usability yang ada tiap-tiap metode masih memiliki
beberapa teknik yang dapat digunakan untuk melakukan evaluasi usability.
Usability Testing usability Testing adalah salah satu kategori metode dalam evaluasi usability
yang digunakan untuk mengevaluasi sebuah produk dengan mengujinya langsung pada pengguna.
a) Hasil berdasarkan pengolahan data efisiensi yang telah diperoleh dari responden kategori
trampil rata-rata waktu untuk mengerjakan setiap task adalah 30 detik, berdasarkan rata-rata
yang diperoleh menunjukan bahwa task 2, 3, 5, 22, 25, 27, dan 28 merupakan task yang
membutuhkan waktu paling lama untuk diselesaikan
b) Hasil berdasarkan analisis rekapan kesulitan ataupun masalah yang dihadapi oleh responden
dapat disimpulkan bahwa didapati responden kategori trampil mengalami kesulitan maupun
masalah pada 12 fitur saat menggunakan aplikasi Simalu, sedangkan responden kategori
pemula mengalami kesulitan maupun masalah pada 13 fitur, dikarenakan fitur-fitur yang ada
pada aplikasi sulit ditemukan oleh responden karena baik dari tata letak yang sulit ditemukan
maupun icon yang dinilai kurang sesuai dengan isinya dan ambigu.
c) Hasil berdasarkan analisis rekapan saran dari responden dapat diketahui bahwa dari responden
kategori trampil memberikan saran pada 25 fitur yang ada pada aplikasi Simalu, sedangkan
responden kategori pemula memberikan saran pada 20 fitur. Saran yang diberikan oleh
responden akan dijadikan sebagai bahan rekomendasi untuk memperbaiki aplikasi agar lebih
baik lagi dan memenuhi kepuasan pengguna saat menggunakan aplikasi Simalu. Penerapan
metode Usability Testing dilakukan dengan cara mengukur bagaimana keefektifitasan,
keefisiensian, dan kepuasan pengguna dalam menggunakan aplikasi Simalu.
Rekomendasi Perbaikan
a) Pada Halaman Masuk dan Daftar, dilakukan penyederhanaan tampilan
b) Pada halaman Beranda, perbaikan yang dilakukan yaitu perubahan bahasa atau istilah
serta penyederhanaan dan penyesuaian tata letak fitur.
c) Pada Halaman Riwayat, perbaikan yang dilakukan yaitu penyederhanaan fitur dan
tampilan serta melakukan perubahan bahasa atau istilah.
d) Pada Halaman Akun, Perbaikan yang dilakukan yaitu perubahan bahasa atau istilah
serta penyederhanaan dan penyesuaian tata letak fitur.
Efektifitas dapat dihitung berdasarkan keberhasilan dan kegagalan task yang telah dikerjakan
oleh responden. Efisiensi dapat dihitung berdasarkan lama waktu pengerjaan yang dilakukan oleh
responden dalam menyelesaikan task yang diberikan. Kepuasan didapat dengan cara merekam aktifitas
responden ketika sedang mengerjakan sejumlah task yang diberikan. Video hasil rekaman yang ada
diputarkan kembali untuk mendorong ingatan responden mengenai apa yang telah dikerjakan
sehingga, dapat memberikan informasi kesalahan, keluhan maupun saran perbaikan. Hasil berdasarkan
pengujian menunjukkan bahwa aplikasi Simalu memiliki kualitas yang belum dapat dikatakan efektif,
efisien dan memenuhi kepuasan pengguna.
Aplikasi Simalu belum dapat memberikan pemahaman yang maksimal melalui tampilan yang
ada baik kepada responden kategori tampil maupun pemula. Hal tersebut menyebabkanresponden
mengalami kesulitan dalam mencapai tujuannya untuk mencari informasi yang diinginkan dan
membuat kinerja responden juga menjadi tidak maksimal dalam menggunakan aplikasi. Perbaikan
rekomendasi desain yaitu dengan melakukan penambahan, penyederhanaan dan penyesuaian tata letak
fitur serta konsistensi penggunaan bahasa dan istilah. Rekomendasi yang telah dibuat diharapkan dapat
menjadikan aplikasi Simalu menjadi efektif dan efisien saat digunakan agar aplikasi lebih baik lagi
untuk memenuhi kepuasan pengguna.
PERBEDAAN
1. Cognitive Walkthrough (CW)
CW merupakan metode inspeksi yang berfokus pada kemudahan desain untuk

dipelajari melalui penelusuran (Wharton dkk, 1994). Metode ini dilakukan oleh expert
evaluator dengan membutuhkan tugas - tugas yang representatif, daftar lengkap urutan
penyelesaian tugas, dan gambaran asumsi latar belakang calon pengguna. Dalam melakukan
walkthrough pada setiap action sequence, expert evaluator perlu menjawab empat buah
pertanyaan sebagai berikut (Wharton dkk, 1994) :
 Akankah pengguna mencoba untuk mendapatkan efek yang benar?

 Akankah pengguna mengetahui tersedianya tindakan yang tepat?
 Akankah pengguna mengasosiasikan tindakan yang tepat terhadap efek yang
ingin didapatkan?
 Jika tindakan yang benar dilakukan, akankah pengguna melihat adanya
progress untuk mencapai solusi?
Keluaran dari metode CW adalah berupa list

masalah dan potensi masalah usability pada
tahap tertentu di dalam siklus interaksi
pengguna (Jaspers, 2009).
2. Heuristic Evaluation (HE)
HE merupakan metode inspeksi yang melibatkan ahli usability untuk menilai apakah
elemen - elemen yang ada di suatu sistem mengikuti prinsip - prinsip usability (Nielsen &
Mack, 1994). Metode ini dilakukan oleh masing - masing evaluator yang melakukan inspeksi
terhadap suatu antarmuka secara individu. Komunikasi antar evaluator hanya diperbolehkan
setelah evaluasi selesai dilakukan. Peraturan ini diterapkan untuk memastikan hasil evaluasi
adalah hasil yang independent dan tidak bias. Selama pelaksanaan evaluasi, evaluator akan
memeriksa antarmuka dalam beberapa kali, melakukan inspeksi terhadap bermacam elemen
interaktif, dan membandingkannya dengan prinsip usability yang ada (Holzinger, 2005).
Heuristik yang dikemukakan oleh Nielsen (Nielsen & Mack, 1994) merupakan salah satu
prinsip usability yang sering digunakan untuk melakukan inspeksi antarmuka suatu produk.
Dalam konteks touchscreen - based mobile device, dengan mengembangkan metode heuristik
oleh Nielsen, Inostroza dkk (2012)
3. Review Based Evaluation
Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer

menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata. Beberapa
diantaranya dari domain khusus ke umum, tetapi kebanyakan berhubungan dengan isu generic
dan teraplikasi pada berbagai situasi. Misalnya pada usability dari tipe menu yang berbeda,
pemanggilan nama perintah dan pemilihan icon. Hal ini sangat berkaitan erat dengan
kebiasaan masyarakat dan budaya yang berkembang saat ini. Contohlah tren sekarang dimana
banyak grafis icon dan tombol menggunakan effect aqua, hal ini menandakan bahwa budaya
dan kebiasaan sangat erat kaitannya dalam merancang usability.
Dalam kenyataannya hasil eksperimen ini tidak dapat dipastikan mempertahankan keadaan
yang tetap. Evaluator harus memilih data secara hati-hati, menunjuk rancangan ekperimen
yang dipilih, subyek masyarakat yang digunakan, analisa pelaksanaan dan asumsi yang
dibuat. Misalnya pengujian eksperimen, usability dari jenis system ‘bantu’ umum yang
menggunakan subyek baru tidak menyediakan evaluasi yang tepat dari system ‘bantu’ yang
dirancang bagi user ahli.

Tugas 2 Kelompok 1 EAP

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Tugas 2 Kelompok 1 EAP

Diunggah oleh

Hak Cipta:

Format Tersedia

JURNAL YANG BERHUBUNGAN DENGAN 3 METODE

PROGRAM STUDI SISTEM INFORMASI

Priyo Raharjo1, Wisnu Ananta Kusuma2, Heru Sukoco3

Gambar 1 Persentase Responden Jumlah Waktu yang Diperlukan untuk

Gambar 2 Persentase Skenario Tugas yang

Jumlah Kesalahan yang Dilakukan

Tabel 3 Masalah dan Rekomendasi Perbaikan Antarmuka Situs Web

3.2 User Interface

3.4 Heuristic Evaluation

poin usability, bernilai 1/0

Tabel 1. Skala Nilai Severity Rating

Severity Rating Keterangan

2 Kategori minor usability problem, permasalahan kegunaan kecil,

4. Hasil dan Pembahasan

4.1. Hasil Pengujian Heuristic Evaluation Tahap Pertama

Tabel 2. Hasil Pengujian Pengguna Awam

Aspek Nilai Masing-masing Aspek Nilai Pembulatan

Tabel 3. Hasil Pengujian Pengguna Biasa

Aspek Nilai Masing-masing Aspek Nilai Pembulatan

Tabel 4. Hasil Pengujian Pengguna Administrator

Aspek Nilai SR Masing-Masing Nilai

4.2. Hasil Rekomendasi Perbaikan

4.3. Hasil Pengujian Usability Heuristic Evaluation Tahap Kedua

Tabel 5. Hasil Pengujian Pengguna Awam

Aspek Nilai Masing-masing Aspek Nilai

Tabel 6. Hasil Pengujian Pengguna Biasa

Aspek Nilai Masing-masing Aspek Nilai

Tabel 7. Hasil Pengujian Pengguna Administrator

Aspek Nilai SR Masing-Masing Nilai

Pengujian usability dilakukan dengan membuat kuesioner beberapa pertanyaan yang

Dasar Rekomendasi Perbaikan

Hasil pengujian pertama dengan metode Heuristic Evaluation berdasarkan responden

Keywords: Simalu Application, Usability Evaluation, User Experience, Usability Testing,

2.1 Alur Penelitian

Gambar 1. Alur Penelitian

c. Metode Pengumpulan Data

Berhasil= Jumlah tugas yang berhasil dilakukan ×

Gagal= Jumlah tugas yang gagal dilakukan ×

b) Retrospective Think Aloud

2.3 Responden Pengujian

2.4 Dasar Pengembangan Rekomendasi Perbaikian

3.1 User Experience

3.3 Metode Evaluasi Usability

4. Hasil dan Pembahasan

4.1 Hasil Pengujian

Tabel 1. Hasil Data Task Berhasil Responden Kategori Trampil

Tabel 2. Data Hasil Task Gagal Responden Kategori Trampil

Tabel 3. Hasil Data Task Berhasil Responden Kategori Pemula

Tabel 4. Hasil Data Task Gagal Responden Kategori Pemula

Tabel 5. Pengolahan Data Efisiensi Responden Kategori Trampil

Tabel 6. Pengolahan Data Efisiensi Responden Kategori Pemula

b. Retrospective Think Aloud

Tabel 7. Hasil Data Retrospective Think Aloud Kategori Trampil

R1 1. Pengguna tidak mengetahui 1. Berikan tambahan informasi

Tabel 8. Hasil Data Retrospective Think Aloud Kategori Pemula

1. Salah melakukan daftar akun. 1. Sebaiknya fitur untuk mendafatar

4.2 Analisis Hasil Pengujian

b. Retrospective Think Aloud

4.3 Rekomendasi Perbaikan

a. Halaman Masuk dan Daftar

1. Cognitive Walkthrough (CW)

CW merupakan metode inspeksi yang berfokus pada kemudahan desain untuk

 Akankah pengguna mencoba untuk mendapatkan efek yang benar?

Keluaran dari metode CW adalah berupa list