Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 5, No. 2, Februari 2021, hlm. 514-522 http://j-ptiik.ub.ac.id

Analisis Perbandingan Tiga Metode Evaluasi Usability Dalam Mencari

Permasalahan Usability (Studi Kasus: Aplikasi Situbondo Tera’)
Farid Khatibul Umam1, Fatwa Ramdani2, Satrio Hadi Wijoyo3

Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: 1farid.kh@student.ub.ac.id, 2fatwaramdani@ub.ac.id, 3satriohadi@ub.ac.id

Abstrak
Situbondo Tera’ merupakan aplikasi portal Pemerintahan Kabupaten Situbondo yang bisa diakses oleh
masyarakat. Berdasarkan percobaan peneliti dan wawancara kepada pengembang, aplikasi belum
berjalan optimal dan diketahui bahwa aplikasi belum pernah dilakukan evaluasi usability. Penelitian
ini menggunakan 3 metode yaitu Usability Testing, Cognitive Walkthrough, dan Heuristic Evaluation
untuk menemukan permasalahan usability dan melihat perbandingan masalah yang didapat dari setiap
metode. Penelitian menggunakan responden berjumlah 10 orang pada Usability Testing, 10 orang pada
Cognitive Walkthrough, dan 3 expert pada Heuristic Evaluation. Hasil analisis ditemukan total 41
permasalahan. Metode Usability Testing menemukan 27% dari total permasalahan dengan rata-rata
temuan 2,4 masalah per responden. Metode Cognitive Walkthrough menemukan 29% dari total
permasalahan dengan rata-rata temuan 3,7 masalah per responden. Metode Heuristic Evaluation
menemukan 44% dari total permasalahan dengan rata-rata temuan 8 masalah per evaluator. Ditemukan
8 permasalahan yang sama dan hampir semuanya muncul pada 3 metode sekaligus sehingga perlu
mendapatkan perhatian khusus. Metode Usability Testing mendapatkan nilai rata-rata effectiveness
95%, efficiency 88,32%, dan satisfaction 5,76 dari skala 7. Pada metode Cognitive Walkthrough
permasalahan yang sering muncul bersifat ringan dan terbanyak berasal dari jenis masalah Text and
Icon (T) dan User (U). Metode Heuristic Evaluation menemukan permasalahan yang tersebar pada
seluruh 9 prinsip heuristik.
Kata kunci: Usability, Usability Testing, Cognitive Walkthrough, Heuristic Evaluation

Abstract
Situbondo Tera' is a portal application of the Situbondo Regency Government that can be accessed by
the public. Based on the researcher's experiment and interviews with the developer the application is
still not running optimally and has never been evaluated. This study uses 3 methods, those are
Usability Testing, Cognitive Walkthrough, and Heuristic Evaluation to find usability problems and see
the comparison of the problems obtained from each method. The study used 10 respondents on
Usability Testing, 10 respondents on Cognitive Walkthrough, and 3 experts on the Heuristic
Evaluation method. From the analysis it is known that total of 41 problems were found. The Usability
Testing method found 27% of the total problems with an average of 2.4 problems per respondent. The
Cognitive Walkthrough method found 29% of the total problems with an average finding of 3.7
problems per respondent. Meanwhile, the Heuristic Evaluation method found 44% of the total
problems with an average finding of 8 problems per evaluator. There were 8 similar problems found
and almost all of them appeared in 3 methods at once so that it needed special attention. The results of
the Usability Testing method got an average value of 95% effectiveness, 88.32% efficiency, and the
satisfaction gets 5.76 from scale 1 to 7. In the Cognitive Walkthrough method, it was known that the
problems that often arise were minor and most types of the problems come from Text and Icon (T) and
User (U). The Heuristic Evaluation method found problems that were spread across all 9 heuristic
principles.
Keywords: Usability, Usability Testing, Cognitive Walkthrough, Heuristic Evaluation

Fakultas Ilmu Komputer

Universitas Brawijaya 514
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
1. PENDAHULUAN
Pemerintah Kabupaten Situbondo mulai
menerapkan e-government di Kabupaten
Situdondo dengan konsep Situbondo Smart
Society untuk meningkatkan kualitas layanan
publik dan mempercepat pembangunan daerah
yang berkelanjutan (Peraturan Bupati
Situbondo, 2017). Untuk mewujudkan hal itu,
Dinas Komunikasi Informatika dan Persandian
Kabupaten Situbondo meluncurkan aplikasi
mobile Situbondo Tera’ pada tanggal 11 Mei
2018 yang tersedia di Playstrore dan saat ini
telah diunduh lebih dari 1000 kali.
Situbondo Tera’ merupakan aplikasi portal
pemerintah Situbondo untuk agar masyarakat
umum mudah untuk mengakses layanan
informasi maupun layanan aplikasi. Situbondo
Tera’ merupakan kependekan dari model
layanan yang diterapkan yaitu Terpadu, Efektif,
Reaktif, dan Akuntanble. Saat ini aplikasi dapat
diunduh dan digunakan di perangkat mobile
android. Terdapat banyak fitur diantaranya
daftar tempat wisata, berita, layanan kesehatan,
call center, dan portal dokumen.
Dalam praktiknya aplikasi ini masih belum
maksimal karena berdasarkan pengalaman
peniliti sebagai pengguna baru, terdapat
beberapa masalah pada aspek usability seperti
aplikasi terkesan sulit untuk digunakan, banyak
terjadi error saat menggunakannya, dan fitur
yang tidak berfungsi sehingga aplikasi belum
bisa memenuhi kebutuhan pengguna.
Peneliti melakukan wawancara kepada
pihak Dinas Komunikasi Informasi dan
Persandian Kabupaten Situbondo selaku
pengembang aplikasi diketahui bahwa aplikasi
Situbondo Tera’ belum pernah dilakukan
evaluasi usability sehingga tidak diketahui
apakah aplikasi ini sudah sesuai dengan apa
yang masyarakat butuhkan. Umpan balik dari
pengguna juga rendah karena pengembang
hanya mendapatkan masukan dari ulasan di
playstore sehingga tidak memiliki pandangan
apakah perlu dilakukan perbaikan atau tidak.
Pihak pengembang juga tidak memiliki sumber
daya khusus dalam aspek usability yang
menyebabkan pengembangan aplikasi ini
berjalan dengan lambat.
Berdasarkan permasalahan diatas, peneliti
memutuskan untuk melakukan penelitian
mengenai usability pada aplikasi Situbondo
Tera’ pada platform android untuk dilakukan
pengujian usability menggunakan 3 metode
evaluasi usability untuk menggali permasalahan
Fakultas Ilmu Komputer, Universitas Brawijaya
515
usability pada aplikasi Situbondo Tera’.
Penggunaan tiga metode evaluasi usability
dipilih agar dapat diketahui permasalahan yang
muncul dalam tiap metode dan seberapa dalam
tiap metode menggali permasalahan dalam
sebuah sistem.
Metode yang digunakan adalah Usability
Testing, Cognitive Walkthrough, dan Heuristic
Evaluation. metode Usability Testing dan
Cognitive Walkthrough dipilih karena
melibatkan pengguna sebagai respondennya
untuk diketahui masalah-masalah nyata yang
dirasakan oleh penggunanya. Sedangkan
metode Heuristic Evaluation dipilih karena
melibatkan para expert yang dapat memberikan
pendapat ahli usability. Dengan dilakukannya
penelitiaan ini, diharapakan permasalahan yang
muncul pada aplikasi Situbondo Tera’ dapat
diidentifikasi sehingga menghasilkan
rekomendasi perbaikan yang dapat digunakan
oleh pengembang aplikasi untuk meningkatkan
kualitas aplikasinya.
2. LANDASAN KEPUSTAKAAN
2.1 Kajian Pustaka
Perbandingan metode usability oleh
(Hendrawan, 2017) membandingkan tiga
metode evaluasi usability pada perangkat
smartphone menggunakan think-aloud
evaluation, cognitive walkthrough dan heuristic
evaluation. Penelitian ini dilakukan untuk
memberikan rekomendasi metode evaluasi yang
paling efektif dalam menemukan permasalahan
usability pada smartphone. Perbandingan
efektivitas tiap metode dilakukan dengan cara
menghiitung validitas, ketelitian, evektifitas dan
severity ratings pada saat dilakukan pengujian
usability. Hasil dari perbandingan diketahui
bahwa metode heuristic evaluation memiliki
nilai terbaik untuk dilakukan pada smartphone
dibandingkan 2 metode lainnya. Namun metode
cognitive walkthrough dan think-aloud
evaluation masih terdapat peluang untuk
dikembangkan khusus untuk evaluasi usability
pada smartphone agar nilai yang didapat lebih
tepat dan akurat.
Penelitian yang dilakukan oleh (Walji, et
al., 2014) pada sistem catatan kesehatan
elektronik menggunakan perbandingan tiga
metode yaitu user testing, wawancara semi-
terstruktur, dan survei untuk mencari
permasalahan usability. Hasilnya ditemukan
187 masalah yang 54% didapat dari user
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 516

testing, 28% dari wawancara semi-terstruktur,

dan 18% dari servei. Kemudian permasalahan
dikategorikan ke 24 tema dalam 3 kategori.
User tesing mencakup 83% dari tema masalah,
diikuti oleh wawancara semi-terstruktur sebesar
63%, lalu survei 29%.
Penelitian yang dilakukan oleh (Sya’roni,
2018) membandingkan hasil evaluasi usability
pada Web FILKOM APPS menggunakan
metode Heuristic Evaluation dan Think Aloud.
Hasil dari metode Heuristic Evaluation didapat
terdapat permasalahan pada antarmuka seperti
menu yang tidak berfungsi sebagaimana
mestinya, dan tidak konsistennya bahasa yang
digunakan. Sedangkan pada metode Think
Aloud ditemukan kendala saat melakukan tugas
dan permasalahan yang berhubungan dengan
tampilan antarmuka, menu yang belum
berfungsi dan bahasa yang tidak konsisten.
Penelitian yang dilakukan oleh (Hayat,
2020) membandingkan empat metode evaluasi
usability pada aplikasi mobile Gapura UB. Gambar 1. Tampilan halaman awal Situbondo
Metode yang digunakan adalah Usability Tera’
Testing, wawancara, survei, dan Heuristic
Evaluation. Dari hasil penelitian didapat total 2.3 Usability
44 permasalahan usability. 45% masalah Usability adalah ukuran kualitas untuk
ditemukan melalui Heuristic Evaluation, 24% memberikan penilaian pada antarmuka sistem
dari servei, 17% wawancara, dan 14% dari atau situs web mengenai seberapa mudahnya
Usability Testing. Kemudian persamalahan digunakan oleh pengguna dengan pertimbangan
yang muncul dikategorikan menggunakan kriteria tertentu (Nielsen, 2012). Menurut
Usability Taxonomy Problem (UPT) kedalam 5 (Nielsen, 2012) usability terdiri dari 5 matriks
kategori. (Hayat, 2020) mengungkapkan yaitu: learnability, efficiency, memorability,
bahwaa tiap metode saling melengkapi dan errors, satisfaction.
memberikan wawasan unik sehingga
merekomendasikan untuk menggunakan multi- 2.4 Usability testing
metode dalam mengevaluasi usability.
Usability testing adalah metode untuk
mengambil data saat dilakukan observasi
2.2 Situbondo Tera’
representatiff dari pengguna pada saat
Situbondo Tera’ merupakan aplikasi portal melakukan tugas-tugas realistik di sebuah
pemerintah Situbondo untuk agar masyarakat produk (Rubin & Chisnell, 2008). Ada berbagai
umum mudah untuk mengakses layanan tahapan dalam usability testing yaitu membuat
informasi maupun layanan aplikasi. Situbondo kerangka uji, mempersiapkan lingkungan
Tera’ merupakan kependekan dari model pengujian, memilih responden pengujian,
layanan yang diterapkan yaitu Terpadu, Efektif, mempersiapkan kebutuhan pengujian,
Reaktif, dan Akuntanble. Saat ini aplikasi dapat melakukan sesi pengujian, melakukan
didownload dan digunakan di perangkat mobile wawancara pada responden dan menganalisis
android. Terdapat banyak fitur diantaranya data hasil pengujian. Dari sudut pandang
daftar tempat wisata, berita, layanan kesehatan, beberapa perusahaan, usability testing bertujuan
call center, dan portal dokumen. untuk meningkatkan profitabilitas dari produk.
Menurut (Mifsud, 2015) standar ISO/IEC 9126-
4 dapat digunakan untuk mengukur tingkat
usability suatu sistem. Pengukuran dibagi
menjadi tiga bagian matriks yaitu: effectiveness,
efficiency, dan satisfaction.

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 517

2.5 Cognitive Walkthrough semakin banyak jumlah responden, maka

semakin banyak jumlah minimal dan rata-rata
Metode Cognitive Walkthrough
permasalah yang ditemukan. Namun angkat
memberikan skenario tugas kepada pengguna
tersebut tidak naik secara signifikan saat jumlah
dengan teknik trial and error sebagai
responden lebih dari sepuluh orang. Maka dari
penggambaran simulasi proses kognitif
itu dalam skripsi ini akan digunakan 10 orang
pengguna pada saat melaksanakan tugas
sebagai responden evaluasi.
tertentu. Metode ini akan menilai apakah
Tabel 2. Perbandingan jumlah responden dan
pengetahuan pengguna sesuai atau tidak dengan masalah yang ditemukan
petunjuk penggunaan sistem yang mengarahkan Number of Minimum % Mean % Found
pada tindakan dan tujuan yang benar (Bligard & Participants Found
Osvalder, 2013). 5 55 85,55
10 82 94,686
15 90 97,050
2.6 Heuristic Evaluation 20 95 98,4
Heuristic Evaluation adalah metode 30 97 99,0
40 98 99,6
evaluasi usability yang dilakukan oleh para 50 98 100
expert untuk memeriksa dan menilai kesesuaian
antarmuka sistem berdasarkan prinsip heuristic
(Nielsen, 1994). Seiring berjalannya waktu, 3. METODOLOGI PENELITIAN
terdapat beberapa penelitian yang berfokus
pada aplikasi mobile, salah satunya dilakukan
oleh (Monroy, 2015) dengan menghasilkan 9
prinsip heuristik.

2.7 Severity Ratings

Severity ratings merupakan penilaian oleh
evaluator yang diberikan sesuai dengan tingkat
keseriuasan dari masalah-masalah yang
ditemukan untuk diperbaiki dulu sebelum
akhirnya digunakan (Nielsen, 1994). Menurut
(Monroy, 2015) terdapat lima tingkatan dalam
severity ratings yaitu:
Tabel 1. Tingkat Severity Ratings
Severity
Penjelasan
Ratings
1 Cosmetic, tidak memengaruhi usability,
perlu diperbaiki apabila memungkinkan
2 Minor, permasalahan yang dapat dihadapi
oleh pengguna, memiliki prioritas rendah
untuk diperbaiki Gambar 2. Metodologi Penelitian
3 Medium, pengguna merasakan adanya
sedikit gangguan namun dengan cepat 3.1. Studi Literatur
mengatasinya
4 Major, pengguna mengalami kesulitan, Pada bagian Studi Literatur peneliti
namun masih bisa menyelesaikannya. mencari referensi dari penelitian terdahulu
Permasalahan ini perlu dilakukan untuk dijadikan sumber bahan penelitian yang
perbaikan
5 Catastrophic, pengguna tidak mampu
dapat berupa buku, jurnal maupun artikel pada
untuk bekerja, prioritas tinggi untuk website.
memperbaiki permasalahan
3.2. Penentuan Responden
Responden yang digunakan berjumlah 10
2.8 Penentuan Responden orang untuk metode Usability Testing dan
Menurut (Six & Macefield, 2016) penetuan Cognitive Walkthrough dengan kriteria warga
jumlah responden harus dilihat tingkat Situbondo, belum pernah menggunakan aplikasi
penemuan masalah secara minimal dan rata- Situbondo Tera’, dan menggunakan smartphone
rata. Dalam gambar 2.3 dapat dilihat bahwa android. Sedangkan Heuristic Evaluation

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 518

berjumlah 3 orang yang ahli bidang desain atau UT01 100%

perancangan antarmuka pengguna. UT02 100%
UT03 83,3%
UT04 83,3%
3.3 Persiapan Testing UT05 100%
UT06 100%
Pada metode usability testing dan UT07 100%
cognitive walkthrough dibuat task scenario UT08 100%
yang merupakan serangkaian tugas-tugas UT09 83,3%
UT10 100%
yang harus dikerjakan oleh responden. Rata-rata 95%
Sedangkan pada metode heuristic
evaluation, para evaluator diberikan lembar Rata-rata nilai effectiveness sebesar 95%
berisi checklist 9 prinsip heuristik versi dan sudah melebihi standar yang digunakan
Monroy. Ketika evalautor menemukan oleh (Sauro, 2011) yakni sebesar 78%.
masalah makan permasalahan dicatat dan
disesuaikan dengan prinsip mana yang 4.1.2 Efficiency
dilanggar. Komponen untuk menghitung tingkat
efisiensi dari setiap tugas yang dikerjakan oleh
3.4 Analisis Data responden.
Analisis data dilakukan oleh peneliti untuk Tabel 4. Time Based Efficiency
Task Time Based Efficiency
melihat hasil pengujian dari masing-masing
T1 0,012 goals/sec
metode evaluasi usability. Selanjutnya data
T2 0,079 goals/sec
akan dianalisis dan dibandingkan permasalahan T3 0,03 goals/sec
yang muncul pada setiap metode pengujian. T4 0,058 goals/sec
T5 0,082 goals/sec
3.5 Rekomendasi T6 0,153 goals/sec
Rekomendasi perbaikan akan diberikan
oleh peneliti untuk mengatasi masalah yang Perhitungan didapat dari persamaan
𝒏𝒊𝒋
∑𝑹 𝑵
𝒋=𝟏 ∑𝒊=𝟏
muncul dan dirasakan pengguna selama masa 𝒕𝒊𝒋
𝑻𝒊𝒎𝒆 𝑩𝒂𝒔𝒆𝒅 𝑬𝒇𝒇𝒊𝒄𝒊𝒆𝒏𝒄𝒚 = (1)
penggunaan aplikasi. Hasil rekomendasi ini 𝑵𝑹

dapat digunakan oleh Dinas Komunikasi

Informasi dan Persandian Kabupaten Situbondo Komponen ini menghitung tingkat
untuk meningkatkan kualitas aplikasi Situbondo efficiency dari responden dalam menyelesaikan
Tera’. task.
Tabel 5. Overall Relative Efficiency
3.6 Kesimpulan dan Saran Task Overall Relative Efficiency
T1 100 %
Setelah rangkaian uji usability selesai dan T2 42,51 %
hasil analisa data telah dilakukan maka peneliti T3 87,43%
akan menarik kesimpulan berdasarkan data T4 100 %
yang telah diolah serta memberikan T5 100 %
rekomendasi perbaikan untuk kedepannya. T6 100 %
Rata-rata 88,32 %
4. HASIL EVALUASI
Perhitungan didapat dari persamaan
𝑶𝒗𝒆𝒓𝒂𝒍𝒍 𝑹𝒆𝒍𝒂𝒕𝒊𝒗𝒆 𝑬𝒇𝒇𝒊𝒄𝒊𝒆𝒏𝒄𝒚 =
4.1 Usability Testing ∑𝑹 𝑵
𝒋=𝟏 ∑𝒊=𝟏 𝒏𝒊𝒋 𝒕𝒊𝒋
∑𝑹 𝑵 𝑿 𝟏𝟎𝟎% (2)
Usability testing mengukur nilai 𝒋=𝟏 ∑𝒊=𝟏 𝒕𝒊𝒋

effectiveness, efficiency, dan satisfaction.

4.1.3 Satisfaction
4.1.1 Effectiveness Komponen ini digunakan untuk
Pengukuran dihitung menggunakan menghitung tingkat kepuasan pengguna dalam
completion rate dan hasilnya dapat dilihat pada menyelesaikan tugas-tugas yang diberikan.
tabel 3 dibawah ini.
Tabel 3. Tingkat effectiveness Tabel 6. Satisfaction
Responden Tingkat Effectiveness Responden T1 T2 T3 T4 T5 T6

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 519

UT01 5 6 4 5 5 4 Feedback 0 0,1 0 0 0

UT02 6 3 7 6 2 2
UT03 2 3 6 7 6 6 Tabel 9 menunjukkan nilai rata-rata
UT04 5 6 6 7 5 5 Problem Type (PT) dan Task Importance (TI).
UT05 7 6 6 7 7 7 Masalah yang paling banyak muncul
UT06 7 7 5 7 7 7 merupakan Text and Icon (T), kemudian User
UT07 5 7 7 7 7 7
(U). Muncul masalah berjenis Hidden (H) dan
UT08 3 5 3 7 7 7
Feedback (F) namun nilainya tidak signifikan.
UT09 6 7 2 6 7 7
UT10 7 7 5 7 7 7 Sehingga dapat disimpulkan bahwa masalah
Rata-rata 5,3 5,7 5,1 6,6 6 5,9 yang paling penting untuk segera diperbaiki
R. Total 5,76 berjenis Text and Icon (T) dan User (U).

4.2.4 Matriks D: Problem Seriousness (PS)

4.2 Cognitive Walkthrough dan Task Number (TN)
Tabel 10 Problem Seriousness (PS) dan Task
4.2.1 Matriks A: Task Importance (TI) dan Number (TN)
Problem Seriousness
Problem Seriousness (PS) Task Number 1 2 3 4 5
Tabel 7. Task Importance (TI) dan Problem 1 0 0 0 0 0
Seriousness (PS) 2 0 0 0,5 0,4 0
Problem Seriousness 3 0,2 0 0,1 0,2 0
Task 4 0 0 0 0,4 0
1 2 3 4 5
Importance 5 0 0 0 0,9 0
1 0 0 0 0 0 6 0 0 0 0,4 0
2 0 0 0,5 0,8 0 7 0 0 0 0,4 0
3 0,2 0 0,3 0,6 0 Pada tabel 10 menunjukkan data bahwa
4 0 0 0 1,2 0
5 0 0 0 0 0
TN2 yaitu membuat laporan pengaduan jalan
rusak dan TN5 yaitu lihat harga pangan gula
Tabel 7 menunjukkan bahwa secara umum pasir merupakan task yang paling banyak
tidak ada masalah yang serius pada aplikasi bermasalah.
Situbondo Tera’. Namun harus tetap
4.2.5 Problem Type (PT) dan Task Number
diperhatikan demi kenyamanan pengguna.
(TN)
Tabel 11 Problem Type (PT) dan Task Number
4.2.2 Matriks B: Problem Type (PT) dan Task
(TN)
Importance (TI) Problem Type
Tabel 8. Problem Type (PT) dan Problem Task
Seriousness (PS) U H T S P F
Number
Problem Seriousness 1 0 0 0 0 0 0
Problem Type 1 2 3 4 5 2 0,3 0 0,3 0 0 0,1
User 0 0 0,3 0,6 0 3 0,1 0,2 0,6 0 0 0
Hidden 0,2 0 0 0 0 4 0 0 0,4 0 0 0
Text and Icon 0 0 0,4 2,1 0 5 0,5 0 0,4 0 0 0
Sequence 0 0 0 0 0 6 0 0 0,4 0 0 0
Feedback 0 0 0,1 0 0 7 0 0 0,4 0 0 0

Tabel 8 menunjukkan rata-rata Dapat dilihat bahwa jenis masalah Text

permasalahan terdapat pada jenis User (U) dan and Icon hampir setiap tugasnya mengalami
Text and Icon (T) dengan tingkat keseriusan masalah berjenis itu. Kemudian disusul oleh
cukup ringan dan sangat ringan. jenis masalah User yang terjadi pada TN2, TN3
dan TN5. Sedangkan jenis masalah Hidden dan
4.2.3 Matriks C: Problem Type (PT) dan Task Feedback hanya muncul pada TN3 dan TN2.
Importance (TI) Masalah yang tidak pernah muncul atau dialami
Tabel 9. Problem Type (PT) dan Task pengguna adalah Sequence dan Physical
Importance (TI)
Task Importance
Demand. Sehingga dapat disimpulkan dominasi
Problem Type 1 2 3 4 5 masalah ada pada jenis Text and Icon.
User 0 0,4 0 0,5 0
Hidden 0 0 0,3 0 0
Text and Icon 0 0,8 0,9 0,7 0
Sequence 0 0 0 0 0

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
4.3 Heuristic Evaluation
Gambar 3. Persebaran permasalahan pada Heuristic
Evaluation
Persebaran permasalahan yang ditemukan
dapat dilihat pada gambar 3 yang menunjukkan
permasalahan berdasarkan prinsip heuristik
yang dilanggar. Dapat dilihat bahwa masalah
yang paling banyak ditemukan pada prinsip
heuristik MA07.
5. Perbandingan Metode
5.1 Perbandingan Jumlah Masalah yang
ditemukan
Gambar 4. Perbandingan temuan masalah pada 3
metode
Jika dilihat pada gambar 4 dapat diketahui
bahwa metode Usability Testing menemukan 11
permasalahan, metode Cognitive Walkthrough
sebanyak 12 permasalahan dan metode
Heuristic Evaluation sebanyak 18
permasalahan. Total permasalahan yang
ditemukan sebanyak 41 masalah.
5.2 Persentase Temuan Masalah
Gambar 5. Persentase temuan masalah
Fakultas Ilmu Komputer, Universitas Brawijaya
520
Pada gambar 5 dapat dilihat bahwa metode
Heuristic Evaluation merupakan metode
evaluasi usability yang paling banyak dalam
mencari permasalahan sebesar 44% dari total
permasalahan yang ada. Selanjutnya metode
Cognitive Walkthrough sebesar 29%, dan
terakhir metode Usability testing sebesar 27%.
Selisih hasil dari metode Cognitive
Walkthrough dan Usability Testing tidak jauh
berbeda, hanya sebesar 2%.
5.3 Perbandingan Temuan Masalah Setiap
Responden
Gambar 6. Perbandingan temuan masalah
Banyak masalah yang ditemukan oleh
responden dapat dilihat pada gambar 5.4.
Metode Usability Testing menggunakan 10
orang responden dengan hasil temuan
masalahah yang bervariasi. Pada Usability
testing paling sedikit ditemukan 1 masalah dan
paling banyak 4 masalah dengan rata-rata
temuan 2,4 masalah per responden. Metode
Cognitive juga menggunakan 10 orang
responden dengan hasil temuan paling sedikit 1
masalah dan paling banyak 10 masalah dengan
rata-rata temuan 3,7 masalah per responden.
Metode yang terakhir yaitu Heuristic
Evaluation menggunakan 3 orang expert
dengan hasil temuan paling sedikit 5 masalah
dan paling banyak 10 masalah dengan rata-rata
temuan 8 masalah per orang.
6. KESIMPULAN
Pada hasil evaluasi usability menggunakan
metode Usability Testing menemukan 11
permasalahan usability. Usability mengukur 3
matriks yaitu effectiveness, efficiency dan
satisfaction. Nilai rata-rata effectivenes sebesar
95%. Nilai rata-rata tingkat penyelesaian tugas
adalah sebesar 78% (Sauro, 2011) sehingga
aplikasi Situbondo Tera’ sudah cukup efektif.
Nilai rata-rata efficiency didapat sebesar
88,32% dan terakhir rata-rata nilai satisfaction
sebesar 5,76 dari skala 7. Pada metode
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Cognitive Walkthrough ditemukan 12
permasalahan usability. Pada hasil keseluruhan
5 matriks didapatkan hasil banyak masalah
yang muncul namun masih dalam kategori
ringan dan memiliki tingkat keberhasilan yang
besar. Perbaikan sebaiknya diproritaskan pada
jenis Text and Icon (T) dan User (U). Tugas
yang paling banyak mengalami masalah berada
pada fitur pengaduan dan juga harga pangan.
Metode terakhir yaitu Heuristic Evaluation
menemukan 18 permasalahan yang tersebar
pada 9 prinsip heuristik.
Jumlah permasalahan yang ditemukan dari
3 metode yaitu sebanyak 41 permasalahan.
Metode Usability Testing menemukan sebanyak
11 dari 41 masalah, motode Cognitive
Walkthrough sebanyak 12 dari 41 masalah, dan
metode Heuristic Evaluation sebanyak 18 dari
41 masalah. Persentase temuan masalah paling
banyak ditemukan menggunakan metode
Heuristic Evaluation sebesar 44%, kemudian
metode Cognitive Walkthrough sebesar 29%
dan yang terakhir metode Usability Testing
sebesar 27% dari total permasalahan. Temuan
masalah setiap responden pada metode
Usability Testing didapatkan hasil paling sedikit
1 masalah dan paling banyak 4 masalah dengan
rata-rata temuan 2,4 masalah per responden.
Hasil dari metode Cognitive Walkthrough
ditemukan paling sedikit 1 masalah dan paling
banyak 10 masalah dengan rata-rata temuan 3,7
masalah per responden. Hasil dari metode
Heuristic Evaluation diketahui paling sedikit 5
masalah ditemukan dan paling banyak 10
permasalahan dengan rata-rata temuan 8
masalah per evaluator. Dari perbandingan
temuan masalah pada 3 metode, diketahui
terdapat 8 permasalahan yang sama dan hampir
semuanya muncul pada 3 metode sekaligus
sehingga permasalahan ini harus mendapatkan
perhatian khusus dari pengembang aplikasi
untuk segera diatasi.
Terdapat total 41 permasalahan usability
serta saran perbaikan yang didapatkan dari
seluruh responden yang merupakan pengguna
umum dan expert yang ahli dalam usability.
Saran perbaikan ini dapat dijadikan acuan dan
bahan pertimbangan oleh pengembang
mengenai bagaimana cara mengatasi masalah
yang terjadi di Situbondo Tera’.
7. DAFTAR PUSTAKA
Bligard, L.-O. & Osvalder, A.-L., 2013.
Enhanced Cognitive Walkthrough:
Fakultas Ilmu Komputer, Universitas Brawijaya
521
Development of the Cognitive
Walkthrough Method to Better.
Gothenburg: Chalmers University of
Technology.
Gómez, R. Y., Caballero, D. C. & Sevillano, J.-
L., 2014. Heuristic Evaluation on
Mobile Interfaces: A New Checklist.
Hindawi Publishing Corporation, pp.
1-19.
Hendrawan, A. P., 2017. Perbandingan Metode
Evaluasi Usability (Studi Kasus:
Penggunaan Perangkat Smartphone).
Yogyakarta: Universitas Islam
Indonesia.
Hornbæk, K., 2006. Current practice in
measuring usability: Current practice
in measuring usability:. Internation
Journal of Human-Computer Studies,
pp. 79-102.
Inostroza, R., Rusu, C., Roncagliolo, S. &
Rusu, V., 2012. Usability Heuristics for
Touchscreen-based Mobile Devices.
Information Technology: New
Generations (ITNG), pp. 662-667.
Mifsud, J., 2015. Usability Metrics – A Guide
To Quantify The Usability Of Any
System. [Online] Tersedia di:
https://usabilitygeek.com/usability-
metrics-a-guide-to-quantify-system-
usability/ [Diakses 20 Oktober 2020].
Monroy, J. A., 2015. Study on Heuristic
Usability Evaluation for Mobile
(Master Thesis). Madrid: Universidad
Politécnica de Madrid.
Nielsen, J., 1992. Finding Usability Problems
Through Heuristic Evaluation. CHI '92,
pp. 373-380.
Nielsen, J., 1994. 10 Usability Heuristics for
User Interface Design. [Online]
Tersedia di:
<https://www.nngroup.com/articles/ten
-usability-heuristics/> [Diakses 7 Maret
2020].
Nielsen, J., 1994. How to Conduct a Heuristic
Evaluation. [Online] Tersedia di:
<https://www.nngroup.com/articles/ho
w-to-conduct-a-heuristic-evaluation/>
[Diakses 7 Maret 2020].
Nielsen, J., 1994. Severity Ratings for Usability
Problems. [Online] Tersedia di:
<https://www.nngroup.com/articles/ho
w-to-rate-the-severity-of-usability-
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
problems/> [Diakses 7 Maret 2020].
Nielsen, J., 2012. Usability 101: Introduction to
Usability. [Online] Tersedia di:
<https://www.nngroup.com/articles/usa
bility-101-introduction-to-usability/>
Peraturan Bupati Situbondo, 2017. Pedoman
Pemanfaatan Teknologi Informasi Dan
Komunikasi Dalam Penyelenggaraan
Situbondo Smart Society, Situbondo:
Pemerintah Kabupaten Situbondo.
Perbup Situbondo No. 54, 2016. Kedudukan,
Susunan Organisasi, Uraian Tugas dan
Fungsi, Serta Tata Kerja Dinas
Komunikasi Informatika dan
Persandian Kabupaten Situbondo,
Situbondo: Kabupaten Situbondo.
Perpres, 2018. Sistem Pemerintahan Berbasis
Teknologi. Jakarta, s.n.
Rosenbaum, S., 2000. Not Just a Hammer:
When and How to Employ Multiple
Methods in Usability Programs.
Usability Professionalsí Association,
pp. 1-6.
Fakultas Ilmu Komputer, Universitas Brawijaya
522
Rubin, J. & Chisnell, D., 2008. Handbook of
Usability Testing: How to Plan,
Design, and Conduct Effective Tests.
2nd ed. Indianapolis: Wiley Publishing,
Inc.
Sauro, J., 2010. If You Could Only Ask One
Question, Use This One. [Online]
Tersedia di:
<https://measuringu.com/single-
question/> [Diakses 20 Oktober 2020].
Sauro, J. & Kindlund, E., 2005. Making Sense
of Usability Metrics: Usability and Six
Sigma. UPA Conference 2005, pp. 1-
10.
Six, J. M. & Macefield, R., 2016. How to
Determine the Right Number of
Participants for Usability Studies.
[Online] Tersedia di:
<https://www.uxmatters.com/mt/archiv
es/2016/01/how-to-determine-the-right-
number-of-participants-for-usability-
studies.php> [Diakses 22 Maret 2020].