Perbandingan Metode Evaluasi Usability
Perbandingan Metode Evaluasi Usability
ABSTRACT
Usability is a key factor that determine success of a product or interactive system, like
smartphone. The increasing use of smartphone and its rapid technology development, requires
usability evaluation method that is more accurate and effective to found usability problem, so it can be
used for product improvement in development process. This study suggests a usability evaluation
method that is most effective to identify problem in smartphone usage. Three usability evaluation
methods that commonly used are compared in this study, including: think-aloud evaluation (TA),
cognitive walkthrough (CW), and heuristic evaluation (HE). This study involved 15 smartphone users
as participants and 16 usability experts who is also a smartphone users as evaluators. The results
showed, among the three usability evaluation methods, heuristic evaluation (HE) has the highest
effectiveness and severity methods, while cognitive walkthrough (CW) and think-aloud evaluation (TA)
still has potential for further development.
10
Perbandingan Metode Evaluasi Usability (Andrie Pasca H)
11
Teknoin Vol. 23 No. 1 Maret 2017 : 09-18
metode (Hartson dkk, 2003). Beberapa adalah total severity rating yang
ukuran perbandingan metode evaluasi ditemukan oleh UEM)
tersebut dijelaskan sebagai berikut:
Severity rating method = s(rpf) jumlah
Validitas merupakan ukuran yang
masalah nyata yang ditemukan..................(4)
menentukan seberapa baik metode
evaluasi memberikan hasil yang
diinginkan, UEM dengan validitas Penelitian dilakukan dengan meminta
rendah akan menemukan banyak partisipan atau evaluator melakukan evaluasi
masalah yang tidak relevan. Formulasi smartphone dengan mengikuti beberapa
untuk menentukan nilai validity adalah tugas representatif yang ditentukan
sebagai berikut: (dimana adalah berdasarkan fitur - fitur umum yang ada pada
jumlah aspek yang teridentifikasi smartphone. Sebagai batasan, tugas yang
sebagai masalah dan adalah jumlah berhubungan dengan jenis aplikasi tertentu
masalah nyata yang ada). (chat, music, social media, etc) tidak diikut
sertakan. Kategori tugas - tugas representatif
Validity = yang dipilih antara lain :
Thoroughness atau ketelitian Penambahan kontak : Partisipan diminta
mengindikasikan proporsi masalah nyata untuk menambahkan kontak, lengkap
atau real problem yang terdapat pada dengan informasi lainnya beserta
rancangan antarmuka. UEM dengan penambahan grup kontak ke dalam
ketelitian rendah berarti tidak dapat perangkat.
mengidentifikasi masalah usability yang Pemanggilan kontak : Partisipan diminta
penting. Thoroughness atau ketelitian melakukan panggilan telepon kepada
suatu UEM diformulasikan sebagai kontak yang telah dimasukkan
berikut : sebelumnya.
Penerimaan panggilan: Partisipan
Thoroughness = diminta untuk menjawab panggilan
telepon.
Pengiriman pesan : Partisipan diminta
Efektifitas didefinisikan sebagai untuk mengirimkan pesan singkat SMS
gabungan dari validitas dan ketelitian. sesuai dengan detail informasi yang
Efektifitas UEM memiliki jangkauan diberikan.
nilai dari 0 hingga 1. Jika nilai ketelitian Pengambilan gambar : Partisipan
dan validitas rendah, maka nilai diminta untuk mengambil gambar
efektifitas juga rendah. dengan menggunakan kamera
smartphone.
Effectifity = Thoroughness × Validity........(3)
Sambungan mobile data : Partisipan
diminta untuk melakukan pengaturan
dan aktivasi koneksi internet melalui
Severity rating metode merupakan hasil
kartu SIM.
rata - rata dari nilai severity rating atau
tingkat urgensi masalah yang ditemukan Hotspot tethering : Partisipan diminta
oleh metode evaluasi, yang akan melakukan pengaturan dan aktivasi fitur
memperlihatkan sejauh mana suatu hotspot tethering.
UEM dapat menemukan masalah yang Pengecekan ketersediaan memori:
penting. Nilai tersebut dihitung dengan Partisipan diminta untuk melakukan
formulasi berikut: (dimana s(rpf) pengecekan memori yang masih tersedia
diperangkat.
12
Perbandingan Metode Evaluasi Usability (Andrie Pasca H)
13
Teknoin Vol. 23 No. 1 Maret 2017 : 09-18
14
Perbandingan Metode Evaluasi Usability (Andrie Pasca H)
Think-Aloud Evaluation
13
Cognitive Walkthrough
Heuristic Evaluation
7 8
15
10 10 19
Gambar 1. Diagram Venn untuk Real Problem dari Tiga Metode Evaluasi.
Berdasarkan data pada tabel 2 dan dengan UEM yang berbeda - beda, baik yang
gambar 1 tersebut, jumlah real problem yang melibatkan partisipan maupun evaluator.
ditemukan oleh UEM dan jumlah real Ukuran perbandingan metode evaluasi untuk
problem yang ada dalam sistem dapat ketiga UEM dirangkum dalam tabel 7.
digunakan untuk mengetahui nilai validitas, Berdasarkan tabel 7, metode heuristic
thoroughness, and effectivity masing - evaluation (HE) memiliki nilai validity dan
masing UEM seperti yang dapat dilihat pada thoroughness yang paling tinggi
tabel 3, 4, dan 5. dibandingkan dengan think - aloud
Hasil penilaian severity rating untuk evaluation (TA) dan cognitive walkthrough
setiap masalah usability yang ditemukan (CW). Semakin tinggi nilai validity berarti
oleh ketiga UEM dapat digunakan untuk semakin besar proporsi real problem jika
melihat nilai severity rating method. Tabel 6 dibandingkan dengan jumlah keseluruhan
menunjukkan nilai severity rating method temuan masalah oleh suatu UEM. Tingginya
untuk ketiga UEM. nilai validity dan thoroughness metode
Beberapa ukuran perbandingan telah heuristic evaluation (HE) membuat
didapatkan melalui pelaksanaan evaluasi effectivity metode tersebut bernilai besar.
15
Teknoin Vol. 23 No. 1 Maret 2017 : 09-18
Dengan kata lain, dalam konteks evaluasi Beberapa hasil mengenai perbandingan
usability smartphone, UEM yang paling metode evaluasi usability untuk perangkat
efektif adalah heuristic evaluation. smartphone telah ditemukan, namun
Severity rating method menunjukkan penelitian ini memiliki keterbatasan yaitu
seberapa penting masalah usability yang partisipan dan evaluator yang dilibatkan
ditemukan oleh suatu UEM. Semakin besar seluruhnya berasal dari Indonesia, dimana
nilai severity rating method, maka semakin kebanyakan masyarakat belum terbiasa
baik suatu UEM dalam mengidentifikasi untuk melakukan think – out - loud. Oleh
masalah - masalah dengan tingkat urgensi karena itu, hasil evaluasi usability mungkin
tinggi. Berdasarkan tabel 7, metode heuristic dapat berbeda apabila partisipan dan
evaluation memiliki severity rating metode evaluator yang dilibatkan berasal dari negara
yang paling tinggi dibandingkan dengan yang cenderung familiar dengan budaya
metode think - aloud evaluation dan think – out - loud.
cognitive walkthrough. Namun, severity
rating metode untuk ketiga UEM jika 4. KESIMPULAN
dibulatkan, semuanya menghasilkan nilai = 2 Penelitian ini mengusulkan bahwa UEM
(nilai severity rating = 2 merupakan minor yang paling disarankan untuk digunakan
usability problem : prioritas rendah untuk dalam proses evaluasi usability perangkat
dilakukan perbaikan (Nielsen, 2014)). smartphone adalah heuristic evaluation.
Secara lebih jauh, heuristik yang digunakan
3.1.2. Pembahasan adalah heuristik usulan Inostroza dkk (2012)
Penelitian ini menunjukkan bahwa dari yang telah mengalami penyesuaian untuk
perbandingan ketiga metode evaluasi konteks teknologi touchscreen - based
usability, metode heuristic evaluation mobile device. Namun penelitian lebih jauh
memiliki nilai yang paling baik hampir di diperlukan untuk menngembangkan
seluruh ukuran perbandingan. Selain itu, penelitian ini. Penelitian selanjutnya dapat
penelitian ini juga memberikan validasi menemukan nilai perkiraan yang sesuai
terhadap 11 heuristik usulan Inostroza dkk untuk menemukan estimasi jumlah
(2012), bahwa dengan mengikut sertakan partisipan atau evaluator yang dibutuhkan
aspek physical interaction and ergonomics, oleh UEM dalam konteks evaluasi usability
dalam konteks evaluasi teknologi smartphone. Berdasarkan penelitian ini juga
touchscreen - based mobile device, metode dapat dilihat bahwa masih terdapat peluang
heuristic evaluation dapat menghasilkan dikembangkannya metode cognitive
temuan masalah yang lebih banyak dan walkthrough dan think - aloud evaluation
memiliki nilai efektifitas yang jauh lebih agar lebih efektif digunakan untuk evaluasi
tinggi dibandingkan metode cognitive usability dalam konteks teknologi
walkthrough dan think - aloud evaluation. smartphone. Oleh karena itu, pengembangan
Selain itu, juga diketahui bahwa metode metode evaluasi usability, khususnya metode
cognitive walkthrough dan think - aloud cognitive walkthrough dan think - aloud
evaluation memiliki nilai yang “kurang evaluation dapat dilakukan pada penelitian
baik” hampir diseluruh ukuran apabila selanjutnya.
dibandingkan dengan metode heuristic
evaluation. Hal tersebut dikarenakan sampai
saat ini kedua metode tersebut belum
terdapat pengembangan atau penyesuaian
secara spesifik untuk konteks evaluasi
teknologi smartphone.
16
Perbandingan Metode Evaluasi Usability (Andrie Pasca H)
DAFTAR PUSTAKA
ISO / IEC 25010. 2011. Systems and
Albinsson, P.A and Zhai, S. 2003. High Software Quality Requirements and
Precision Touch Screen Interaction. Evaluation (SQuaRE) – System and
Proceedings of the SIGCHI Software Quality Models.
Conference on Human Factors in International Organization for
Computing Systems, p. 105-112. Standardization, Geneva,
Androidpit. 2015. Android UI Comparison Switzerland.
(http://www.androidpit.com/androi Jaspers, M.W.M. 2009. A Comparison of
d-ui-comparison diakses pada 10 Usability Methods for Testing
July 2015). Interactive Health Technologies:
Businessinsider. 2014. Smartphone Adoption Methodological Aspects and
Platform And Vendor Trends In Empirical Evidence,” International
Major Mobile Markets Around Journal of Medical Informatics, vol
World 2015 78, p. 340-353.
http://www.businessinsider.co.id/sm Maguire, M. 2001. Method to Support
artphone-adoption-platform-and Human-Centered Design.
vendor-trends-in major-mobile- International Journal of Human-
markets-around-world-2015-3 Computer Studies, vol. 55 (4), p.
diakses pada 12 November 2014). 587-634.
Galitz, W.O. 2002. The Essential Guide to Nielsen, J. 1992. Finding Usability Problems
User Interface Design: An Through Heuristic Evaluation.
Introduction to GUI Design Proceedings of the SIGCHI
Principles and Techniques (Second conference on human factors in
Edition). John Wiley & Sons Inc. computing systems, p. 373-380.
Hartson, H.R, Andre, T.S, Williges, R.C. Nielsen, J. 2013. Usability Engineering.
2003. Criteria for Evaluating Boston: Academic Press Inc.
Usability Evaluation Methods.
Nielsen, J. 2014. Severity Ratings for
International Journal of Human-
Usability Problems
Computer Interaction, vol (13) 4, p.
(http://www.nngroup.com/articles/h
145-181.
ow-to-rate-the-severity-of-usability-
Holzinger, A. 2005. Usability Engineering problems/ diakses pada 15 Nov.
Methods for Software Developers. 2014).
Communication of The ACM, vol
Nielsen, J., Landauer, T.K. 1993. A
11 (1).
Mathematical Model of The Finding
IDC International Data Corporation. 2015. of Usability Problems. Proceedings
Smartphone OS Market Share of ACM Inter CHI’93 Conference,
(http://www.idc.com/prodserv/smart p. 206-213.
phone-os-market-share.jsp diakses
Nielsen, J., Mack, R.L. 1994. Usability
pada 10 July 2015).
Inspection Methods, New York:
Inostroza, R., Rusu, C., Roncagliolo, S., John Wiley & Sons, USA.
Jimenez, C., Rusu, V. 2012.
Statista, 2014. Share of Android Platforms
Usability Heuristics for
on Mobile Devices with Android
Touchscreen - Based Mobile
OS
Devices. 2012 9th International
(http://www.statista.com/statistics/2
Conference of Information
71774/share-of -android-platforms-
Technology New Generation, p.
on-mobile-devices-with-android-os/
662-667.
diakses pada 21st Nov.
17
Teknoin Vol. 23 No. 1 Maret 2017 : 09-18
18