Program Studi Teknik Informatika

Universitas 17 Agustus 1945 Surabaya

Evaluasi UI
Memahami bagaimana menilai sebuah UI

4616223 | Interaksi Manusia-Komputer

Agyl A. Rahmadi, S.Kom. M.A

R&D Group: Intelligent Mobile & Creative Computing
Sub-Topik dan Capaian Pembelajaran
▪ Kenapa Evaluasi?
Menjelaskan pentingnya evaluasi UI
▪ Usability Testing
Menjelaskan kenapa usability testing menjadi standar
dalam melakukan evaluasi UI
▪ Heuristic Evaluation (HE)
Menerapkan HE untuk mengevaluasi sebuah UI
▪ Cognitive Walkthrough (CW)
Menerapkan CW untuk mengevaluasi sebuah UI
▪ Usability Questionnaire
Menjelaskan beberapa kuesioner kebergunaan yang
sudah teruji
Kenapa Evaluasi UI?
Memahami pentingnya proses evaluasi dalam desain
Kenapa Evaluasi UI
▪ Untuk mengetahui kondisi dari UI yang sudah ada
–apakah sudah baik atau masih buruk ? Apakah
pengguna merasa mudah dan nyaman dalam
menggunakan ?
▪ Menghindari asumsi yang justru bisa berakibat fatal.
Contoh: kasus user interface di Three Mile Island
yang diasumsikan tidak akan ada masalah UI
▪ Untuk menentukan apakah perlu melakukan desain
ulang secara keseluruhan (redesign) atau hanya
design ulang sebagian (realignment)
✓Karena redesign memiliki biaya yang tidak kecil
▪ Untuk mencapai kualitas UI yang lebih baik
Usability Testing
Uji standar yang melibatkan pengguna
Usability Testing
▪ Metode untuk melakukan evaluasi produk dengan
memperhatikan perilaku (behavior) pengguna ketika
menggunakan produk
▪ Terkait perangkat lunak, Usability Testing dipakai
untuk mengevaluasi User Interface (UI) –dengan
asumsi fungsi sudah berjalan
▪ Dalam proses User Centered Design, metode ini
dilakukan berulang-ulang beriringan dengan proses
iterative prototyping
Prototype Testing
Uji kebergunaan bisa
menggunakan purwarupa kertas,
bahkan sketsa yang baru dibuat
untuk bisa mendapatkan feedback
dengan cepat dari pengguna.

Gambar diambil dari:

https://www.uxmatters.com/mt/archives/2012/10/images/Prototypes_fig5.jpg
Usability Testing ≠ User Testing
▪ Usability Testing bukan tes ide kepada pengguna, tapi tes produk yang ada terhadap
pengguna

Gambar diambil dari: http://blog.canvasflip.com/wp-content/uploads/2016/06/blog-images-2.png

Jenis Usability Testing
▪ Cara untuk melaksanakan usability testing:
✓ In-Person
✓ Remote
Tempat Usability Testing
Tempat untuk melaksanakan Usability Testing:
▪ Lingkungan Laboratorium – mudah untuk
mendapatkan data secara analytic dan rekaman
perilaku pengguna
▪ Lingkungan santai dan natural – mudah untuk
memperhatikan perilaku pengguna
▪ Lingkungan santai formal – mudah untuk
memperhatikan perilaku pengguna dan membuat
pengguna tidak sungkan untuk diambil datanya
Monitored Usability Testing

Gambar diambil dari: https://www.experiencedynamics.com/sites/default/files/ED-Website-Shoot_030414_40.jpg

In-Person Usability Testing

Gambar diambil dari: https://www.experiencedynamics.com/sites/default/files/blog_images/Usability%20Testing.jpg

Usability Testing untuk Game

Gambar diambil dari: http://gamesetwatch.com/ZRSC_Usability_Lab_Cutaway_ypak-copy.jpg

Tahapan Usability Testing
Langkah untuk melaksanakan Usability Testing:
▪ Menentukan tugas apa saja yang bisa dilaksanakan
oleh aplikasi yang ada
▪ Mengundang pengguna - yang sudah memakai,
maupun pengguna potensial
▪ Meminta pengguna melakukan tugas yang
ditentukan dengan aplikasi (proses usability testing)
▪ Lakukan wawancara berdasarkan pengamatan
selama testing
▪ Melakukan analisis data usability testing
Menentukan Tugas
• Tugas yang ada berdasarkan fungsi utama dari
produk/aplikasi yang di tes
• Tugas diurutkan berdasarkan yang paling sering
dilakukan di aplikasi
• Aplikasi: Fungsi utama
• Website: yang paling banyak diakses atau
dilakukan (bisa berdasarkan web analytic)
• Game: keseimbangan tingkat kesulitan dengan
reward
Mengundang Pengguna
• Akan jauh lebih mudah mengundang pengguna
dengan insentif (uang, voucher belanja, produk, dll)
• Pengguna yang diundang adalah yang bisa
menggunakan aplikasi atau tertarik
• Ketika mengundang atau mencari, masukkan
informasi terkait aplikasi:
• “Dicari orang yang pernah belanja online…”
• “Dicari orang yang suka bermain game RPG…”
• “Dicari orang yang bisa menggunakan komputer…”
Berapa Banyak Pengguna?
5 pengguna sudah bisa membantu untuk menemukan 80% masalah (Nielsen, 2000)
Proses Usability Testing
• Amati pengguna adalah proses paling penting
• Terdapat beberapa teknik yang bisa dipakai:
― Mengamati dan merekam yang dilakukan
pengguna (pastikan meminta persetujuan mereka)
― Menggunakan alat untuk merekam data perilaku
mereka (eyetracking, mouse tracking, dll)
― Meminta pengguna menceritakan yang dia lakukan
dan dia rasakan ketika testing (shout out)
• Amati saja, tidak memberitahu atau berkomentar
ke pengguna apa yang seharusnya dilakukan
Proses Usability Testing

Gambar diambil dari: https://usabilitygeek.com/wp-content/uploads/2012/08/Introduction-Website-Usability-Testing-Car.jpg

Proses Usability Testing

Gambar diambil dari: http://www.actualinsights.com/wp-content/uploads/2013/05/2013-05-15-10.39.051.jpg

Proses Usability Testing

Gambar diambil dari: https://thenextweb.com/wp-content/blogs.dir/1/files/2014/12/blinkux.png

Wawancara
• Wawancarai pengguna berdasarkan pengamatan
yang telah dilakukan – jika menggunakan shout
out, wawancara untuk memperjelas apa yang
pengguna maksud
• Tanyakan tentang:
• Apa yang pengguna pikirkan di suatu waktu (misal
ketika kebingungan memilih barang)
• Apa yang pengguna rasakan
• Apa yang pengguna sarankan untuk perbaikan
atau apa yang dia inginkan terhadap aplikasi
• Gunakan perekam
Analisis Data
• Data bisa berupa:
• Pre-Test dan Post Test
• Rekaman perilaku
• Data analytic (eye tracking, dll)
• Wawancara
• Feedback dari pengguna
• Analisis terhadap data yang ada diharapkan dapat
memberi insight, atau simpulan yang bisa
digunakan untuk memperbaiki desain
Data Usability Testing
Contoh data hotspot hasil eye
tracking selama proses usabilty
testing – semakin merah
menunjukkan banyak pengguna
sering melihat ke titik tersebut

Gambar diambil dari: https://thenextweb.com/wp-

content/blogs.dir/1/files/2014/12/blinkux.png
Contoh Usability Testing dengan Purwarupa Kertas

Link youtube: https://www.youtube.com/watch?v=9wQkLthhHKA

Template Purwarupa Kertas
• Untuk membuat paper protoype, kita bisa
menggunakan template agar lebih mudah
• Contohnya adalah template sneakpeekit
(https://sneakpeekit.com), dengan versi grid dan
non-grid
Heuristic Evaluation
Uji usability dengan mengacu pada prinsip dan heuristik kebergunaan UI
Heuristic Evaluation
adalah metode evaluasi dengan cara mengevaluasi
berdasarkan prinsip-prinsip heuristik. Metode ini
kualitatif agak sulit dilakukan karena berdasarkan
“prinsip” –sehingga tidak ada tolok ukur yang jelas.
Review: 10 Usability Heuristic
Berdasarkan Nielsen (1990), terdapat 10 prinsip
Usability Heuristic yang bisa dipakai dalam melakukan
heuristic evaluation
Prinsip ini juga disebut:
▪ Jakob Nielsen’s 10 General Principle of Interaction
Design
▪ 10 Usability Heuristic for User Interface Design
Disebut heuristic karena merupakan panduan umum
(rules of thumb) yang menyeluruh, bukan aturan
spesifik
Bisa dilihat di: https://www.nngroup.com/articles/ten-
usability-heuristics/
Review: 10 Usability Heuristic
10 prinsip itu adalah sebagai berikut
1. Visibility of System Status
2. Match between system and the real world
3. User control and freedom
4. Consistency and standards
5. Error prevention
6. Recognition rather than recall
7. Flexibility and efficiency of use
8. Aesthetic and minimalist design
9. Help users recognize, diagnose, and recover from
errors
10. Help and documentation
Cognitive Walkthrough
Uji usability dengan mensimulasikan proses kognitif pengguna
Cognitive Walkthrough
• Merupakan salah satu metode evaluasi
kebergunaan yang berfokus pada system
learnability, tentang seberapa mudah sebuah
sistem digunakan untuk pengguna baru, atau bagi
yang jarang menggunakan
• Bentuk cognitive walkthrough biasanya untuk tugas
yang spesifik, bukan produk keseluruhan
Langkah Cognitive Walkthrough
Langkah-langkah dalam menentukan cognitive
walkthrough:
1. Menentukan tujuan pengguna yang mau
dievaluasi. Misalkan: melakukan login
2. Menentukan tugas-tugas yang diperlukan untuk
mencapai tujuan pengguna tersebut: berupa
langkah-langkah umum
3. Mengevaluasi perilaku pengguna ketika
melakukan langkah-langkah dalam tugas
tersebut
Tugas dalam Cognitive Walkthrough
Tugas yang dilakukan dalam metode ini biasanya
berupa urutan langkah yang harus dilakukan untuk
sebuah proses dalam situs web tersebut.
Contoh untuk sebuah tugas “melakukan login ke
situs web”:
1. Buka perambah situs web
2. Buka situs web
3. Klik menu login
4. Masukkan username di kolom username
5. Masukkan password di kolom password
6. Lakukan login
Evaluasi dalam Cognitive Walkthrough
Untuk evaluasi, dijawab berdasarkan 4 pertanyaan
mendasar:
1. Apakah pengguna bisa memulai tugas ?
2. Apakah user interface jelas bagi pengguna?
3. Apakah pengguna mengerti user interface yang
diperlukan?
4. Apakah ada feedback setelah pengguna
menyelesaikan atau melakukan kesalahan?
 Contoh Cognitive Walkthrough

Link youtube: https://www.youtube.com/watch?v=SpmTHdsQq8k

Usability Questionnaire
Berbagai kuesioner yang sudah teruji untuk evaluasi UI
Kuesioner Kebergunaan
Untuk melakukan evaluasi usability secara cepat,
kita bisa memakai kuesioner.
Terdapat dua cara untuk metode kuesioner:
1. Memakai kuesioner buatan sendiri –harus dicek
lagi validitas dan reliabilitasnya
2. Memakai kuesioner yang telah dibuat dan diteliti
secara bertahun-tahun
Untuk cara satu bisa dilakukan ketika memang
dibutuhkan data yang spesifik
Tapi secara umum dan lebih mudah, cara dua bisa
dipakai dengan hasil yang bisa dipercaya secara
langsung
Contoh Kuesioner Kebergunaan
Kuesioner untuk melakukan evaluasi usability cukup
banyak, namun yang bisa dipakai secara umum
untuk berbagai bentuk aplikasi terdapat 3 kuesioner:
▪ System Usability Scale (SUS) – sudah ada versi
bahasa Indonesia
▪ User Experience Questionnaire (UEQ) – sudah ada
bahasa Indonesia (https://www.ueq-online.org/)
▪ Usability Metrics for User Experience (UMUX) –
sudah ada versi Litenya yang hanya terdiri dari 2
pertanyaan