Evaluasi Antarmuka &

Pengalaman Pengguna
#4: Metode Evaluasi UI/UX
Mahardeka Tri Ananta, M.Sc.

Disusun oleh Tim Pengelola Mata Kuliah Evaluasi Antarmuka & Pengalaman Pengguna
 Evaluation (What, Why, When)

Agenda Summative vs. Formative Eval.

Perkuliahan
Evaluation in Product
Development
Objective vs. Subjective

Quantitative vs Qualitative Eval.

Attitudinal vs. Behavioral Eval.

Q&A
2
Evaluasi
● Evaluasi adalah suatu tes atas tingkat kegunaan (usabilitas)
dan fungsionalitas sistem yang dapat dilakukan di dalam
laboratorium, di lapangan, atau dengan melibatkan user.
● Tujuan Utama Evaluasi (Alan Dix et. al, 2004):
○ Melihat seberapa jauh sistem berfungsi mencakup
kesesuaian penggunaan sistem terhadap kebutuhan user
pada tugas tertentu.
○ Melihat efek interface bagi pengguna mencakup aspek
dari kemudahan sistem dipelajari, daya guna dan
perilaku user.
○ Mengidentifikasi problem khusus yang terjadi pada
sistem.

3
Why Evaluation?
● Evaluasi adalah proses yang memeriksa sistem secara kritis.
● Ini melibatkan pengumpulan dan analisis informasi tentang aktivitas,
karakteristik, dan hasil sistem.
● Tujuannya adalah untuk membuat penilaian tentang suatu sistem, untuk
meningkatkan efektivitasnya, dan/ atau untuk menginformasikan kepada
stakeholder yang terlibat.

4
Dimension of Evaluation
Ada banyak dimensi berbeda yang perlu dipertimbangkan saat memilih pendekatan dalam
melakukan evaluasi:

● Goal: Sumatif (pada produk akhir) atau formatif (selama proses)

● Approach: Objektif atau subyektif
● Data: Kuantitatif atau kualitatif
● Moments: UX momentary, episodic, atau remembered
● Setup: Lab atau lapangan

5
When?
● Idealnya, evaluasi harus dilakukan selama proses desain, dengan hasil evaluasi
dimasukkan kembali ke dalam tahapan proses desain.
● Biasanya tidak mungkin untuk melakukan pengujian eksperimental secara terus menerus,
tetapi teknik analitik dan informal dapat digunakan.
● Evaluasi atau pengujian dan validasi adalah untuk memeriksa desain selama
pengembangan dan setelahnya, untuk memastikan sistem berfungsi dengan baik untuk
orang yang menggunakannya.

6
7
8
Summative vs. Formative
Evaluation

9
Summative vs. Formative Evaluation
Evaluasi dapat dibagi menjadi dua kategori besar:

● Evaluasi formatif dilakukan selama pengembangan dan implementasi sistem

dan berguna jika Anda menginginkan arahan tentang cara terbaik untuk
mencapai tujuan Anda atau meningkatkan program Anda.
● Evaluasi sumatif dilakukan setelah sistem selesai dikembangkan dan akan
memberitahu Anda sejauh mana sistem mencapai tujuannya.

10
Summative vs. Formative Evaluation

11
Summative vs. Formative Evaluation

12
Summative vs. Formative Evaluation

13
Evaluation in Product Development

14
Objective vs. Subjective
User vs. Expert

15
User vs Expert
Lalu apa bedanya?

● Expert adalah pakar UX/ UI yang memeriksa produk untuk mengidentifikasi potensi
masalah UX/ UI
● User adalah perwakilan target pengguna representatif untuk mengevaluasi produk
dengan melakukan tugas/task tertentu

Keduanya sangat mirip dalam banyak hal:

● Temukan dan prioritaskan masalah UX/ UI

● Evaluasi desain dalam konteks tugas/task

16
Advantages/disadvantages
Expert

+ Cenderung menemukan error tingkat tinggi terhadap aturan dan konsistensi desain
+ Menemukan beberapa masalah yang tidak dimiliki pengguna
+ Lebih murah dan lebih cepat untuk dilakukan.
+ Dapat terlibat di setiap tahap dalam proses pengembangan

- Terkadang masalah yg ditemukan bukan masalah yg dihadapi oleh user

17
Advantages/disadvantages
User

+ Lebih baik dalam menemukan masalah yang terkait dengan wilayah permasalah
(problem domain) dan alur pengerjaan tugas/task.
+ Memberikan gambaran yang lebih benar tentang masalah sebenarnya yang dihadapi
orang karena masalah tersebut berasal dari pengguna sebenarnya.
+ Lebih sedikit dugaan dan umpan balik datang langsung dari pengguna sebenarnya

- Membutuhkan lebih banyak waktu untuk merencanakan dan mengatur dan lebih
mahal

18
User vs Expert
● Pendekatan yang paling efektif adalah mencoba dan mengintegrasikan
kedua teknik tersebut.
● Dalam praktiknya, orang sering kali menggunakan hasil evaluasi
usabilitas dari expert sejak awal untuk memperbaiki desain mereka /
dalam persiapan untuk pengujian pengguna.
● Gunakan pengguna sebenarnya (representative user)!

19
Quantitative vs.
Qualitative Evaluation

20
Quantitative vs Qualitative
Dua jenis data yang dapat dikumpulkan:

● Data Kualitatif (kualitatif) Bagaimana & mengapa?

● Data Kuantitatif (kuantitatif) Berapa & seberapa banyak?

21
Quantitative vs Qualitative
● Baik pengujian kualitatif dan kuantitatif sangat penting dalam siklus desain
berulang.
● Studi kualitatif lebih umum di industri UI / UX,
● Studi kuantitatif adalah satu-satunya yang memungkinkan kita untuk
memberi nomor pada desain ulang dan dengan jelas mengatakan
seberapa banyak versi baru kami meningkat dari yang lama

22
Quantitative vs Qualitative

23
Quantitative vs Qualitative

24
Attitudinal vs. Behavioral

25
Attitudinal vs. Behavioral
Attitude → apa yang orang katakan

● untuk memahami atau mengukur keyakinan yang dinyatakan orang, banyak

digunakan di departemen pemasaran.

Behaviour → apa yang dilakukan orang

● Fokus sebagian besar pada perilaku untuk memahami "apa yang orang lakukan"
dengan produk atau layanan yang bersangkutan

26
Attitudinal vs. Behavioral

27
Attitudinal vs. Behavioral

28
Momentary vs. Episodic

29
Attitudinal vs. Behavioral on four types of UX
evaluation
● Anticipated UX mengacu pada periode waktu sebelum penggunaan pertama,
dan berfokus pada ekspektasi seseorang terhadap produk, layanan, atau sistem.
● Momentary UX mengacu pada perubahan yang dirasakan selama interaksi pada
saat itu terjadi.
● Episodic UX adalah penilaian episode penggunaan tertentu yang diekstrapolasi
dari peristiwa interaksi yang lebih luas.
● Remembered UX adalah ingatan yang dimiliki pengguna setelah menggunakan
sistem untuk sementara waktu.

30
Attitudinal vs. Behavioral on four types of UX
evaluation

Sumber: P. Marti and I. Iacono, "Anticipated, momentary, episodic, remembered: the many facets of User eXperience," 2016
Federated Conference on Computer Science and Information Systems (FedCSIS), 2016, pp. 1647-1655.
31
Q&A

32
Terima Kasih
“Genius is the ability to reduce the complicated to the simple.” — C.W. Ceram

33