LECTURE NOTES

ISYS6619 – UX for Digital Business

Week ke-10

Evaluation
 LEARNING OUTCOMES

LO4: Analyze the user evaluation methods for improving the usability of an interactive product

OUTLINE MATERI :

1. Overview
2. Data analytics
3. Expert evaluation
4. Participant-based evaluation
5. Evaluation in Practice
6. Evaluation: further issues
 ISI MATERI

A. Overview

Evaluasi adalah salah satu proses utama desain UX. Evaluasi berarti meninjau, mencoba
atau menguji ide desain, perangkat lunak, produk, atau layanan untuk menemukan apakah
produk tersebut memenuhi beberapa kriteria. Kriteria dari sebuah desain yang baik, yaitu
bahwa sistem dapat dipelajari, efektif, akomodatif, kenikmatan pengguna, keterlibatan
dan apresiasi estetika.

Desainer UX tidak hanya memikirkan mengenai dengan tampilan dari produk seperti
desain ikon atau pilihan warna. Mereka juga harus memikirkan apakah sistem tersebut
sesuai dengan tujuannya, menyenangkan, menarik, dan apakah orang dapat dengan cepat
memahami dan menggunakan layanan tersebut.

Evaluasi terkait erat dengan aktivitas utama desain UX lainnya; pemahaman, desain dan
visi. Proses evaluasi harus dilakukan pada saat proses ide. Misalnya, ide awal untuk suatu
layanan dapat didiskusikan dengan desainer lain dalam rapat tim. Sebuah mock-up dapat
dengan cepat ditinjau dan kemudian dalam proses desain pembuatan prototipe dan
pengujian sistem yang telah selesai sebagian dapat dievaluasi dengan pengguna.

Setelah sistem selesai sepenuhnya diimplementasikan, desainer dapat mengevaluasi

desain antarmuka alternatif dengan mengumpulkan data tentang kinerja sistem

1. Ada 3 tipe evaluasi

a. Expert

▪ melibatkan pakar UX, atau desainer UX

▪ para pakar ini meninjau beberapa bentuk versi desain

b. User

▪ Ini adalah metode berbasis peserta, juga disebut 'pengujian pengguna'.

▪ merekrut orang untuk menggunakan versi sistem yang dibuat

ISYS6619 – UX for Digital Business

 c. Data

▪ Metode ini dikenal sebagai analisis data.

▪ mengumpulkan data tentang kinerja sistem setelah sistem atau layanan

diterapkan.

2. Kualitatif dan kuantitatif

Desainer harus memutuskan apakah akan fokus pada pengumpulan data kuantitatif
atau kualitatif. Data kuantitatif contohnya seperti jumlah orang yang mengakses
halaman situs web atau waktu yang dihabiskan pengguna di bagian aplikasi tertentu.

Data kualitatif seperti pendapat orang tentang desain. Kedua data ini dapat digunakan
bersama-sama, dan desainer dapat merancang cara yang sangat kreatif untuk
mengumpulkan data yang memberi mereka wawasan yang baik tentang aspek-aspek
tertentu dari desain mereka.

B. Data analytics

Saat ini dikatakan sebagai era 'big data'. Sejumlah besar data sedang dihasilkan di
berbagai bidang. Contonya Internet of Things (IoT) mengacu pada keterkaitan sensor dan
perangkat satu sama lain dan di seluruh internet. sehingga perangkat seluler dapat
mengumpulkan semakin banyak data pribadi seperti berapa banyak langkah yang telah
diambil seseorang dalam sehari.

Sensor lain mengukur detak jantung, tekanan darah atau tingkat kegembiraan dalam diri
seseorang. Seperti halnya IoT, data ini berpotensi memberikan wawasan baru tentang
perilaku dan kinerja orang.

Dalam hal mengevaluasi UX dan aspek lain dari desain sistem interaktif, analisa data
dapat memberi desainer data mengenai kinerja sistem dan perilaku individu dalam
berinteraksi dengan sistem dan layanan.

Google analytic adalah salah satu contoh dari tools yang dapat digunakan untuk
melakukan analisa data. Google analytics merupakan layanan gratis yang menyediakan

ISYS6619 – UX for Digital Business

 data tentang asal pengguna situs web dan aplikasi (termasuk negara mereka, dan
kemungkinan informasi yang lebih detail tentang lokasi dan perangkat yang mereka
gunakan) dan apa yang mereka lakukan saat berinteraksi dengan sistem (seperti berapa
lama mereka menggunakan sistem, halaman situs mana yang mereka kunjungi, urutan
halaman yang mereka lihat, dan sebagainya).

A/B Testing adalah sebuah metode pengujian yang banyak digunakan organisasi dalam
menguji produk mereka. Sebagai contoh, sebuah perusahaan dapat mengeluarkan
perangkat lunaknya dengan dua macam antarmuka kemudian kedua antarmuka secara
acak diberikan kepada pengguna saat mereka masuk ke situs. Dengan melihat analitik
dari dua antarmuka, analis dapat melihat mana yang berkinerja lebih baik. Contohnya
untuk sebuah aplikasi e-commerce yang memiliki tujuan untuk meningkatkan konversi
pengunjung aplikasi mereka agar membeli. Sebuah antarmuka A dibandingkan
antarmuka B, mana yang lebih banyak menarik pengunjung dari mulai berkunjung
sampai akhirnya membeli. Ini dikenal sebagai pengujian A/B dan semakin sering
digunakan untuk menyempurnakan UX situs web komersial.

C. Expert evaluation

Metode evaluasi yang sederhana, relatif cepat, dan efektif adalah meminta pakar UX
untuk melihat layanan atau sistem dan mencoba menggunakannya. Para ahli akan
mengambil hal-hal umum berdasarkan pengalaman mereka dan akan mengidentifikasi
faktor-faktor yang mungkin mengganggu evaluasi oleh non-ahli.

Kadang-kadang disebut metode inspeksi kegunaan, ada berbagai pendekatan untuk

evaluasi ahli dan seorang ahli dapat dengan mudah diminta untuk melihat desain dan
membuat saran. Namun, untuk membantu para ahli menyusun evaluasi mereka, akan
biasanya mereka akan mengadopsi pendekatan tertentu.

Hal ini akan membantu memfokuskan kritik pakar pada aspek yang paling relevan untuk
tujuan tersebut. Pendekatan umum untuk evaluasi ahli adalah bahwa ahli akan berjalan
melalui tugas-tugas representatif atau skenario penggunaan.

ISYS6619 – UX for Digital Business

Mereka mungkin mengadopsi salah satu persona. Dengan demikian, evaluasi ahli terkait
dengan desain berbasis skenario.

1. Nielsen’s Heuristic evaluation. Adalah sebuah daftar hal-hal yang harus dievaluasi.
Evaluasi ini ditemukan oleh jacob Nielsen, seorang pakar dibidang UX. Ada 10 hal
yang harus dilihat dalam sebuah produk:

• Visibilitas status sistem

Sistem harus selalu memberi informasi kepada pengguna tentang apa yang sedang
terjadi, melalui umpan balik yang sesuai.

• Kecocokan antara sistem dan dunia nyata

Sistem harus berbicara dalam bahasa pengguna, dengan kata, frasa, dan konsep
yang akrab bagi pengguna, bukan menggunakan istilah yang berorientasi pada
sistem. Ikuti konvensi dunia nyata, membuat informasi yang muncul dalam urutan
alami dan logis.

• Kontrol dan kebebasan pengguna

Pengguna sering kali salah dalam memilih fungsi sistem secara tidak sengaja dan
akan membutuhkan "jalan keluar darurat" yang ditandai dengan jelas untuk
meninggalkan keadaan yang tidak diinginkan tanpa harus melalui dialog yang
diperpanjang. Sebagai contoh perintah “undo”

• Konsistensi dan standar

Pengguna tidak perlu bertanya-tanya apakah kata, situasi, atau tindakan yang
berbeda memiliki arti yang sama. Sebuah produk atau aplikasi harus memiliki
konsistensi dalam hal tampilan, proses dan istilah pada semua platform yang
digunakan.

• Pencegahan kesalahan

Daripada memberikan pesan kesalahan lebih baik merancang desain yang cermat
yang mencegah masalah terjadi di tempat pertama. Hilangkan kondisi rawan

ISYS6619 – UX for Digital Business

 kesalahan atau periksa dan berikan opsi konfirmasi kepada pengguna sebelum
mereka melakukan tindakan.

• Mengenali daripada mengingat

Minimalkan beban memori pengguna dengan membuat objek, tindakan, dan opsi
terlihat. Pengguna tidak harus mengingat informasi dari satu bagian dialog ke
bagian lain. Petunjuk penggunaan sistem harus terlihat atau mudah diambil
kembali bila perlu.

• Fleksibilitas dan efisiensi penggunaan

Akselerator — tidak terlihat oleh pengguna pemula — mungkin sering

mempercepat interaksi untuk pengguna yang lebih ahli sehingga sistem dapat
melayani pengguna yang tidak berpengalaman dan berpengalaman. Izinkan
pengguna untuk menyesuaikan tindakan yang sering dilakukan.

• Desain estetis dan minimalis

Dialog tidak boleh mengandung informasi yang tidak relevan atau jarang
dibutuhkan. Setiap unit informasi tambahan dalam dialog bersaing dengan unit
informasi yang relevan dan mengurangi visibilitas relatifnya.

• Bantu pengguna mengenali, mendiagnosis, dan memulihkan dari kesalahan

Pesan kesalahan harus diungkapkan dalam bahasa sederhana (tanpa kode),

menunjukkan masalah secara tepat, dan menyarankan solusi secara konstruktif.

• Bantuan dan dokumentasi

Meskipun lebih baik jika sistem dapat digunakan tanpa dokumentasi, mungkin
perlu untuk memberikan bantuan dan dokumentasi. Informasi semacam itu harus
mudah dicari, fokus pada tugas pengguna, mencantumkan langkah-langkah
konkret yang harus dilakukan, dan tidak terlalu besar.

ISYS6619 – UX for Digital Business

D. Participant-based evaluation

Evaluasi peserta bertujuan menguji produk pada pengguna yang sebenarnya. Ada banyak
cara untuk melibatkan orang yang membutuhkan berbagai tingkat kerjasama.

Metode berkisar dari desainer duduk dengan peserta saat mereka bekerja melalui sistem
untuk meninggalkan orang sendirian dengan teknologi dan mengamati apa yang mereka
lakukan melalui cermin dua arah. Seperti tampak pada gambar 1. Laboratorium usability
akan terdiri atas 2 ruang utama, yang satu ruang diperuntukkan bagi pengguna dalam
menguji aplikasi, pada ruangan tersebut ada beberapa kamera untuk menangkap gambar
ekspresi dari user dan pergerakan tangann user ketika berinterkasi dengan aplikasi.
Sedangkan ruangan disebelahnya akan dibatasi oleh cermin dua arah, dimana peneliti
akan memantau jalannya pengujian yang dilakukan oleh pengguna.

Gambar 1 Usability lab

(Sumber: https://interux.com/Usability-Lab-Estonia-Tallinn.html )

ISYS6619 – UX for Digital Business

E. Evaluation in Practice

Dalam prakteknya, ada beberapa hal yang harus dipersiapkan ketika akan melakukan
evaluasi:

1) Menetapkan tujuan evaluasi, peserta yang dituju dalam evaluasi, konteks penggunaan
dan keadaan teknologi; mendapatkan atau membangun skenario yang
menggambarkan bagaimana aplikasi akan digunakan.

2) Pilih metode evaluasi. Ini harus merupakan kombinasi dari metode pengujian berbasis
pakar dan metode partisipan.

3) Panggil ahli untuk melakukan tinjauan.

4) Rencanakan pengujian peserta; gunakan hasil tinjauan ahli untuk membantu

memfokuskan hal ini.

5) Merekrut orang dan mengatur tempat pengujian dan peralatan.

6) Melaksanakan evaluasi.

7) Analisis hasil, dokumentasikan, dan laporkan kembali ke desainer.

F. Evaluation: further issues

Ada sejumlah alat dan metode yang secara khusus ditujukan untuk mengevaluasi
pengalaman pengguna.

Kuesioner pengalaman pengguna terdiri atas 26 item digunakan untuk mengumpulkan

data tentang UX. Spreadsheet on-line tersedia untuk membantu analisis statistik dari data
yang dikumpulkan. Alternatifnya adalah dengan menggunakan kuesioner online
Attrakdiff.

Ini memiliki pendekatan yang serupa tetapi menggunakan istilah yang berbeda. Kedua
kuesioner ini dapat digunakan sebagaimana adanya dan ini memiliki keuntungan bahwa
perbandingan dapat dilakukan di seluruh produk dan layanan. Untuk evaluasi khusus,
bagaimanapun, desainer UX mungkin perlu mengubah istilah yang digunakan pada skala
diferensial semantik.

ISYS6619 – UX for Digital Business

1. Evaluasi di rumah

Proses evaluasi juga dapat dilakukan di rumah dari masing-masing partisipan. Mereka
juga cenderung lebih peduli tentang melindungi privasi mereka dan umumnya tidak mau
menghabiskan waktu luang mereka yang berharga dalam membantu Anda dengan
evaluasi kegunaan Anda. Oleh karena itu menjadi penting seorang peneliti menggunakan
teknik pengumpulan data yang menarik bagi pengguna dan membuat permintaan waktu
dan usaha sesedikit mungkin.

Peneliti menggunakan wawancara konvensional pada saat teknologi (televisi baru)

pertama kali dipasang, tetapi diikuti dengan meminta keluarga memerankan skenario
menggunakannya. Sebuah teknik pengumpulan data yang sering digunakan dinamakan
diary study dimana partisipan diminta menuliskan semacam diari mengenai apa saja yang
mereka lakukan ketika berinteraksi dengan produk

Buku harian juga didistribusikan sebagai alat pengumpulan data, tetapi dalam hal ini,
tingkat ketidaksempurnaan tinggi mungkin karena kompleksitas proforma buku harian
dan ketidaksesuaian antara buku harian pribadi dan aktivitas sosial menonton televisi.

ISYS6619 – UX for Digital Business

 KESIMPULAN

Ada 3 jenis evaluasi yang dapat kita lakukan, pertama adalah evaluasi dengan ahli UX dimana
kita memanggil ahli UX untuk melakukan evaluasi atas produk. Para ahli biasanya sudah
memiliki pedoman untuk melakukan evaluasi. Kedua, evaluasi dengan menggunakan pengguna
yang sebenarnya. Pada evaluasi ini biasanya kita meminta pengguna untuk menggunakan
aplikasi kita dan kemudian kita akan mendapatkan umpan balik mengenai hal-hal yang perlu
diperbaiki. Ketiga, evaluasi dengan menganalisa data. Evaluasi ini biasanya dilakukan pada saat
aplikasi sudah mulai dipublikasikan secara luas sehingga kita bisa mendapatkan data-data
penggunaan secara sesungguhnya.

ISYS6619 – UX for Digital Business

 DAFTAR PUSTAKA

David Benyon. (2018). Designing User Experience: A guide to HCI, UX and interaction
design. 4th E. Pearson. Harlow, United Kingdom. ISBN: 978-1292155517

ISYS6619 – UX for Digital Business