LECTURE NOTES

ISYS6601 - User Experience Research

and Design
Week 7

Techniques for Designing UX :

Evaluation
 LEARNING OUTCOMES

1. Peserta diharapkan mampu mengaplikasikan teknik – teknik yang digunakan dalam

mendesain pengalaman pengguna / user experience dalam pengembangan sistem

OUTLINE MATERI :

1. Introduction

2. Data analytics

3. Expert Evaluation

4. Participant-based Evaluation

5. Evaluation in practice

6. Evaluation: further issues

 Introduction
Evaluasi terkait erat dengan aktivitas utama lainnya dari desain sistem interaktif, pemahaman,
desain, dan visi.

Evaluasi terjadi selama proses desain interaksi. Pada tahap yang berbeda, metode yang berbeda
akan lebih efektif atau kurang.

Bentuk bayangan sistem masa depan juga penting untuk apa yang dapat dievaluasi

Mendapatkan umpan balik untuk menginformasikan konsep desain awal

Anda mungkin perlu mengevaluasi konsep awal, terutama jika penerapannya baru. Di sini,
prototipe kertas cepat dapat membantu, atau bahkan perangkat lunak jika ini dapat diproduksi
dengan cepat. Evaluasi produk pesaing atau versi teknologi sebelumnya juga dapat dimasukkan
ke dalam proses desain pada tahap ini.

Memutuskan di antara opsi desain yang berbeda

Selama pengembangan, perancang harus memutuskan di antara opsi-opsi, misalnya antara input
suara dan interaksi layar sentuh untuk perencana dinding rumah tangga elektronik bersama atau
antara urutan yang berbeda untuk fungsi pemrosesan pesanan.

Memeriksa masalah kegunaan

Pengujian akan mengidentifikasi masalah potensial setelah versi stabil dari teknologi tersedia. Ini
perlu direspons saat peserta mengaktifkan suatu fungsi, tetapi tidak memerlukan seluruh sistem
untuk beroperasi penuh (prototipe horizontal).

Menilai kegunaan produk jadi

Ini mungkin untuk menguji terhadap pedoman internal, atau standar kegunaan formal seperti ISO
9241, atau untuk memberikan bukti kegunaan yang diperlukan oleh pelanggan, misalnya waktu
untuk menyelesaikan rangkaian operasi tertentu.

ISYS6601 – User Experience Research and Design

 Data analytics
Analisis Data

Sudah sering dikatakan bahwa ini adalah era 'data besar'. Sejumlah besar data dihasilkan di
berbagai bidang.

Internet of Things (IoT) mengacu pada keterkaitan sensor dan perangkat satu sama lain dan di
seluruh internet.

Melalui koneksi ini, sejumlah besar data dikumpulkan dan diproses, berpotensi memberikan
wawasan baru tentang banyak aspek lingkungan kita.

Perangkat seluler mengumpulkan data pribadi dalam jumlah yang semakin meningkat, seperti
jumlah langkah yang diambil seseorang dalam sehari.

Sensor lain mengukur detak jantung, tekanan darah, atau tingkat kegembiraan seseorang. Seperti
IoT, data ini berpotensi memberikan wawasan baru tentang perilaku dan kinerja orang.

Dalam hal mengevaluasi UX dan aspek lain dari desain sistem interaktif, analisis data memberi
desainer data tentang kinerja sistem dan perilaku individu dalam berinteraksi dengan sistem dan
layanan.

Analisis data juga memberi desainer visualisasi data dan alat yang menarik untuk membantu
memanipulasi dan menganalisis data.

Penyedia analisis data yang paling terkenal adalah Google Analytics.

Ini adalah layanan gratis yang menyediakan data tentang asal pengguna situs web dan aplikasi
(termasuk negara mereka, dan informasi yang berpotensi lebih mendetail tentang lokasi dan
perangkat yang mereka gunakan) dan apa yang mereka lakukan saat berinteraksi dengan sistem
(seperti bagaimana lama mereka menggunakan sistem, halaman mana dari situs yang mereka
kunjungi, urutan halaman yang mereka lihat, dan sebagainya).

ISTS6601 – User Experience Research and Design

Alat analitik data lainnya akan memberikan 'peta panas' dari situs web yang menunjukkan bagian
mana dari laman yang paling sering diklik pengunjung (Gambar 10.5).

Peta panas juga dapat dihasilkan dari perangkat lunak pelacak mata yang mengukur tempat orang
melihat pada layar.

Alat lain akan memungkinkan analis untuk mengikuti perilaku penjelajahan orang secara real
time, mengamati apa yang mereka klik, berapa lama mereka menghabiskan waktu di bagian
tertentu dan apakah ada momen layanan tertentu di mana orang keluar dari perjalanan pelanggan.

Kemampuan untuk memahami perilaku pengguna melalui analitik data, dikombinasikan dengan
kemampuan untuk menyebarkan versi baru perangkat lunak dengan cepat, mengubah sifat
pengembangan perangkat lunak interaktif.

Misalnya, perusahaan game yang telah menerapkan game di Facebook dapat melihat apa yang
dilakukan pemain secara real time.

ISTS6601 – User Experience Research and Design

 Expert Evaluation
Metode evaluasi yang sederhana, relatif cepat dan efektif adalah dengan mendapatkan desain
interaksi, atau kegunaan, ahli untuk melihat sistem dan mencoba menggunakannya.

Pendekatan umum untuk evaluasi pakar adalah bahwa pakar tersebut akan menjalankan tugas-
tugas representatif atau skenario penggunaan. Selain itu, mereka mungkin mengadopsi salah satu
persona. Jadi evaluasi ahli terikat pada desain berbasis skenario (dan inti dari itu).

Evaluasi heuristik mengacu pada sejumlah metode di mana seseorang yang terlatih dalam HCI
dan desain interaksi memeriksa desain yang diusulkan untuk melihat bagaimana mengukurnya
terhadap daftar prinsip, pedoman, atau 'heuristik' untuk desain yang baik.

Di bawah ini adalah daftar singkat dari prinsip desain - atau heuristik

Diskon rekayasa kegunaan

Daftar prinsip desain di atas dapat diringkas oleh tiga prinsip kegunaan yang dapat dipelajari
(prinsip 1-4), efektivitas (prinsip 5-9) dan akomodasi (prinsip 10-12).

Jika waktunya sangat singkat, tinjauan singkat desain terhadap tiga serangkai ini dapat
menghasilkan hasil yang cukup berguna. Ini dikenal sebagai evaluasi heuristik diskon.

Pendekatan evaluasi ini dipelopori oleh Jakob Nielsen (1993) dan secara antusias diikuti oleh
banyak praktisi evaluasi yang dibatasi oleh waktu. Ini sekarang digunakan untuk pendekatan
'cepat dan kotor' apa pun untuk evaluasi yang tujuannya adalah untuk mendapatkan umpan balik
yang berguna dan terinformasi sesegera mungkin.

Panduan kognitif

ISTS6601 – User Experience Research and Design

Panduan kognitif adalah teknik berbasis kertas yang ketat untuk memeriksa melalui desain
terperinci dan logika langkah-langkah dalam suatu interaksi. Ini berasal dari pandangan pengolah
informasi manusia tentang kognisi dan terkait erat dengan analisis tugas.

Selain dari pendekatan sistematisnya, kekuatan besar dari penelusuran kognitif adalah bahwa hal
itu didasarkan pada teori yang mapan daripada coba-coba atau pendekatan berbasis heuristik.

Input untuk proses tersebut adalah:

Pemahaman tentang orang-orang yang diharapkan menggunakan sistem

Serangkaian skenario konkret yang mewakili urutan aktivitas (a) sangat umum dan (b) tidak
umum tetapi kritis

Penjelasan lengkap tentang antarmuka ke sistem - ini harus terdiri dari representasi bagaimana
antarmuka disajikan, mis. desain layar, dan urutan tindakan yang benar untuk mencapai tugas
skenario, biasanya sebagai analisis tugas hierarki (HTA).

ISTS6601 – User Experience Research and Design

 Participant-based Evaluation
Evaluasi peserta bertujuan untuk melakukan hal itu. Ada banyak cara untuk melibatkan orang
yang membutuhkan berbagai tingkat kerjasama.

Metodenya berkisar dari desainer yang duduk dengan peserta saat mereka bekerja melalui sistem
hingga membiarkan orang sendirian dengan teknologi dan mengamati apa yang mereka lakukan
melalui cermin dua arah.

Evaluasi koperasi

Andrew Monk dan rekan (Monk et al., 1993) di University of York (Inggris) mengembangkan
evaluasi kooperatif sebagai cara untuk memaksimalkan data yang dikumpulkan dari sesi
pengujian sederhana. Teknik ini 'kooperatif' karena partisipan bukan subjek pasif tetapi bekerja
sebagai co-evaluator (Gambar 10.6). Ini telah terbukti menjadi teknik yang andal tetapi ekonomis
dalam berbagai aplikasi. Tabel 10.1 dan contoh pertanyaan diedit dari Lampiran 1 di Monk et al.
(1993).

Evaluasi heuristik partisipatif

Para pengembang evaluasi heuristik partisipatif (Muller et al., 1998) mengklaim bahwa evaluasi
ini memperluas kekuatan evaluasi heuristik tanpa menambah upaya yang diperlukan.

Prosedur penggunaan evaluasi heuristik partisipatif sama seperti versi pakar, tetapi peserta
dilibatkan sebagai 'pakar domain kerja' bersama pakar kegunaan dan harus diberi pengarahan
tentang apa yang diperlukan.

Penemuan bersama

Penemuan bersama adalah teknik naturalistik informal yang sangat baik untuk menangkap kesan
pertama. Paling baik digunakan pada tahap desain selanjutnya.

Pendekatan standar dalam mengamati setiap orang berinteraksi dengan teknologi, dan mungkin
'berpikir keras' saat melakukannya, dapat bervariasi dengan meminta peserta mengeksplorasi
teknologi baru secara berpasangan.

ISTS6601 – User Experience Research and Design

Lab Hidup

Living Labs adalah pendekatan evaluasi Eropa yang bertujuan untuk melibatkan sebanyak
mungkin orang dalam mengeksplorasi teknologi baru. Ada sejumlah struktur berbeda untuk
Living Labs. Misalnya, Nokia telah bekerja sama dengan akademisi dan produsen perangkat
seluler lainnya untuk membagikan ratusan sistem prototipe awal kepada siswa untuk melihat
bagaimana mereka menggunakannya. Laboratorium lain bekerja dengan orang tua di rumah
mereka untuk mengeksplorasi jenis teknologi rumah baru. Lainnya bekerja dengan pelancong
dan migran

pekerja untuk mengungkap apa yang bisa dilakukan teknologi baru untuk mereka.

Ide utama di balik Living Labs adalah bahwa orang-orang bersedia dan mampu berkontribusi
untuk merancang teknologi baru dan layanan baru dan masuk akal bagi perusahaan untuk bekerja
dengan mereka. Fakta bahwa diskusi dan evaluasi berlangsung dalam konteks kehidupan
masyarakat, dan seringkali dengan jumlah orang yang besar, memberikan data tersebut validitas
ekologis yang kuat.

Eksperimen terkontrol

Cara lain untuk melakukan evaluasi peserta adalah dengan membuat percobaan terkontrol.

Eksperimen terkontrol sesuai jika desainer tertarik pada fitur tertentu dari suatu desain, mungkin
membandingkan satu desain dengan desain lainnya untuk melihat mana yang lebih baik. Untuk
melakukan ini dengan kepastian, percobaan perlu dirancang dan dijalankan dengan hati-hati.

Hal pertama yang harus dilakukan saat mempertimbangkan pendekatan eksperimen terkontrol
untuk evaluasi adalah menetapkan apa yang Anda lihat.

Setelah variabel independen dan dependen disetujui, eksperimen perlu dirancang untuk
menghindari sesuatu yang menghalangi hubungan antara variabel independen dan dependen.

Eksperimen terkontrol sering kali akan menghasilkan beberapa data kuantitatif: ukuran nilai
dependen.

Data ini kemudian dapat dianalisis menggunakan statistik, misalnya membandingkan waktu rata-
rata untuk melakukan sesuatu di dua kondisi, atau jumlah klik rata-rata.

Jadi, untuk melakukan eksperimen terkontrol, Anda memerlukan beberapa pemahaman dasar
tentang teori probabilitas, teori eksperimental, dan, tentu saja, statistik.

ISTS6601 – User Experience Research and Design

 Evaluation in practice
Langkah-langkah utama dalam melaksanakan proyek evaluasi yang sederhana namun efektif
adalah:

• Menetapkan tujuan evaluasi, peserta yang dituju dalam evaluasi, konteks penggunaan dan
keadaan teknologi; dapatkan atau buat skenario yang menggambarkan bagaimana
aplikasi akan digunakan.

• Pilih metode evaluasi. Ini harus merupakan kombinasi dari metode review berbasis ahli
dan metode partisipan.

• Lakukan tinjauan ahli.

• Rencanakan pengujian peserta; gunakan hasil tinjauan ahli untuk membantu

memfokuskan hal ini.

• Rekrut orang dan atur tempat dan peralatan pengujian.

• Lakukan evaluasi.

• Analisis hasil, dokumentasikan dan laporkan kembali ke desainer.

Tujuan evaluasi

Menentukan tujuan evaluasi membantu menentukan jenis data yang diperlukan. Berguna untuk
menuliskan pertanyaan-pertanyaan utama yang perlu Anda jawab.

Misalnya dalam evaluasi konsep awal untuk lingkungan pelatihan virtual, tujuannya adalah
untuk menyelidiki:

Apakah pelatih memahami dan menyambut baik ide dasar lingkungan pelatihan virtual?

Apakah mereka akan menggunakannya untuk memperpanjang atau mengganti kursus pelatihan
yang ada?

Seberapa dekat seharusnya lingkungan virtual dengan kenyataan?

Fitur apa yang diperlukan untuk mendukung pencatatan dan administrasi?

ISTS6601 – User Experience Research and Design

Orang-orang

Orang yang paling penting dalam evaluasi adalah orang yang akan menggunakan sistem.
Pekerjaan analisis seharusnya mengidentifikasi karakteristik orang-orang ini, dan
merepresentasikannya dalam bentuk persona.

Data yang relevan dapat mencakup pengetahuan tentang aktivitas yang akan didukung oleh
teknologi, keterampilan yang berkaitan dengan perangkat masukan dan keluaran, pengalaman,
pendidikan, pelatihan, dan kemampuan fisik dan kognitif.

Anda perlu merekrut setidaknya tiga dan lebih disukai lima orang untuk berpartisipasi dalam tes.

Keterikatan

Game dan aplikasi lain yang dirancang untuk hiburan menimbulkan pertanyaan berbeda untuk
evaluasi. Meskipun kami mungkin masih ingin mengevaluasi apakah fungsi dasar untuk bergerak
di sekitar lingkungan game, misalnya, mudah dipelajari, efisiensi dan efektivitas dalam arti yang
lebih luas menjadi kurang relevan. 'Tujuan' di sini adalah untuk menikmati permainan, dan waktu
untuk menyelesaikan, misalnya, level tertentu terkadang kurang penting daripada mengalami
peristiwa yang terjadi di sepanjang jalan. Demikian pula, aplikasi multimedia sering kali
diarahkan pada pengguna yang menarik atau membangkitkan respons emosional daripada
pencapaian tugas tertentu dalam periode waktu terbatas. Dalam konteks tipe ini,

evaluasi berpusat pada menggali pengalaman pengguna melalui wawancara atau kuesioner.

Read dan MacFarlane (2000), misalnya, menggunakan skala peringkat yang disajikan sebagai
'pengukur kesenangan vertikal wajah tersenyum' saat bekerja dengan anak-anak untuk
mengevaluasi antarmuka baru. Pengukuran lain yang dapat dipertimbangkan adalah observasi:
postur atau ekspresi wajah pengguna, misalnya, dapat menjadi indikator keterlibatan dalam
pengalaman.

Rencana pengujian dan spesifikasi tugas

Sebuah rencana harus dibuat untuk memandu evaluasi. Rencana tersebut menentukan:

Tujuan sesi tes

Rincian praktis, termasuk di mana dan kapan akan dilakukan, berapa lama setiap sesi akan
berlangsung, spesifikasi peralatan dan bahan untuk pengujian dan pengumpulan data, dan
dukungan teknis yang mungkin diperlukan.

ISTS6601 – User Experience Research and Design

Jumlah dan jenis peserta

Tugas yang harus dilakukan, dengan definisi penyelesaian yang berhasil. Bagian ini juga
menjelaskan data apa yang harus dikumpulkan dan bagaimana data itu akan dianalisis.

Melaporkan hasil evaluasi kegunaan kepada tim desain

Betapapun kompeten dan tuntasnya evaluasi, itu hanya bermanfaat jika hasilnya ditindaklanjuti.
Meskipun Anda adalah desainer dan evaluator, Anda memerlukan daftar temuan yang
terorganisir sehingga Anda dapat memprioritaskan pekerjaan desain ulang.

Jika Anda melaporkan kembali ke tim desain / pengembangan, penting bagi mereka untuk segera
melihat apa masalahnya, seberapa signifikan konsekuensinya, dan idealnya apa yang perlu
dilakukan untuk memperbaikinya.

Laporan harus disusun berdasarkan area sistem yang bersangkutan, atau berdasarkan tingkat
keparahan masalah.

Untuk yang terakhir, Anda dapat mengadopsi skala tiga atau lima poin, mungkin berkisar dari
'akan mencegah peserta untuk melangkah lebih jauh' ke 'iritasi ringan'.

ISTS6601 – User Experience Research and Design

 Evaluation: further issues
Langkah-langkah utama dalam melaksanakan proyek evaluasi yang sederhana namun efektif
adalah:

1. Menetapkan tujuan evaluasi, peserta yang dituju, konteks penggunaan dan keadaan
teknologi; dapatkan atau buat skenario yang menggambarkan bagaimana aplikasi akan
digunakan.

2. Pilih metode evaluasi. Ini harus merupakan kombinasi dari metode review berbasis ahli
dan metode partisipan.

3. Lakukan tinjauan ahli.

4. Rencanakan pengujian peserta; gunakan hasil tinjauan ahli untuk membantu

memfokuskan hal ini.

5. Rekrut orang dan atur tempat dan peralatan pengujian.

6. Lakukan evaluasi.

7. Analisis hasil, dokumentasikan dan laporkan kembali ke desainer.

ISTS6601 – User Experience Research and Design

 KESIMPULAN

Evaluasi adalah proses utama keempat dari desain UX yang kami identifikasi di Sesi 2. Evaluasi
yang kami maksud adalah meninjau, mencoba, atau menguji ide desain, perangkat lunak, produk,
atau layanan untuk mengetahui apakah memenuhi beberapa kriteria.

Kriteria ini sering diringkas dengan pedoman untuk desain yang baik yang diperkenalkan, yaitu
bahwa sistem tersebut dapat dipelajari, efektif dan akomodatif. Di lain kali desainer ingin fokus
pada UX dan mengukur kenikmatan, keterlibatan, dan apresiasi estetika. Atau desainernya
mungkin lebih tertarik pada beberapa karakteristik desain lainnya seperti apakah halaman web
tertentu telah diakses, atau apakah momen layanan tertentu menyebabkan pengguna menjauh
dari interaksi. Desainer UX tidak hanya mementingkan fitur permukaan seperti desain ikon, atau
pilihan warna, mereka juga tertarik pada apakah sistem tersebut sesuai dengan tujuannya,
menyenangkan dan menarik, dan apakah orang dapat dengan cepat memahami dan menggunakan
layanan.

Evaluasi adalah pusat dari desain yang berpusat pada manusia dan dilakukan sepanjang proses
desain kapan pun seorang desainer perlu memeriksanya ide, tinjau konsep desain atau dapatkan
reaksi terhadap desain fisik

ISTS6601 – User Experience Research and Design

 DAFTAR PUSTAKA

1. Benyon, David. (2019). Designing User Experience: A guide to HCI, UX and interaction
design (4th Edition). 04. Pearson. United Kingdom. ISBN-13: 978-1292155517. Chapter
10

ISTS6601 – User Experience Research and Design