Human Computer Interaction

Week 8
Evaluation

1
Introduction
 Evaluasi adalah suatu teknik yang digunakan
untuk menilai suatu desain dan mencoba
suatu sistem apakah telah bekerja seperti
yang diharapkan serta sesuai dengan
kebutuhan user.
 Evaluasi dapat dilakukan berulang kali karena
lebih mudah dan lebih murah untuk
mengubah desain pada saat awal dari pada
saat desain hampir selesai.

2
Evaluasi tahap awal
 Dilakukan untuk :
 Meramalkan usability produk
 Mengetahui apakan tim desain telah
mengerti kebutuhan user dengan melihat
bagaimana penggunaan sistem yang telah
ada ditempat kerja
 Mencoba ide-ide secara cepat dan informal

3
Evaluasi tahap akhir
 Dilakukan untuk
 Mengetahui kesulitan user, sehingga
produk dapat dimodifikasi sesuai dengan
kebutuhan mereka.
 Meningkatkan kualitas produk.

4
 Evaluation Factors………..(1)
 Kenali karakter User
 Apakah user sudah berpengalaman?
 Apakah user tidak pernah memakai
komputer?
 Bagaimana karakteristik psikologinya?
 Bagaimana fisiknya?
 Dan sebagainya

5
Evaluation Factors………..(2)
 Jenis aktifitas yang dilakukan user
 Apakah memerlukan audio?
Misalnya, untuk penunjuk arah pada mobil
sebaiknya menggunakan audio, karena
saat menyetir, sopir sulit sekali untuk
melihat ke monitor.

6
Evaluation Factors………..(3)
 Lingkungan evaluasi
 Evaluasi bisa dilakukan di tempat kerja
user atau di tempat kerja desainer (lab)
 Kalau di tempat kerja user, bisa pelajari
keadaan yang sebenarnya (real world),
tetapi bisa memanipulasi faktor-faktor yang
mempengaruhi user.
 Kalau di lab, tidak real world.

7
Evaluation Factors………..(4)
 Sifat software yang akan dievaluasi
 Mengevaluasi sketsa berbeda dengan
mengevaluasi produk yang telah jadi.
 Mengevaluasi software supermarket
berbeda dengan mengevaluasi software
edukasi untuk anak TK

8
Why do evaluation?
 Evaluasi dilakukan untuk mengerti
kebutuhan user dan masalah-masalah
yang dihadapi.
 Apabila desainer mengerti kebutuhan
user, maka desain yang dibuat akan
lebih baik.

9
 Formative vs. Summative
Evaluation
 Formative Evaluation dilakukan pada saat
software dikembangkan.
 Summative Evaluation dilakukan pada
saat software selesai dikembangkan.
 Fokus kita pada formative
evaluation, jadi yang dievaluasi
adalah prototypenya.

10
 Reasons for doing evaluations
 Evaluasi menghasilkan jawaban atas
pertanyaan “sejauh apa desain dapat
memenuhi kebutuhan user?”
 Dengan evaluasi dapat:
 Mengerti keadaan sesungguhnya (efek dari
pemakaian produk kita)
 Membandingkan beberapa desain.
 Mengembangkan sesuai dengan target yang
hendak dicapai
 Mengetahui apakah sudah memenuhi standar atau
belum
11
Evaluations in the life cycle
 Tujuan pada tahap awal desain:
 Memperkirakan usabilitynya.
 Menguji pengertian tim.
 Menguji coba prototype dengan cepat.
 Tujuan pada tahap akhir desain:
 Mengidentifikasi kesulitan user
 Memikirkan pengembangan produk

12
Evaluation Methods
 Observing and monitoring usage
 Collecting user’s opinion
 Experimenting & benchmarking
 Interpretive evaluation
 Predictive evaluation

13
 Evaluation Methods vs Reasons
X – very likely choice, x – less likely

Observati User’s Experiments Interpretive Predictive

on Opinion

Engineering x X X x
towards a
target
Understanding X X X
the real world

Comparing X X x X
Designs

Standard X
Conformance

14
 Observing and Monitoring
Usage…………….(1)
 Dapat dilakukan secara informal baik di
tempat kerja maupun di lab.
 Tujuannya untuk mengetahui bagaimana
user dapat berinteraksi dengan sistem
pada keadaan yang sesungguhnya.
 Biasanya pengamat menggunakan video
untuk merekam
 Kemungkinan terjadi Howthorne effect
15
Observing and Monitoring
Usage…………….(2)
 Verbal protocol (saat memakai
prototype user diminta berkomentar
atau diajak berdiskusi) akan membantu
menunjukkan apa yang dipikirkan user
 Prompting (desainer bertanya kepada
user sehingga user bisa berkomentar)

16
 Collecting Users’ Opinions
 Cocok untuk user yang banyak
 Tidak mungkin dilakukan dengan
mencoba langsung karena membutuhkan
waktu lama.
 Dapat dilakukan dengan cara:
 Interview
 Questioner

17
Interview
 Terstruktur  pertanyaan sudah disiapkan
dan disusun sedemikian rupa sehingga
mudah dianalisa.
 Pertanyaan yang baik:
 Tidak double barrel
 Harus netral
 Struktur pertanyaan:
 Terstruktur : Piramid (open to close question)

dan Funnel (close to open question)

 Tidak terstruktur: diamond (gabungan piramid

dan funnel) sehingga sulit untuk dianalisa

18
Questioner
 Pertanyaan harus jelas, jangan sampai
membingungkan
 Jangan terlalu banyak
 Adakan pilot study (dicoba untuk 10
orang dulu, jika baik coba lagi untuk
100 orang)

19
 Experiments and
Benchmarking
 Membutuhkan hipotesis, variabel-
variabel dan statistik.
 Pengendalian variabel sangat sulit
dilakukan karena nilainya masih
diperdebatkan, sehingga perlu dibuat
patokan atau pendekatan
(benchmarking)

20
 Interpretive Evaluation
 Tujuannya untuk membantu desainer
mengetahui bagaimana user
menggunakan sistem pada lingkungan
sesungguhnya dan bagaimana sistem
berintegrasi dengan kegiatan lain
 Cocok untuk software yang dipakai oleh
beberapa user sekaligus (groupware)

21
 Predictive Evaluation
 Tujuannya untuk memperkirakan
masalah yang akan dialami jika tanpa
melakukan percobaan pada user.
 Cocok bila waktu dan budget terbatas
 Tidak dilakukan oleh user tetapi
dilakukan oleh reviewer.

22
Methods Comparison
Metode Kelebihan Kekurangan
Dapat diaplikasikan secara Dapat mempengaruhi
Observasi dan
luas, berfokus pada kesulitan kelakuan user
pengawasan yang ada
Tidak membutuhkan biaya Kemungkinan mendapat
Pendapat user tinggi respon rendah
Eksperimen Menyediakan ukuran untuk Membutuhkan fasilitas yang
dan mengarahkan desain mahal
benchmarking
Memperlihatkan apa yang Membutuhkan keahlian
Interpretive sebenarnya terjadi di lapangan sosiologi
Kebanyakan form tidak Beberapa form mempunyai
Predictive membutuhkan sistem yang fokus luas
bekerja
23
Further Reading
 Preece, chapter 29, 30

24