MR3102

DASAR-DASAR REKAYASA FAKTOR MANUSIA

TUGAS USABILITY TESTING

Disusun oleh:
Athollah Iqbal Setyobudi 14417006
M. Naufal F. Sahab 14417021
Dhiya’ Rafiq Azka 14417044

PROGRAM STUDI MANAJEMEN REKAYASA

FAKULTAS TEKNOLOGI INDUSTRI
INSTITUT TEKNOLOGI BANDUNG
2019
 USABILITY TESTING:
Severity Test
Severity test dilakukan untuk mengetahui tingkat keparahan dari masalah yang
diidentifkasi pada usability testing serta langkah yang perlu diambil di masa depan.
Pemberian rating dalam severity test berlandaskan tiga hal, yaitu impact (dampak),
frequency (frekuensi), dan persistence.

Rating:
0: Tidak ada masalah.
1: Cosmetic problem; harus dibenahi jika jadwal memungkinkan.
2: Grammatical, spelling, or other errors; harus dibenahi karena dapat memengaruhi
impresi pengguna terhadap interface dan penciptanya, tetapi tidak memengaruhi
usabilitas.
3: Masalah minor; harus dibenahi jika mungkin karena dapat mengganggu pengguna,
tetapi tidak memengaruhi pengguna dalam mencapai suatu tujuan.
4: Masalah mayor; penting untuk dibenahi karena mempengaruhi kemampuan pengguna
mencapai tujuannya.
5: Catastrophic problem; harus dibenahi sebelum produk di-release

1. Website yang dianggap baik (Starbucks)

Problem Avg.
# Location Problem Description Sahab Atho Rafiq Severity
Rating
Redundant errors without
1 Sign Up 4 4 4 4
solution recommendation

Pada website Starbucks, terdapat satu masalah yang teridentifikasi.

Masalah tersebut berada pada saat melakukan sign up. Secara spesifik,
permasalahannya adalah tidak dapat dilakukan sign up (muncul tulisan “There was
an unexpected error”). Namun, tidak terdapat solusi untuk permasalahan ini,
sehingga pengguna tidak dapat melakukan tujuannya untuk sign up. Oleh karena
itu, penulis memberi nilai rating 4 untuk masalah ini. Alasannya adalah jika tidak
dibenahi/diperbaiki, pengguna tidak dapat sign up (tidak mencapai tujuannya).
 2. Website yang dianggap buruk (BPS)

Problem Avg.
# Location Problem Description Sahab Atho Rafiq Severity
Rating
Layout
1 Tidak full 3 3 3 3
website
Tidak tertera sequence
Suatu halaman
2 untuk mencapai halaman 3 3 3 3
pada website
tersebut
Setiap memilih next page,
3 Pencarian tampilan akan kembali ke 4 4 4 4
kategori pertama

Pada website BPS, terdapat tiga masalah yang teridentifikasi. Masalah

tersebut berada layout website, suatu halaman tertentu pada website, dan pada saat
melakukan pencarian. Masalah pada layout website adalah layout-nya tidak
memenuhi layer (tidak fullscreen), sehingga halaman website terkesan lebih kecil
karena ada ruang yang tidak digunakan. Pada suatu halaman tertentu pada website,
permasalahannya adalah tidak terdapat/tertulis sequence untuk mencapai halaman
tersebut, sehingga pengguna harus mengulang seluruh rangkaian proses jika
melakukan suatu kesalahan. Kedua permasalahan tersebut merupakan masalah
yang minor karena dapat mengganggu pengguna, tetapi secara garis besar tidak
memengaruhi usabilitas pengguna. Oleh karena itu, penulis memberi rating 3
untuk kedua masalah tersebut. Pada saat melakukan pencarian, terdapat suatu
masalah saat memilih next page, yaitu tampilan website akan kembali ke kategori
pertama. Hal tersebut dapat membuat pengguna tidak mencapai tujuannya untuk
melihat next page. Oleh karena itu penulis memberi rating 4 untuk masalah ini.
 USABILITY TESTING:
Heuristic Test
Heuristic test dilakukan dengan melakukan penilaian terhadap sepuluh kategori
penilaian usability yang terlebih dahulu diidentifikasi item-item nya. Berikut adalah
sepuluh kategori penilaian usability dalam heuristic test beserta item-item dari masing-
masing kategori yang penulis identifikasi berdasarkan definisi kategori dan dengan
melihat penelitian-penelitian lain yang pernah dilakukan:

No Kategori
1 Validity of system status
Match between system and the
2
real world
3 User control and freedom
4 Consistency and standards
Help users recognize, diagnose,
5 The site recommends a solution in order to
and recover from errors
6 Error prevention
Item
The site always shows the status of an on-
going operation
It is easy to know the current location within
the overall map of the site
It is clear what information is available at
current location
It is clear where you can go from current
location
The site is using animation/image that help
users understand about its features
The words, phrases and concepts used are
familiar
The site has an accessible emergency exit to
the homepage
It is easy to undo my work
Menus are appearing in standard web style
Link labels match destination page header/title
The site supports all major browsers
The site gives a clear error message
recover from errors
There is an information about the criteria of a
form (password/mail etc.)
There is a notification/sign if user have not
filled an instruction/form
No Kategori Item
Available actions are always clearly presented
7 Recognition rather than recall On-going operation/process always described
clearly
The site provides shortcuts for the experienced
users
8 Flexibility and efficiency of use
The site always displays only relevant UI
elements and commands.
Color choices allow for easy readability
9 Aesthetic and minimalist design Font choices allow for easy readability
There is no unnecessary/irrelevant information
The site has a FAQ feature that can be
10 Help and documentation accessed easily
The site has a useful help/manual feature

Selanjutnya, dilakukan penilaian untuk website yang dianggap baik (starbucks.com)

dan yang dianggap buruk (bps.go.id) untuk masing-masing item oleh penulis (tiga orang).
Skor item kemudian ditentukan dari modus nilai dari ketiga penguji, dan nilai kategori
ditentukan dari nilai modus item-item nya. Berikut adalah hasil penilaian untuk kedua
website:

1. Website yang dianggap baik (Starbucks)

Item
Sahab Atho Rafiq Category
Score
Validity of system status High
The site always shows the status of an on-
Medium Medium Low Medium
going operation
It is easy to know the current location within
High High High High
the overall map of the site
It is clear what information is available at
High High High High
current location
It is clear where you can go from current
High High High High
location
Match between system and the real world Medium
 Item
Sahab Atho Rafiq Category
Score
The site is using animation/image that help
Low Low Low Low
users understand about its features
The words, phrases and concepts used are
High High High High
familiar
User control and freedom High
The site has an accessible emergency exit to
Medium High High High
the homepage
It is easy to undo my work High High High High
Consistency and standards High
Menus are appearing in standard web style High High High High
Link labels match destination page
High High High High
header/title
The site supports all major browsers High High High High
Help users recognize, diagnose, and
Low
recover from errors
The site give a clear error message Low Low Low Low
The site recommends a solution in order to
Low Low Low Low
recover from errors
Error prevention High
There is an information about the criteria of a
High High High High
form (password/mail etc.)
There is a notification/sign if user have not
High High High High
filled an instruction/form
Recognition rather than recall High
Available actions are always clearly
High High High High
presented
On-going operation/process always
Medium High High High
described clearly
Flexibility and efficiency of use Medium
The site provides shortcuts for the
Low Low Low Low
experienced users
 Item
Sahab Atho Rafiq Category
Score
The site always displays only relevant UI
High High High High
elements and commands.
Aesthetic and minimalist design High
Color choices allow for easy readability High High High High
Font choices allow for easy readability High High High High

There is no unnecessary/irrelevant
High High High High
information
Help and documentation Low
The site has a FAQ feature that can be
Low Low Low Low
accessed easily
The site has a useful help feature Low Low Low Low

Dari tabel di atas, dapat dilihat bahwa terdapat 6 (enam) kategori bernilai
“high”, 2 (dua) kategori bernilai “medium”, dan 2 (dua) kategori bernilai “low”.
Dua kategori bernilai “low” luput dari perhatian penulis pada saat mengidentifikasi
bahwa website starbucks.com adalah contoh yang usability nya baik pada tugas
sebelumnya. Kategori pertama yang bernilai “low” adalah “Help users recognize,
diagnose, and recover from errors”. Kategori tersebut bernilai “low” karena
penulis menemui bahwa tidak ada keterangan jelas maupun rekomendasi solusi
saat terjadi error ketika penulis mencoba registrasi di website Starbucks.
 Kemudian, kategori kedua adalah “Help and documentation”, yang disebabkan
oleh tidak adanya fitur help atau petunjuk manual dari website dan fitur frequently
asked question (FAQ). Pada awal pemilihan website Starbucks sebagai website yang
baik, penulis memang tidak mencari tombol tersebut karena secara sekilas penggunaan
penulis tidak menemui kesulitan apapun sehingga tidak perlu tombol FAQ ataupun
help.

2. Website yang dianggap buruk (BPS)

Item
Sahab Atho Rafiq Category
Score
Validity of system status High
The site always shows the status of an on-
Medium Medium Medium Medium
going operation
It is easy to know the current location
High Medium High High
within the overall map of the site
It is clear what information is available at
High High High High
current location
 Item
Sahab Atho Rafiq Category
Score
It is clear where you can go from current
High High High High
location
Match between system and the real
Medium
world
The site is using animation/image that help
Medium Medium High Medium
users understand about its features
The words, phrases and concepts used are
Medium Medium Medium Medium
familiar
User control and freedom Medium

The site has an accessible emergency exit

High Medium High High
to the homepage
It is easy to undo my work Low Low Low Low

Consistency and standards Medium

Menus are appearing in standard web style Medium Medium High Medium
Link labels match destination page
Medium Medium Medium Medium
header/title
The site supports all major browsers High High High High
Help users recognize, diagnose, and
Medium
recover from errors
The site gives a clear error message Medium Medium High Medium
The site recommends a solution in order to
Low Low Low Low
recover from errors
Error prevention High
There is an information about the criteria
High Medium High High
of a form (password/mail etc.)
There is a notification/sign if user have not
High High High High
filled an instruction/form
Recognition rather than recall Low

Available actions are always clearly

Low Low Low Low
presented
On-going operation/process always
Low Low Low Low
described clearly
 Item
Sahab Atho Rafiq Category
Score
Flexibility and efficiency of use Low
The site provides shortcuts for the
Low Low Low Low
experienced users
The site always displays only relevant UI
Low Low Medium Low
elements and commands.
Aesthetic and minimalist design High
Color choices allow for easy readability Medium Medium High Medium
Font choices allow for easy readability Medium Medium High Medium
There is no unnecessary/irrelevant
Medium High High High
information
Help and documentation Medium
The site has a FAQ feature that can be
Low Medium Low Low
accessed easily
The site has a useful help/manual feature High High High High

Dari tabel di atas dapat dilihat bahwa terdapat 3 (tiga) kategori bernilai
“high”, 5 (lima) kategori bernilai “medium”, dan 2 (dua) kategori bernilai “low”.
Salah satu penyebab banyaknya nilai “medium” adalah pada masing-masing
kategori terdapat item yang terpenuhi dengan sangat baik, tetapi terdapat juga yang
tidak dipenuhi sama sekali. Sebagai contoh, pada kategori “help and
documentation”, dimana website memiliki fitur manual yang sangat lengkap
namun tidak memiliki fitur FAQ sama sekali, kemudian pada kategori “user
control and freedom” dimana website memiliki tombol emergency exit (ke home)
yang sangat jelas yakni “beranda”, namun tidak memiliki fitur untuk meng-undo
satu langkah seperti tombol “back” atau lainnya.
Kemudian, keberadaan dua kategori dengan nilai “low” memang sudah
disadari penulis sejak awal. Pada kategori “recognition and recall”, website bps
sangatlah buruk. Pengguna sampai harus membaca manual untuk memahami
fungsi dari tombol-tombol pada bagian kiri seperti pada gambar di bawah ini:
 Selanjutnya, pada kategori “flexibility and efficiency of use”, nilainya juga
“low” karena website ini tidak memberi keuntungan kecepatan kepada
experienced users berupa shortcut, dan juga tampilan yang sangat penuh informasi
(seperti gambar di bawah ini) sama sekali tidak menguntungkan inexperienced
users.
 RINGKASAN PAPER

A Comparison of Usability Testing Methods in Smartphone Evaluation

(Andrie Pasca Hendradewa dan Yassierli, 2019)

Jurnal ini menjelaskan mengenai usability testing sebuah ponsel cerdas. Penelitian
ini bertujuan untuk membandingkan efektivitas metode usability testing dalam
mengidentifikasi permasalahan pada desain ponsel cerdas. Metode usability testing yang
digunakan yaitu Think-Aloud (TA), Cognitive Walkthrough (CW), dan Heuristic
Evaluation. TA merupakan metode pengujian melalui penjelasan verbal dari end user
berdasarkan pengalamannya dalam menggunakan produk. CW merupakan metode yang
melibatkan ahli dalam mengevaluasi produk berdasarkan eksplorasi. HE merupakan
metode yang melibatkan ahli dalam pengujian berdasarkan prinsip usability. Pada
penelitian ini, metode HE yang digunakan merupakan model yang dikembangkan oleh
Inostroza et al. (2016), yaitu menggunakan 12 dimensi dasar untung mengevaluasi
usability dari ponsel cerdas layar sentuh.
Penelitian ini menggunakan ponsel Samsung S4 sebagai objek evaluasi. Peserta
penelitian dibagi kedalam tiga kelompok. Kelompok pertama merupakan pengguna
Android yang belum pernah menggunakan Samsung S4. Kelompok kedua dan ketiga
berisikan masing-masing 8 ahli dalam usability dan desain antarmuka pengguna dan cakap
dalam menggunakan ponsel cerdas. Masalah usability yang ditemukan oleh ketiga
kelompok diberi bobot oleh tiga ahli antarmuka pengguna menggunakan severity rating
dalam rentang 0 hingga 4 (Nielsen, 1995). Para peserta diminta untuk melakukan perintah-
perintah dalam menggunakan ponsel cerdas, seperti menjawab panggilan telepon,
memasang aplikasi, dan mengambil gambar menggunakan kamera. Terdapat 15 perintah
yang dilakukan oleh peserta.

Kemudian, ketiga metode pengujian usability dibandingkan berdasarkan kriteria

berikut: validity (validitas), thoroughness (ketelitian), effectiveness (kefektifan),
reliability (reliabilitas), dan severity rating (tingkat keparahan) (Hartson et al., 2003).
Validitas merupakan ukuran kemampuan metode pengujian usability dalam melakukan
pengujian seperti seharusnya. Ketelitian adalah ukuran sejauh mana metode pengujian
usability dapat mengidentifikasi masalah yang terkait untuk masalah nyata yang ada.
Kefektifan merupakan hasil dari perkalian nilai validitas dan ketelitian, dengan rentang
nilai 0 hingga 1. Reliabilitas merupakan ukuran konsistensi peserta. Tingkat keparahan
merupakan ukuran seberapa baik metode pengujian usability menentukan masalah
terpenting.
 Hasil penelitian ini menunjukkan model dari Inostroza et al. (2016) terlihat lebih
unggul dalam mengevaluasi ponsel cerdas layar sentuh, meskipun TA dan CW juga
dibutuhkan sebagai metode pelengkap. Hasil keseluruhan dalam pengukuran performa
metode pengukuran menunjukkan HE memiliki tingkat validitas dan ketelitian tertinggi,
sehingga HE merupakan metode paling efektif. Selain itu, hasil juga menunjukkan HE
memiiki tingkat keparahan dibanding TA dan CW. Namun, jika angka tingkat keparahan
dibulatkan, akan dihasilkan angka yang sama, sehingga memperbaiki masalah keparahan
masuk dalam prioritas rendah (Nielsen, 1995).
Selanjutnya, berdasarkan jumlah peserta atau evaluator yang dibutuhkan untuk
menemukan 99% masalah, HE merupakan metode yang membutuhkan jumlah evaluator
paling sedikit, sehingga biaya yang dibutuhkan lebih sedikit. Angka tingkat keefektifan
tertinggi juga dimiliki oleh HE. Namun, terdapat masalah usability yang ditemukan oleh
metode lainnya dan tidak ditemukan oleh HE. Hal ini ditunjukkan oleh angka efektivitas
HE yang secara relatif tidak berbeda jauh dengan metode lainnya.
Berdasarkan karakteristik usability (ISO/IEC 25010), metode HE memiliki
kelebihan dalam mengidentifikasi masalah mengenai error protection dan operability
pengguna, sedangkan CW memiliki kelebihan dalam mengidentifikasi aspek learnability
dan estetika antarmuka pengguna. Selain itu, aspek appropriate recognize ability dapat
diidentifikasi dengan baik oleh metode TA dan HE. Penelitian ini juga menunjukkan TA
dan CW juga dapat digunakan sebagai pelengkap untuk menemukan masalah usability
lebih banyak. Kemudian, penelitian ini juga menunjukkan metode HE membutuhkan 8
“spesialis ganda” sebagai evaluator untuk menemukan masalah usability pada ponsel
cerdas.
 REFERENSI

https://uxdesign.cc/user-experience-is-one-of-the-hottest-topics-in-day-today-designers-life-
fb314978e1ff
https://uxdesign.cc/10-usability-heuristics-every-designer-should-know-129b9779ac53
https://issuu.com/amnotte/docs/notte-heuristic-evaluation-finalreport-60120-fall2