Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 3, No. 5, Mei 2019, hlm. 4340-4348 http://j-ptiik.ub.ac.id

Evaluasi Usability Pada Website E-commerce XYZ Dengan Menggunakan

Metode Cognitive Walkthrough dan System Usability Scale (SUS)
Muhamad Arroofi Arga Kusumah1, Retno Indah Rokhmawati2, Faizatul Amalia3

Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: 1arga.arroofi@gmail.com, 2retnoindahr@ub.ac.id, 3faiz_amalia@ub.ac.id

Abstrak
XYZ merupakan sebuah e-commerce yang berjalan di berbagai platform, salah satunya adalah
website. XYZ menyediakan berbagai fitur yang menunjang pengguna untuk melakukan aktivitas jual
beli barang melalui website. Seiring berjalannya waktu, XYZ menjadi salah satu e-commerce yang
sangat populer. Untuk itu perlu diketahui hasil evaluasi aspek usability beserta permasalahan yang ada
pada website XYZ agar dapat mempertahankan dan meningkatkan pencapaian e-commerce XYZ. Aspek
usability yang dilakukan evaluasi adalah learnability, effectiveness, efficiency dan satisfaction. Metode
yang digunakan dalam penelitian ini adalah cognitive walkthrough, usability testing dan system usability
scale (SUS). Evaluasi menggunakan metode cognitive walkthrough dan usability testing dilakukan oleh
lima user XYZ yang belum pernah menggunakan website e-commerce XYZ untuk mengetahui
permasalahan yang ada beserta aspek learnability, effectiveness dan efficiency. Sedangkan untuk system
usability scale (SUS) responden berjumlah 20 orang yang sudah pernah menggunakan website e-
commerce XYZ untuk mengetahui aspek satisfaction. Setelah evaluasi dilakukan, melalui metode
cognitive walkthrough ditemukan 58 permasalahan usability dengan 21 permasalahan yang berbeda.
Lalu dari usability testing diperoleh nilai aspek learnability sebesar 86%, effectiveness sebesar 24% dan
efficiency sebesar 0.02 detik. Sedangkan aspek satisfaction menggunakan SUS diperoleh nilai 57,625.
Rekomendasi perbaikan usability website e-commerce XYZ terdiri dari dua jenis rekomendasi yaitu,
perbaikan desain antarmuka pengguna dan perbaikan sistem.
Kata kunci: Evaluasi antarmuka pengguna, usability, cognitive walkthrough, usability testing, system
usability scale, website XYZ
Abstract
XYZ is an e-commerce that runs on various platforms, one of which is a website. XYZ provides a variety
of features that support users to carry out the activities of buying and selling goods through the website.
As time went on, XYZ became one of the most popular e-commerce sites. For this reason, we need to
know the evaluation results of usability aspects and problems that exist on the XYZ website in order to
maintain and improve the achievement of e-commerce XYZ. Usability aspects that are evaluated are
learnability, effectiveness, efficiency and satisfaction. The method used in this study is cognitive
walkthrough, usability testing and system usability scale (SUS). Evaluation using the cognitive
walkthrough method and usability testing is carried out by five XYZ users who have never used e-
commerce XYZ websites to find out existing problems and learnability aspects, effectiveness and
efficiency. As for the usability scale (SUS) system, respondents numbered 20 people who had used e-
commerce XYZ websites to find out aspects of satisfaction. After the evaluation was carried out, through
the cognitive walkthrough method found 58 usability problems with 21 different problems. Then from
usability testing obtained the learnability aspect value of 86%, effectiveness of 24% and efficiency of
0.02 seconds. While aspects of satisfaction using SUS obtained a value of 57,625. Recommendations for
improving usability of e-commerce XYZ websites consist of two types of recommendations, namely, user
interface design improvements and system improvements.
Keywords: User interface evaluation, usability, cognitive walkthrough, usability testing, system
usability scale, website XYZ

Fakultas Ilmu Komputer

Universitas Brawijaya 4340
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
1. PENDAHULUAN
Perkembangan teknologi informasi dan
komputer saat ini berkembang dengan sangat
cepat. Seiring berjalannya waktu maka teknologi
pun ikut berkembang, sehingga interaksi
manusia dengan komputer pun menjadi
meningkat. Teknologi yang berkaitan dengan
internet dan komputer seringkali menjadi sebuah
solusi untuk sebagian besar permasalahan dan
kebutuhan yang ada terutama berkaitan dengan
efektivitas dan efisiensi dari sebuah kegiatan
atau prosedur
Website adalah salah satu dari sekian
banyak bentuk media yang dapat diakses melalui
jaringan internet sehingga memungkinkan
pengguna untuk mengaksesnya kapanpun dan
dimanapun. Menurut Arief (2011), website
merupakan salah satu bentuk aplikasi yang
didalamnya terdapat dokumen – dokumen
multimedia dapat berupa gambar, animasi, teks,
video, dll dan menggunakan protocol HTTP
(hypertext transfer protocol) kemudian untuk
menggunakan website tersebut harus
menggunakan perungkat lunak berupa browser.
Hal tersebut berdampak terhadap kegiatan
belanja di era digital kali ini yang beralih dari
proses jual beli antara penjual dan pembeli
secara langsung menjadi melalui perantara
melalui website. Dalam e-commerce, salah satu
hal yang sangat berpengaruh adalah website,
website berpengaruh karena dapat memberikan
insight atau pengetahuan mengenai kebutuhan
dari pengguna yang pada akhirnya menimbulkan
rasa puas terhadap suatu produk. Website sendiri
dalam e-commerce menjadi sebuah perantara
untuk developer agar dapat berinteraksi dengan
user, sehingga menjadi tantangan sendiri bagi
owner sebuah e-commerce agar dapat
mengembangkan website sesuai dengan yang
dibutuhkan oleh pengguna (Roche, Pincus,
Lukowitsky, Menard, & Conroy, 2013).
Salah satu e-commerce yang saat ini ramai
digunakan adalah XYZ. XYZ menyediakan
berbagai fitur yang menunjang pengguna untuk
melakukan aktivitas jual beli barang melalui
website. Seiring berjalannya waktu, popularitas
XYZ semakin meningkat, XYZ menjadi salah
satu e-commerce yang sangat populer.
Berdasarkan riset iPrice yang dilakukan pada
tahun 2017, XYZ dinilai mempunyai
pertumbuhan yang konsisten dan berhasil
mengungguli pesaingnya dalam hal search
interest. Namun, perkembangan tersebut
Fakultas Ilmu Komputer, Universitas Brawijaya
4341
dikhawatirkan dapat terganggu dikarenakan
menurut survei awal yang sudah peneliti lakukan
dengan menggunakan kuesioner terhadap 45
responden yang terdiri dari mahasiswa dan
pekerja menunjukkan bahwa pengguna masih
mengalami berbagai kesulitan pada saaat
menggunakan website e-commerce XYZ.
Permasalahan - permasalahan tersebut antara
lain, pengguna masih merasa kesulitan pada saat
pertama kali menggunakan website XYZ
dibandingkan pada saat pertama kali
menggunakan aplikasi XYZ, kemudian
pengguna cenderung lebih sering melakukan
kesalahan pada saat menggunakan website XYZ,
lalu untuk tata letak icon / atau menu responden
beranggapan bahwa letak icon atau menu pada
aplikasi lebih baik dan mudah diingat
dibandingkan dengan tata letak icon atau menu
pada website, selain itu pengguna cenderung
lebih puas menggunakan aplikasi XYZ
dibandingkan pada saat menggunakan website
XYZ. Dari hasil survei tersebut juga
dikhawatirkan akan berpengaruh terhadap
tingkat usability dari website e-commerce XYZ.
Sehingga website XYZ dirasa lebih dibutuhkan
untuk dievaluasi dibandingkan dengan aplikasi
mobile-nya.
Usability sendiri merupakan atribut untuk
kualitas yang menentukan apakah antarmuka
pengguna dapat dengan mudah digunakan
(Nielsen, 2012b). Usability berhubungan dengan
tingkatan sebuah produk pada saat digunakan
oleh pengguna agar dapat mencapai tujuan yang
spesifik dengan efisien, efektif dan memuaskan,
konteks penggunaan sendiri terdiri dari tugas,
pengguna, peralatan serta lingkungan yang dapat
memengaruhi penggunaan produk pada system
kerja (ISO 9241-11, 2018). Seringkali konsep
usability dikaitkan dengan user-friendly atau
istilah lainnya seperti human computer
interaction (HCI), computer human interaction
(CHI), user centered design (UCD) dan lain
sebagainya. Usability sendiri lebih
mempertanyakan seberapa baik pengguna dalam
menggunakan sebuah fungsi.
Cognitive walkthrough adalah sebuah
metode evaluasi yang dapat memprediksi
seberapa mudah seseorang mengerti terhadap
tugas yang diberikan dalam menggunakan
sistem berbasis komputer (Blackmon, 2004).
Metode ini mengharuskan evaluator mengamati
apa yang dilakukan oleh pengguna saat
melakukan skenario – skenario tugas yang
diberikan sehingga evaluator dapat mengetahui
apakah sistem mudah dimengerti atau tidak.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
System usability scale (SUS) adalah salah
satu metode yang dapat digunakan dalam
mengukur tingkat usability dengan cepat dan
mudah (Brooke, 1996). SUS mempunyai 10
pertanyaan yang harus dijawab pengguna setelah
menggunakan sistem yang akan dilakukan
evaluasi. Metode SUS menggunakan skala likert
yang dapat mengindikasikan pendapat pengguna
terhadap sistem mulai dari sangat tidak setuju
sampai dengan sangat setuju.
Sehingga penelitian ini mempunyai
bertujuan untuk melakukan evaluasi usability
terhadap website e-commerce XYZ
menggunakan metode cognitive walkthrough,
usability testing dan system usability scale untuk
mengetahui hasil evaluasi aspek usability dan
mengidentifikasi permasalahan yang ada serta
memberikan rekomendasi perbaikan
berdasarkan pada hasil evaluasi.
2. KAJIAN PUSTAKA
Penelitian sebelumnya yang digunakan
sebagai referensi dalam penelitian terkait
evaluasi usability website menggunakan metode
cognitive walkthrough, usability testing dan
system usability scale (SUS) dilakukan oleh
Raharjo et al., (2015) dan Baharrudin, M.,
(2018).
Penelitian pertama dilakukan oleh Raharjo
et al. (2015), penelitian ini bertujuan untuk
mengidentifikasi permasalahan yang terdapat
pada situs website perpustakaan UMB dan
mengetahui tingkat effectiveness dan efficiency
dari website perpustakaan Universitas Mercu
Buana Jakarta. Peneliti menggunakan metode
Cognitive walkthrough untuk melakukan
penelitian, dikarenakan metode tersebut dinilai
cocok karena evaluator dapat melakukan
evaluasi di setiap langkah yang diperlukan
dalam tugas yang berbasus scenario serta dapat
digunakan untuk mencari permasalahan
usability yang ada. Responden pada penelitian
tersebut meliputi pengguna perpustakaan
Universitas Mercu Buana. Responden yang
dilibatkan merupakan user yang dapat
mengoperasikan komputer dan dapat
menggunakan situs web untuk mencari
informasi. Lalu, untuk jumlah dari responden
ditentukan berdasarkan rata – rata persentase
jumlah pengunjung perpustakaan. Penelitian
dengan menggunakanimetode cognitive
walkthrough ini terdiri dari dua tahapan, pertama
persiapan dan setelahnya yaitu eksekusi. Hasil
dari penelitian menunjukan bahwa tingkat
Fakultas Ilmu Komputer, Universitas Brawijaya
4342
penyelesaian skenario tugas oleh responden
sebesar 90% dan untuk rata – rata waktu yang
diperlukan untuk menyelesaikan semua skenario
tugas adalah selama 680 detik. Sedangkan hasil
dari uji usability menunjukan bahwa tidak ada
satupun skenario yang dapat diselesaikan tanpa
kesalahan oleh seluruh responden. Hasil akhir
dari penelitian tersebut menyebutkan bahwa
website perpustakaan Universitas Mercu Buana
memiliki permasalahan yang dihadapi pengguna
pada istilah kata yang digunakan dan tata letak
menu yang kurang mudah dilihat.
Penelitian selanjutnya yaitu sebuah
penelitian pada sebuah Sistem Informasi
FILKOM Apps Fakultas Ilmu Komputer
Universitas Brawijaya oleh Baharrudin, M.
(2018). Dalam penelitian tersebut peneliti
menganalisis aspek usability yaitu efficiency,
effectiveness, learnability, memorability dan
satisfaction. Metode yang digunakan peneliti
antara lain usability testing, observasi dan
wawancara. Pada penelitian ini SUS (System
usability scale digunakan untuk menghitung
tingkat satisfaction. Tujuan dari penelitian
tersebut adalah melakukan evaluasi terhadap
aplikasi Filkom Apps untuk dapat mengetahui
tingkat usability dan permasalahan apa saja yang
terdapat dalam system tersebut. Responden
berjumlah lima orang untuk pengujian usability,
sedangkan untuk kuesioner system usability
scale (SUS) berjumlah 30 orang. Analisis tingkat
usability dilakukan dengan mengukur tiap aspek
usability menggunakan metrik perhitungan
usability. Sedangkan kuesioner SUS dihitung
menggunakan standar perhitungan SUS. Hasil
dari pengujian usability didapatkan hasil yaitu
untuk aspek effectiveness, efficiency,
memorability dan learnability masih berada
diatas rata – rata, sedangkan untuk satisfaction
masih berada dibawah rata – rata.
Cognitive walkthrough adalah sebuah
metode evaluasi yang dapat memprediksi
seberapa mudah seseorang mengerti terhadap
tugas yang diberikan dalam menggunakan
sistem berbasis komputer (Blackmon, 2004).
Metode ini mengharuskan evaluator mengamati
apa yang dilakukan oleh pengguna saat
melakukan skenario – skenario tugas yang
diberikan sehingga evaluator dapat mengetahui
apakah sistem mudah dimengerti atau tidak.
Dalam melakukan hal tersebut, evaluator harus
menjawab empat pertanyaan di setiap tugas yang
telah dikerjakan oleh pengguna.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
System usability scale (SUS) adalah sebuah
metode yang digunakan untuk mengukur tingkat
usability. System usability scale mempunyai
pertanyaan yang berjumlah sebanyak sepuluh
macam pernyataan dengan lima opsi respon
untuk responden, opsi – opsi respon tersebut
dimulai dari sangat setuju sampai sangat tidak
setuju. Menurut Brooke, System usability scale
(SUS) memungkinkan untuk mengevaluasi
berbagai macam produk dan jasa, termasuk
hardware, software, website dan aplikasi
(Brooke, 1996). System usability scale sendiri
mempunyai beberapa keunggulan diantaranya
sangat mudah untuk dilakukan dan mudah
dimengerti oleh paritsipan, dapat digunakan oleh
jumlah sampel yang tidak banyak dan
menghasilkan hasil yang reliabel dan valid.
3. METODOLOGI
Tahap - tahap yang dilakukan dalam
penelitian ini dapat dilihat pada Gambar 1.
3.1. Studi Literatur dan Perumusan Masalah
Studi literatur diperlukan untuk meninjau
penelitian – penelitian sebelumnya yang sudah
dilakukan sehingga dapat dijadikan sebagai
pedoman dan dasar dalam melakukan penelitian
ini. Perumusan masalah digunakan untuk
mengidentifikasi masalah – masalah yang ada
sehingga dengan adanya penelitian ini
diharapkan masalah – masalah tersebut dapat
terselesaikan.
Gambar 1. Metodologi Penelitian
Fakultas Ilmu Komputer, Universitas Brawijaya
4343
3.2. Pengumpulan Data
Pengumpulan data terbagi menjadi tiga
tahap yaitu skenario testing cognitive
walkthrough, usability testing dan kuesioner
system usability scale (SUS). Penentuan
responden berjumlah lima orang untuk
pengujian cognitive walkthrough dan lima orang
yang sama pada usability testing. Dengan lima
pengguna, anda hampir mendekati rasio manfaat
biaya yang maksimum untuk pengujian
pengguna (Nielsen, 2012b). Kelima responden
ini merupakan pengguna e-commerce XYZ yang
belum pernah menggunakan website e-
commerce XYZ sebelumnya. Sedangkan untuk
kuesioner system usability scale ditentukan
sebanyak 20 orang responden. Untuk studi yang
berkaitan dengan problem discovery, ukuran
responden yang terdiri dari 3 - 20 peserta
biasanya valid, dengan 5 - 10 peserta menjadi
kisaran dasar yang masuk akal (Macefield,
2009). Responden kuesioner tersebut adalah
sekumpulan orang yang sudah pernah
menggunakan website e-commerce XYZ.
Skenario pengujian cognitive walkthrough
dilakukan dengan cara membuat skenario tugas
yang harus dilakukan oleh responden, jumlah
skenario tugas sebanyak 10 skenario. Kemudian
responden menjawab lima pertanyaan thought
provoking question dalam setiap langkah
skenario tugas yang sudah ditentukan. Evaluasi
usability testing dilakukan bersamaan dengan
evaluasi cognitive walkthrough. Responden
mengerjakan setiap skenario tugas yang sudah
diberikan evaluator, lalu evaluator melakukan
observasi terhadap responden pada saat evaluasi
berlangsung untuk mengetahui jumlah skenario
tugas yang berhasil dikerjakan oleh responden,
jumlah kesalahan yang dialami responden dan
waktu yang dibutuhkan responden untuk
menyelesaikan skenario tugas. Jumlah
responden cognitive walkthrough dan usability
testing sebanyak lima orang yang merupakan
user XYZ yang belum pernah menggunakan
website XYZ sebelumnya dan terdiri dari
mahasiswa, pekerja dan ibu rumah tangga. Tabel
1 merupakan contoh skenario tugas yang
digunakan dalam pengujian.
Tabel 1. Skenario Tugas
Skenario Tugas
Anda ingin membeli suatu barang di website
XYZ, karena untuk membeli barang diharuskan
untuk login terlebih dahulu, silahkan lakukan
proses login.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Kuesioner SUS dibagikan dengan
menggunakan google form. Jumlah responden
kuesioner SUS berjumlah 20 orang yang
merupakan user XYZ yang sudah pernah
menggunakan website e-commerce XYZ
sebelumnya. Kuesioner berisi 10 pernyataan
dengan lima opsi jawaban menggunakan skala
likert yaitu, (1) sangat tidak setuju, (2) tidak
setuju, (3) ragu – ragu, (4) setuju, (5) sangat
setuju. Tabel 2 merupakan kuesioner SUS yang
digunakan.
Tabel 2. Kuesioner SUS
No Pernyataan
Sayaipikiribahwaisayaiakaniinginilebihisering
1 selanjutnya.
menggunakaniaplikasi ini
Saya merasa sistem ini tidak harus dibuat
2
serumit ini
3 Saya pikir sistem ini mudah digunakan
4
Saya pikir saya perlu bantuan tenaga teknis agar
dapatimenggunakanisistemiini
Sayaimenemukan berbagai fungsi pada sistem
5
iniiterintegrasiidenganibaik
Saya pikir ada terlalu banyak ketidaksesuaian
6 Walkthrough
dalam sistem ini
Saya bayangkan bahwa kebanyakan orang akan
7
belajarimenggunakanisistemidenganicepat
Sayaimenemukan bahwa sistemisangatirumit
8
digunakan
Saya merasa sangat percaya diri untuk
9
menggunakan sistem ini
Saya perlu belajar
10 banyakihalisebelumisayaibisaimenggunakan
sistemiini
Sumber: Diadaptasi dari Farouqi (2018)
3.3. Analisis Data
Analisis data merupakan tahapan analisis
data yang diperoleh dari tahap pengumpulan
data agar mendapatkan hasil analisis yang
dibutuhkan. Dalam tahap analisis data, data yang
diperoleh dari evaluasi cognitive walkthrough
digunakan untuk mengetahui permasalahan apa
saja yang terdapat dalam website XYZ dan juga
sebagai data pendukung hasil analisis aspek –
aspek usability. Kemudian terdapat analisis
perhitungan tingkat learnability, effectiveness,
efficiency dan satisfaction.
3.4. Rekomendasi
Setelah mengetahui permasalahan yang ada
dan hasil evaluasi aspek usability learnability,
effectiveness, efficiency, satisfaction dari hasil
evaluasi cognitive walkthrough, usability testing
dan kuesioner system usability scale (SUS).
Hasil dari evaluasi berdasarkan analisis data
digunakan untuk membuat rekomendasi –
Fakultas Ilmu Komputer, Universitas Brawijaya
4344
rekomendasi yang diharapkan dapat
memperbaiki permasalahan – permasalahan
usability yang ada pada website e-commerce
XYZ.
3.5. Kesimpulan dan Saran
Penarikan kesimpulan dan saran dapat
dilakukan setelah semua tahap penelitian
berhasil diselesaikan. Kesimpulan merupakan
tahap akhir dari penelitian yang berisi
rangkuman hasil – hasil yang diperoleh selama
penelitian berlangsung serta menjawab rumusan
masalah yang ada. Kesimpulan juga berisi saran
bagi objek yang diuji dan saran bagi penelitian
4. HASIL
Berikut adalah hasil dari penelitian yang
sudah dilakukan.
4.1. Analisis Hasil Evaluasi Cognitive
Hasil evaluasi cognitive walkthrough
terhadap website e-commerce XYZ yang telah
dilakukan oleh subject matter expert yaitu
pengguna menemukan sebanyak 58 masalah
yang didapatkan dari lima thought provoking
question yang sudah dijabarkan. Dalam analisis
hasil evaluasi cognitive walkthrough. Dari total
58 masalah yang telah ditemukan, didapat
sebanyak 21 diantaranya merupakan masalah
yang berbeda yang terdiri dari 17 permasalahan
yang muncul lebih dari satu kali dan lima
permasalahan yang muncul sebanyak satu kali.
Untuk frekuensi jumlah permasalahan
berdasarkan temuan masalah dapat dilihat pada
tabel 3. Pada tabel 3 dapat dilihat frekuensi
permasalahan berdasarkan temuan masalah.
Terlihat masalah yang muncul dengan frekuensi
terbesar adalah “Ikon filter produk terlaris susah
dicari karena terlalu kecil dan letaknya kurang
tepat” yang ditemukan sebanyak 10 kali oleh
pengguna.
Dari total 58 permasalahan yang ditemukan,
hanya dua pertanyaan yang memunculkan
masing – masing dua permasalahan yaitu
pertanyaan “Setelah pengguna menemukan
kontrol yang benar, apakah pengguna
mengetahui bahwa kontrol tersebut adalah yang
dibutuhkan?” dan “Setelah aksi diambil, apakah
pengguna mengetahui umpan balik yang mereka
terima?”. Hal tersebut menunjukkan bahwa
permasalahan yang ditemukan berpusat pada
beberapa thought provoking questions saja.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 4345

Frekuensi masalah berdasarkan thought 4.3. Analisis Hasil Evaluasi Effectiveness

provoking question dapat dilihat pada tabel 4.
Data yang digunakan dalam melakukan
Pada tabel 4 dapat dilihat bahwa frekuensi
evaluasi effectiveness adalah jumlah kesalahan
temuan masalah terbesar didapat dari thought
yang dialami pengguna saat menjalankan
provoking question “Apakah pengguna
skenario tugas yang sudah ditentukan. Tabel 6
menemukan kontrol dengan mudah?” dengan
adalah data kesalahan penegerjaan skenario
persentase 56% dari permasalahan usability
tugas yang dialami pengguna.
yang telah ditemukan oleh pengguna. Hal ini
menunjukan bahwa pengguna merasa sangat Tabel 6. Data Error Rate
kesulitan dalam menemukan kontrol yang S S S S S S S S S S
dibutuhkan sehingga menjadi permasalahan 1 2 3 4 5 6 7 8 9 10
usability terbesar dalam website e-commerce
XYZ. R1 0 3 1 1 3 0 1 1 1 1
R2 0 4 1 0 1 1 1 1 1 1
R3 0 2 0 0 0 0 1 1 2 1
4.2. Analisis Hasil Evaluasi Learnability R4 0 1 0 0 0 0 0 1 0 1
R5 0 2 2 0 1 1 2 1 2 2
Data yang digunakan dalam melakukan
R = Responden, S = Skenario
evaluasi learnability adalah data penyelesaian
tugas yang sudah ditentukan. Penulis Aspek effectiveness dihitung menggunakan
memberikan tiga penilaian dalam pengambilan perhitungan error rate. Kesalahan dapat berupa
data learnability yaitu sukses, partial sukses dan slip, aksi yang tidak disengaja, kesalahan atau
gagal. Tabel 5 adalah data penyelesaian tugas kelalaian pada saat user mencoba untuk
oleh masing – masing peserta. menyelesaikan skenairo tugas yang sudah
Tabel 5. Data Success Rate diberikan (Mifsud, 2015). Untuk menghitung
S S S S S S S S S S
error rate digunakan persamaan 2.
1 2 3 4 5 6 7 8 9 10
(𝑇𝑜𝑡𝑎𝑙 𝑘𝑒𝑠𝑎𝑙𝑎ℎ𝑎𝑛)
Error rate = 𝑇𝑜𝑡𝑎𝑙 𝑥 100% (2)
𝑘𝑒𝑠𝑒𝑚𝑝𝑎𝑡𝑎𝑛
R1 S F S S S S S P P P
R2 S P S S S S S S P S
(46)
R3 S P S S S S S S S S = 37 𝑥 5 x 100% = 24%
R4 S S S S S S S S S S
R5 S P S S S P P P S F
R = Responden, S = Sukses, P = Partial Sukses, F = Dari perhitungan yang telah dilakukan
Gagal terhadap lima responden maka didapatkan rata –
rata error rate dengan nilai 0.24 atau sebesar
Aspek learnability dihitung dengan 24% error rate dari total 37 kesempatan tugas
perhitungan success rate. Success rate dengan 5 responden, sehingga diperoleh nilai
merupakan persentase dari tugas yang dapat quality level sebesar 76%. Menurut Sauro
dengan bener diselesaikan oleh pengguna (2012), nilai rata – rata kesalahan per tugas
(Nielsen, 2012a). Untuk menghitung success adalah 0,7 dengan 2 dari 3 pengguna melakukan
rate digunakan persamaan 1. kesalahan. Hal ini menunjukan bahwa tingkat
effectiveness pada website e-commerce XYZ
(𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑡𝑎𝑠𝑘+(𝑃𝑎𝑟𝑡𝑖𝑎𝑙 𝑠𝑢𝑐𝑐𝑒𝑠𝑠 𝑡𝑎𝑠𝑘 𝑥 0.5))
𝑥 100% (1) masih diatas rata – rata.
𝑇𝑜𝑡𝑎𝑙 𝑇𝑎𝑠𝑘

(38+(10 𝑥 0.5)) 4.4. Analisis Hasil Evaluasi Efficiency

= x 100% = 86%
50
Dari perhitungan learnability
menggunakan success rate dengan persamaan 1,
diperoleh hasil persentase sebesar 86%.
Sehingga dari total 10 skenario tugas, rata – rata
setiap pengguna dapat menyelesaikan tugas
sebanyak 86% skenario dengan benar. Hal ini
menunjukkan bahwa tingkat effectiveness pada
website e-commerce XYZ masih diatas rata –
rata.
Data yang digunakan dalam melakukan
evaluasi efficiency adalah data waktu yang
dibutuhkan pengguna untuk menyelesaikan
skenario tugas yang sudah ditentukan. Waktu
yang dibutuhkan pengguna dihitung dari awal
mengerjakan scenario tugas sampai dengan
tugas tersebut selesai / gagal diselesaikan. Tabel
7 adalah data penyelesaian tugas oleh masing –
masing peserta.

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 4346

perbaikan terkait website e-commerce XYZ.

Permasalahan – permasalahan usability yang
muncul dari evaluasi cognitive walkthrough
Tabel 7. Data Time Based Efficiency dijadikan dasar untuk penarikan rekomendasi.
Rekomendasi yang diberikan berupa
R S1 S2 S3 S4 S5 S6 S7 S8 S9 S10
1 15 150 41 56 160 50 20 59 123 59
rekomendasi perbaikan desain antarmuka
2 15 134 80 38 166 119 30 60 124 60 pengguna dan perbaikan sistem. Rekomendasi
3 1 114 45 30 90 63 48 70 78 70 perbaikan desain antarmuka pengguna diberikan
4 13 80 34 19 91 58 17 34 50 34
5 20 121 50 30 131 100 53 73 75 73 pada masalah yang berhubungan dengan
R = Responden, S = Skenario antarmuka pengguna, sedangkan rekomendasi
perbaikan sistem diberikan pada permasalahan
Tingkat efficiency dihitung menggunakan yang berhubungan dengan fungsionalitas dari
time based efficiency. Efisiensi dapat diukur website e-commerce XYZ.
dalam waktu untuk menyelesaikan tugas, Tabel 8 menyajikan contoh permasalahan
dimana waktu dapat berupa menit atau detik usability yang ditemukan beserta rekomendasi
yang dibutuhkan pengguna dalam dan jenis rekomendasi yang diberikan.
menyelesaikan tugas (Mifsud, 2015). Tabel 8. Rekomendasi Perbaikan
Perhitungan time based efficiency dapat
dilakukan dengan persamaan 3. Deskripsi Rekomendasi Jenis
Masalah Perbaikan Rekomendasi
Ikon – ikon Desain
kategori diberi antarmuka
Ikon kategori segmen pengguna
tidak cukup tersendiri dan
jelas sehingga diberi
time based efficiency = (3) sulit ditemukan keterangan
1 0 1 0
( + + +⋯+ ) segmen
15 150 41 73
= 10 𝑋 5 “Kategori”
1.03 Feedback tidak Dibuatkan Perbaikan
= = 0.02 task/second langsung Feedback sistem
50
dirasakan berupa barang
karena UI berhasil
Dari perhitungan time based efficiency kurang dikurangi
menggunakan persamaan 2.3, diperoleh hasil responsif
dengan nilai 0,02. Hal ini menunjukan bahwa
rata – rata setiap setiap detik responden dapat
menyelesaikan sebanyak 2% dari setiap tugas 5. KESIMPULAN
yang diberikan diberikan atau dalam kata lain
Berdasarkan penelitian yang telah
setiap tugas membutuhkan waktu rata-rata
dilaksanakan, maka dapat disimpulkan:
selama 50 detik untuk dapat diselesaikan.
1. Hasil evaluasi aspek learnability website e-
commerce XYZ dengan menggunakan
4.5. Analisis Hasil Evaluasi Satisfaction
metode cognitive walkthrough
Data yang digunakan dalam melakukan mendapatkan sebanyak 58 permasalahan.
evaluasi satisfaction adalah data kuesioner Dari 58 permasalahan yang ditemukan,
system usability scale (SUS) yang sudah hanya terdapat 21 permasalahan yang
disebarkan kepada 20 pengguna website e- berbeda. Thought provoking question
commerce XYZ. Dari hasil kuesioner yang dengan penemuan masalah terbanyak
diperoleh dari 20 responden, didapatkan nilai adalah “Apakah pengguna dapat
rata – rata SUS sebesar 57,625 sehingga masuk menemukan kontrol dengan mudah?”
ke dalam kategori grade scale F dengan dengan persentase sebesar 56% dari total
adjective ratings OK. Sedangkan untuk permasalahan yang ditemukan. Lalu hasil
acceptability ranges masuk ke dalam kategori evaluasi learnability dengan menggunakan
“Low acceptable”. success rate didapatkan persentase sebesar
86% sehingga dapat diartikan dari semua
4.6. Rekomendasi skenario tugas yang ada, responden rata –
Berdasarkan data yang sudah diperoleh rata dapat menyelesaikan sebanyak 86%
melalui evaluasi cognitive walkthrough, maka dari total skenario tugas.
peneliti dapat memberikan rekomendasi 2. Hasil evaluasi aspek satisfaction dengan
menggunakan kuesioner system usability

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 4347

scale (SUS) yang diperoleh dari 20 Jurnal Pengembangan Teknologi

responden, didapatkan nilai rata – rata SUS
sebesar 57,625 sehingga masuk ke dalam
kategori grade scale F dengan adjective
ratings “OK”. Sedangkan untuk
acceptability ranges masuk ke dalam
kategori “Low acceptable”
3. Hasil evaluasi aspek effectiveness dengan
menggunakan error rate menunjukkan
bahwa dari 10 skenario, pengguna paling
sering melakukan kesalahan sebanyak 13
kali, sedangkan untuk paling sedikit adalah
tiga kali. Lalu untuk skenario tugas yang
paling banyak terjadi kesalahan adalah
skenario tugas nomor dua dengan total 12
kesalahan dari 5 responden. Dari
perhitungan yang telah dilakukan terhadap
lima responden maka didapatkan rata – rata
error rate dengan nilai 0,24 atau sebesar
24% error rate dari total 37 kesempatan
tugas dengan lima responden sehingga
diperoleh nilai quality level sebesar 76%.
Dari perhitungan tersebut dapat diartikan
bahwa aspek effectiveness website e-
commerce XYZ masih berada diatas rata-
rata.
4. Hasil evaluasi aspek efficiency dengan
menggunakan time based efficiency
menunjukkan bahwa skenario tugas nomor
dua merupakan skenario tugas yang paling
membutuhkan waktu lebih untuk
diselesaikan oleh responden dengan tiga
responden membutuhkan waktu sekitar dua
menit, dan hanya satu responden yang dapat
menyelesaikan dalam waktu 80 detik. Dari
perhitungan yang telah dilakukan diperoleh
hasil time based efficiency dengan nilai
0,02. Hal ini menunjukkan bahwa rata – rata
setiap setiap detik responden dapat
menyelesaikan sebanyak 2% dari setiap
tugas yang diberikan diberikan atau dalam
kata lain setiap tugas membutuhkan waktu
rata-rata selama 50 detik untuk dapat
diselesaikan.
6. DAFTAR PUSTAKA
Arief, M.R.,i2011,iPemrogramaniWebiDinamis
MenggunakaniPHPidaniMYSQL,iAndi
Offset, Yogyakarta.
Baharrudin, M., Wardani, N.H., dan
Herlambang, A.D, 2018. Analisis
UsabilityiPadaiSystemiInformasii
FILKOMiAppsifakultasiIlmu
iKomputer UniversitasiBrawijaya.
Informasi dan Ilmu Komputer Vol. 2,
No. 10, 4179-4183
Blackmon, M. H.,i2004.iCognitive
walkthrough.iIniW.S.iBainbridge
(Ed.),iEncyclopediaiofiHuman-
ComputeriInteraction,i2ivolumesi(Vol.
1, pp. 104–107).iGreat Barrington,iMA:
BerkshireiPublishingiGroup.
Brooke, J.,i1996.iSUS:iAiQuickiandiDirty
UsabilityiScalei(SUS).[doc]iTersedia
di:
<http://www.usabilitynet.org/trump/doc
uments/Suschapt.doc> [Diakses 2
September 2018].
Dix, A.,iFinlay, J.,iAbowd,iG.D.,idaniBeale, R.,
2003.iHUMAN–
COMPUTERiINTERACTION.iNEW
JERSEY:iPrentice-Hall,iInc.
Farouqi, I. M., 2018. Evaluasi Usability Pada
Aplikasi Go-Jek Dengan Menggunakan
Metode Pengujian Usability. S1.
Universitas Brawijaya
ISO 9241-11:2018.,i2018. ISO 9241-
11:2018(en),iErgonomicsiofihuman-
systemiinteraction — Part 11:iUsability:
Definitionsiandiconcepts.i[online]
Tersedia di:
<https://www.iso.org/obp/ui/#iso:std:is
o:9241:-11:ed-2:v1:en> [Diakses 10
September 2018]
Macefield, R.,i2009.iHowiToiSpecifyithe
ParticipantiGroupiSizeiforiUsability
Studies:iAiPractitioneri’siGuide.
Journal of Usability Studies, 5(1), 34–
45. Tersedia di:
<http://www.usabilityprofessionals.org/
upa_publications/jus/2009november/JU
S_Macefield_Nov2009.pdf> [Diakses 2
September 2018]
Mifsud, J.,i2015.iUsabilityiMetrics - AiGuide
ToiQuantifyiTheiUsabilityiOfiAny
System. Usability Geek.
Nielsen, J., 2012a. Usability 101: Introduction to
Usability. [online] Tersedia di
<https://www.nngroup.com/articles/usa
bility-101-introduction-to-usability/>
[Diakses 2 september 2018]
Nielsen, J, 2012b. HowiManyiTestiUsersiinia
UsabilityiStudy? NielseniNorman
Group. Tersedia di:
<https://doi.org/10.1042/CS20120633>
[Diakses 2 September 2018]

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 4348

Raharjo, P., Kusuma, W.A., dan Sukoco, H.,

2015. UJI USABILITY DENGAN
METODEiCOGNITIVEiWALKTHRO
UGHiPADAiSITUSiWEB
PERPUSTAKAANiUNIVERSITAS
MERCUiBUANAiJAKARTA. Jurnal
Pustakawan Indonesia Volume 15 No.
1-2.
Roche, M. J.,iPincus, A. L.,iLukowitsky, M. R.,
Menard, K. S.,i&iConroy, D. E.,i2013.
Aniintegrativeiapproachitoithe
assessmentiofinarcissism. J Pers Assess,
95(3), 237–248.
Shopee, About us. [online] Tersedia di
<https://careers.shopee.co.id/about/>
[Diakses 2 September 2018]

Fakultas Ilmu Komputer, Universitas Brawijaya