Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 3, No. 5, Mei 2019, hlm. 4327-4332 http://j-ptiik.ub.ac.id

Evaluasi Pengalaman Pengguna Menggunakan Usability Testing dan User

Experience Questionnaire (UEQ) (Studi pada E-Commerce Fashion)
Sonia Elisurya1, Hanifah Muslimah Az-Zahra2, Niken Hendrakusma Wardani3

Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: 1soniaelisurya98@gmail.com, 2hanifah.azzahra@ub.ac.id, 3niken13@ub.ac.id

Abstrak
Penggunaan internet sudah menjadi bagian dari kehidupan sehari-hari. Salah satu kegiatan yang
dilakukan melalui internet yaitu transaksi jual-beli online. Semakin berkembangnya transaksi jual-beli
online juga membuat munculnya berbagai jenis e-commerce untuk memenuhi kebutuhan masyarakat.
Salah satu jenis e-commerce yang sering digunakan untuk memenuhi kebutuhan masyarakat adalah e-
commerce fashion. E-Commerce XYZ, Vipplaza.co.id dan Berrybenka merupakan situs e-commerce
fashion yang bergerak di bidang dan memiliki karakteristik yang sama. Penelitian ini bertujuan untuk
membandingkan pengalaman pengguna yang didapat saat menggunakan ketiga situs web e-commerce
yang memiliki karakteristik dan proses bisnis yang sama. Penelitian ini dilakukan menggunakan
metode pengujian skenario dan kuisioner User Experience Questionnaire (UEQ). Pengujian skenario
akan dilakukan ke 10 responden berdasarkan empat parameter yaitu task completed, error rate,
number of clicks dan time per completed task. User Experience Questionnaire (UEQ) memiliki 6 skala
pengukuran dan dibagikan ke 25 responden. Setelah melakukan pengujian dan mengisi kuisioner,
responden akan diwawancara untuk mengetahui tanggapan dan permasalahan yang dialami ketika
melakukan pengujian skenario. Dari pengujian yang dilakukan, dapat disimpulkan bahwa E-
Commerse XYZ memiliki tingkat pengalaman pengguna yang lebih baik daripada Vipplaza.co.id dan
Berrybenka.com
Kata kunci: e-commerce, usability, pengujian usability, pengalaman pengguna, UEQ
Abstract
Internet has become a part of society’s daily routine. One of the activities carried out through the
internet is online transactions. Following the growth of online transactions also makes the emergence
of various types of e-commerce to meet people's needs. Fashion e-commerce is one of many e-
commerce type that often used to fulfill people’s need. E-Commerce XYZ, Vipplaza.co.id and
Berrybenka are fashion e-commerce engaged in the same field and have common characteristics. This
study aims to compare the user experience gained while using all three e-commerce websites that have
the same characteristics and business processes. This research was carried out using the scenario
testing method and User Experience Questionnaire (UEQ). The scenario testing will be carried out
for 10 new users based on four parameter: task completed, error rate, number of clicks and time per
completed task. User Experience Questionnaire (UEQ) has 6 measurement scales and will be filled by
25 respondents. After testing section and fill the questionnaire, the respondent will be interviewed to
find out the responses and problems during the scenario testing. The conclusion from the result shows
that E-Commerce XYZ has a better level of user experience than Vipplaza.co.id and Berrybenka.com
Keywords: e-commerce, usability, usability testing, user experience, UEQ

oleh jarak dan waktu. Berbagai transaksi dapat

1. PENDAHULUAN
Seiring dengan berkembangnya zaman,
penggunaan teknologi juga semakin meningkat,
termasuk penggunaan internet sehari-hari.
Dengan adanya internet, pertukaran informasi
menjadi semakin cepat dan tidak lagi dibatasi
dilakukan secara daring melalui e-commerce
yang menjadi wadah bagi pelaku bisnis untuk
melakukan aktivitas jual-beli produk secara
online.
Survei yang yang dilakukan oleh Asosiasi
Penyelenggara Jasa Internet Indonesia (APJII)

Fakultas Ilmu Komputer

Universitas Brawijaya 4327
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
tahun 2017 menyebutkan bahwa 40,31%
pengguna internet melakukan transaksi jual beli
barang dan jasa secara daring. Hasil survey
tersebut menunjukkan bahwa minat masyarakat
terhadap keberadaan e-commerce cukup tinggi.
Oleh karena itu terdapat terdapat banyak pula
jenis e-commerce di Indonesia untuk memenuhi
kebutuhan konsumen..
Salah satu dari banyak jenis e-commerce di
Indonesia yang diminati oleh banyak pengguna
yaitu e-commerce fashion. Hal ini dapat dilihat
dari banyaknya jenis e-commerce fashion yang
ada untuk memenuhi kebutuhan pengguna
sehar-hari. Menurut data pada situs iPrice, e-
commerce fashion di Indonesia yang
menduduki peringkat teratas yaitu E-Commerce
XYZ, Berrybenka.com dan Vipplaza.co.id
Salah satu keunggulan yang harus dimiliki
oleh e-commerce untuk dapat sukses di pasaran
adalah media situs web yang menjadi
representasi dari e-commerce itu sendiri
terhadap pelanggan. Situs web tersebut menjadi
perantara untuk berinteraksi dengan pengguna
Situs web yang baik sebagai produk atau
layanan memiliki tingkat kemudahan yang
tinggi saat digunakan oleh pengguna. Untuk
menciptakan produk atau layanan yang sukses,
sangat penting untuk memastikan bahwa
produk atau layanan tersebut memiliki user
experience yang baik (Schrepp, Thomaschewki,
Hinderks, 2014).
Berdasarkan paparan tersebut, dilakukan
penelitian yang bertujuan untuk mengukur dan
membandingkan seberapa baik pengalaman
pengguna yang dirasakan oleh pengguna e-
commerce yang bergerak di bidang yang sama
dan memiliki proses bisnis yang sama.
Penelitian dilakukan untuk membandingkan
pengalaman pengguna antar situs e-commerce
yang menjadi pesaing langsung di pasaran dan
untuk mengetahui nilai pengalaman pengguna
di masing-masing situs dibandingkan dengan
kompetitornya. Pengujian analis pengalaman
pengguna menggunakan usability testing
sebagai pengujian secara objektif dan User
Experience Questionnare (UEQ) sebagai
pengujian secara subjektif. Hasil dari penelitian
ini yaitu data kuantitatif dan akan digunakan
sebagai perbandingan hasil analisis user
experience ketiga website tersebut.
2. TINJAUAN PUSTAKA
2.1 E-Commerce XYZ
E-Commerce XYZ merupakan fashion
Fakultas Ilmu Komputer, Universitas Brawijaya
4328
marketplace yang menjual berbagai macam
produk fashion dan aksesoris bagi wanita dan
pria. XYZ menggunakan biaya produksi dengan
harga terjangkau bagi pelanggan, dengan
menjual produk tanpa perantara dan fokus
berjualan di lapak online.XYZ terus melakukan
inovasi dalam penjualan dan produk-produk
yang dihasilkan agar sesuai dengan minat
masyarakat dan perkembangan zaman.
2.2 Vipplaza.co.id
Vipplaza.co.id adalah e-commerce fashion
lokal yang didirakan tahun 2014. Vipplaza.co.id
yang menjual berbagai macam produk fashion
berkualitas dengan harga diskon. Menawarkan
lebih dari 80.000 produk dari 300 brand,
Vipplaza menawarkan konsep flash sale dan
diskon untuk produk yang berbeda setiap
harinya. Penawaran dari Vipplaza yakni
menjual produk bermerek dengan potongan
harga yang dikemas dalam flash sale setiap
harinya.
2.2 Berrybenka.com
Berrybenka merupakan situs belanja online
di Indonesia yang menjual beragam produk
fashion pria dan wanita. Didirikan pada tahun
2012 oleh Jason Lamuda, Berrybenka menjual
lebih dari 1000 produk fashion dari desainer
lokal dan internasional serta produk in-house
label. Berrybenka memiliki beberapa
penawaran terhadap pengguna yaitu layanan
gratis 14 hari pengembalian, bayar di tempat
dan pengiriman gratis.
2.4 User Experience
Menurut ISO 9241-210 (2010) User
Experience merupakan persepsi dan respon
seseorang saat menggunakan produk, sistem
atau sebuah layanan. User experience meliputi
perasaan yang dirasakan oleh pengguna,
persepsi, respon fisik dan psikologi, tingkah
laku, dan penyelesaian yang terjadi pada
pengguna sebelum dan sesudah menggunakan
produk. Menurut Frank Guo (2012) terdapat
beberapa aspek dalam user experience, salah
satunya adalah aspek usability
2.5 User Experience Questionnaire
User Experience Questionnaire (UEQ)
merupakan kuisioner yang digunakan untuk
mengukur pengalaman pengguna terhadap suatu
produk (Schrepp, Hinderks, Thomaschewski,
2014). Tujuan dari penggunaan kuisioner ini
yaitu melakukan penilaian pengalaman
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 4329

pengguna yang dirasakan terhadap suatu produk di7lingkungan yang nyata.

secara cepat. Terdapat 6 skala pengukuran
dalam UEQ, yaitu:
1. Attractiveness: Impresi keseluruhan yang
dirasakan pengguna terhadap produk.
Apakah pengguna menyukai produk?
2. Perspicuity: Kemudahan yang dirasakan
saat menggunakan produk. Apakah produk
mudah menjadi familier saat digunakan?
3. Efficiency: Interaksi antar pengguna dan
produk dilakukan dengan cepat dan efisien.
4. Dependability: Perasaan pengguna dalam
kendali dalam melakukan interaksi.
Dapatkah perilaku sistem diprediksi oleh
pengguna?
5. Stimulation: Kesenangan dan motivasi yang
didapatkan saat menggunakan produk.
Apakah produk memotivasi dan menarik
saat digunakan oleh pengguna?
6. Novelty: Kreativitas dan inovasi produk.
Apakah produk tersebut memiliki tampilan
yang inovatif dan kreatif sehingga dapat
menarik minat pengguna?
2.8 System Usability Scale (SUS)
System Usability Scale (SUS) merupakan
kuisioner pengukuran yang sederhana dan
terdiri dari 10 items yang memberikan penilaian
subjektif secara global terhadap usability. SUS
diberikan kepada responden setelah responden
menggunakan sistem yang akan dievaluasi.
Dari 10 items yang ada terdapat penilaian yang
terdiri dari 5 skala mulai dari sangat tidak
setuju sampai sangat setuju Dari 10 items
pertanyaan SUS, masing-masing nomor ganjil
(1,3,5,7,9) merupakan pertanyaan yang bernilai
negatif sementara pertanyaan dengan nomor
genap (2,4,6,8,10) merupakan pertanyaan
dengan nilai yang positif.
3. METODOLOGI
Alur proses penelitian dapat dilihat pada
Gambar 1.

2.6 Usability
Menurut dokumen IS0 9241-11.
Usability7merupakan tingkat7efektivitas,
efisiensi dan kepuasan yang dirasakan oleh
pengguna saat mencapai tujuannya dalam suatu
lingkungan tertentu.Tiga aspek yang terdapat
dalam usability yaitu effectiveness yang
merupakan tingkat akurasi dan kelengkapan
yang dapat dicapai oleh pengguna, efficiency
merupakan penggunaan sumber daya oleh
pengguna, dan satisfaction yaitu kenyamanan
dan tingkat penerimaan suatu sistem / situs
oleh pengguna dan orang lain yang
menggunakan dan merasakan efek dari sistem
tersebut.
2.7 Usability Testing
Usability7testing merupakan suatu
pengujian yang7bertujuan untuk evaluasi suatu Gambar 1 Metodologi Penelitian
produk dengan7tujuan untuk identifikasi
masalah pada usabilility, mengumpulkan data Tahapan awal dalam penelitian ini dimulai
kualitatif dan data kuantitatif tingkat kepuasan dengan dengan melakukan studi literatur
pengguna pada suatu produk7 (Usability.gov). terhadap teori pendukung dan penelitian
Usability testing dapat mengungkapkan terdahulu tentang user experience, usability,
masalah yang dialami pengguna saat pengujian usability, SUS dan UEQ serta
menggunakan produk dalam keadaan yang penelitian sebelumnya yag membahas topik
sesungguhnya. Pengujian ini7menggunakan yang sama untuk dijadikan bahan rujukan dan
analisis objektif tentang penggunaan produk landasan teori dalam penelitian. Dari landasan

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 4330

teori tersebut ditentukan parameter yang akan No HASIL

digunakan dalam pengujian dan data kuisioner. Parameter Salestock Vipplaza Berrybenka

Sebelum melakukan pengujian skenario, Effectiveness

responden akan diberikan penjelasan mengenai 1 Task
tujuan dilakukannya pengujian skenario ini Completed 0,94 0,92 0,92
serta diberi pengarahan untuk memahami
skenario yang ada. Saat melakukan pengujian 2 Error Rate
skenario, responden akan menggunakan situs e- during 0,557 0,426 0,466
Performance
commerce dan melakan tugas sesuai dengan
skenario yang ada. Efficiency
Dalam pengujian skenario, terdapar empat 3 Time per
28 38,2 34,1
Completed
parameter yang akan diujikan yaitu pada aspek Task
effectiveness yaitu task success rate, dan error 4 Number of 4.78 4,34 4,48
rate during task performance. Pada aspek Clicks
efficiency yaitu time per completed task dan 5 Satisfaction 67,5 64 62,22
number of clicks during performance.
Kuisioner System Usability Scale (SUS) Berdasarkan Tabel 1 dapat dilihat bahwa
digunakan untuk mengukur aspek satisfaction. pada aspek effectiveness, Salestock memiliki
Kuisioner SUS terdiri dari 10 items yang tiap nilai yang paling tinggi dalam task success rate,
pertanyaan memiliki bobot dan terdiri dari dan Vipplaza unggul dalam parameter error
items bernada positif dan negatif. rate. Pada aspek efficiency, Salestock memiliki
nilai time per completed task paling rendah dan
User Experience Questionnaire (UEQ)
Vipplaza memiliki nilai number of clicks paling
merupakan kuisioner untuk mengukur
rendah. Pada aspek satisfaction, Salestock
pengalaman pengguna. UEQ yang terdiri dari
memiliki nilai kepuasan paling tinggi
26 items pertanyaan yang meliputi aspek daya
dibandingkan kedua situs lainnya.
tarik (attractiveness), efisiensi (efficiency),
kejelasan (perspicuity), kebaruan (novelty) dan
4.2 Tanggapan
ketepatan (dependability).
Dari pengujian yang dilakukan responden,
Responden untuk pengujian skenario dilakukan wawancara untuk mendapat
berjumlah 10 orang dengan usia 15-34 tahun tanggapan dan permasalahan yang ditemui
yang belum pernah menggunakan ketiga situs selama melakukan pengujian. Tanggapan yang
tersebut. Setelah melakukan pengujian skenario, diberikan oleh responden diolah dan
responden akan dimintai tanggapan keseluruhan dirangkum. Tanggapan tersebut terdiri dari
mengenai situs web yang diujikan, dan mengisi kesan, pengalaman baik positif maupun negatif
kuisioner System Usability Scale (SUS). ketiga situs tersebut.
Responden kuisioner UEQ berjumlah 25 orang Tanggapan responden pengujian di situs
yang sudah pernah menggunakan situs tersebut. XYZ dirangkum menjadi beberapa tanggapan,
10 orang responden diambil dari responden yaitu tanggapan positf tentang situs XYZ,
pengujian skenario. tampilan situs kreatif dan kekinian sesuai
zaman, tampilan sederhana dan tidak membuat
Setelah pengujian dilakukan dan data
bingung, produk yang ditampilkan memilki
telah diperoleh, data akan dianalisis dan
keterangan yang lengkap dan jelas, fitur
dikonversi sesuai dengan perhitungan masing-
pembelian dan fitur wishlist yang tidak harus
masing metode. Melalui data yang telah diolah,
log-in dulu sangat memudahkan, tidak
data akan dianalisis dan akan dibandingkan
memerlukan effort yang banyak saat
hasil pengalaman pengguna antara ketiga situs
menggunakan situs karena situs mudah untuk
tersebut. Setelah hasil analisis didapatkan,
digunakan.
ditarik kesimpulan dari hasil analisis tersebut
Permasalahan atau kesulitan yang dirasakan
pengguna saat menggunakan situs web E-
4. HASIL DAN PEMBAHASAN
Commerce XYZ, yaitu, banyaknya pop-up
4.1 Pengujian Skenario menu yang muncul di tengah halaman sehingga
mengganggu pengguna, tampilan situs web
Tabel 1 Hasil Pengujian Skenario yang seperti tampilan mobile sehingga

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
pengguna harus melakukan scroll ke bawah
untuk melakukan pencarian produk.
Pada situs Vipplaza.co.id, tanggapan positif
dari responden yaitu penataan display produk
jelas dan rapi serta memiliki keterangan yang
jelas dan lengkap. Tampilannya umum seperti
e-commerce lainnya, sehingga tidak sulit untuk
menggunakannya pertama kali. Kendala yang
dialami saat menggunakan situs yaitu ikon
wishlist produk yang membingungkan
pengguna karena tidak ada keterangan serta
letaknya tidak terlihat, filter harga sulit untuk
digunakan, harus log-in untuk melakukan
pembelian dan memasukkan produk ke wishlist
sehingga memerlukan effort lebih, loading time
situs agak lama dan tampilan situs yang kurang
responsif.
Pada situs Berrybenka.com, tanggapan
positif dari responden pengujian, yaitu tampilan
situs web yang kreatif dan menarik minat
pengguna, tampilan kekinian yang mengikuti
zaman Tampilan situs dikemas dengan bergagai
warna sehingga menarik perhatian saat
menggunakan situs tersebut. Kendala yang
terjadi saat menggunakan situs yaitu, saat
melakukan pencarian produk, pengguna tidak
dapat menggunakan tombol enter untuk
melakukan pencarian, beberapa font memiliki
ukuran yang terlalu besar, banyak pop-up menu
yang muncul di tengah halaman, saat masuk ke
halaman pembayaran beberapa ikon dan
tampilan membingungkan. Gambar background
homepage memiliki penataan yang kurang pas
dan untuk melalukan pembelian produk dan
memasukka wishlist haru log-in dulu sehingga
mengeluarkan effort lebih.
4.3 User Experience Questionnaire
Berikut adalah hasil dari pengisian kuisioner
UEQ pada ketiga situs e-commerce.
Gambar 2 Hasil Kuisioner UEQ
Dapat dilihat pada Gambar 2, hasil
kuisioner UEQ pada 6 items yang, XYZ unggul
pada items kejelasan (perpicuity), efisiensi
(efficiency) dan stimulasi (stimulation).
Berrybenka unggul pada items daya tarik
(attractiveness) dan kebaruan (novelty).
Fakultas Ilmu Komputer, Universitas Brawijaya
4331
Vipplaza unggul pada ketepatan
(dependability). Persepsi responden kepada
ketiga situs tersebut cenderung positif karena
nilai rata-rata untuk setiap skala penilaian
cenderung normal ke positif.
5. KESIMPULAN
Berdasarkan penelitian yang dilakukan,
kesimpulan yang didapatkan yaitu:
1. Pada pengujian skenario responden
memberikan respon yang positif kepada
ketiga situs e-commerce, dilihat dari hasil
pengujian skenario yang memiliki nilai
cenderung ke positif. Pada aspek
effectiveness parameter task success rate,
XYZ memiliki nilai yang lebih tinggi dari
kedua situs lainnya dan parameter error
rate, Vipplaza.co.id yang memiliki nilai
tertinggi. Aspek efficiency, parameter time
per completed task, XYZ memiliki waktu
penyelesaian tugas yang lebih singkat dari
kedua situs lainnya dan parameter number
of clicks, Vipplaza.co.id memiliki jumlah
klik tugas yang lebih sedikit Pada aspek
satisfaction, XYZ memiliki nilai tertinggi
dari kedua situs lainnya. Dapat
disimpulkan, secara keseluruhan salestock
memiliki hasil pengujian yang lebih baik
dari kedua situs lainya.
2. Dari hasil kuisioner UEQ, pada items
pengujian, XYZ lebih unggul di 3 items
yaitu kejelasan (percipuity), aefisiensi
(efficiency) dan stimulasi (stimulation).
Sementara Vipplaza.co.id unggul di skala
pengukuran ketepatan (dependability) dan
Berrybenka.com unggul di items daya
tarika (attractiveness) dan kebaruan
(novelty). Dari hasil kuisioner tersebut,
dapat disimpulkan bahwa responden
cenderung tinggi ke XYZ dibandingkan
Vipplaza.com dan Berrybenka.com
DAFTAR PUSTAKA
Asosiasi Penyelenggara Jasa Internet Indonesia.
2017. Infografis Penetrasi dan Perilaku
Pengguna Internet Indonesia 2017.
[online].Tersedia di:<http:/www,apji.or
.id> [ Diakses pada 14 Agustus 2018]
iPrice Group .,2018. Peta E-Commerce
Indonesia. [online]. Tersedia di : <
//http:iprice.co.id/insights/mapofecomm
erce/> [Diakses 17 Agustus 2018]
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 4332

ISO (International Organization for

Standardization), 2010.Ergonomics of
human system interaction. [online]
Tersedia di : <https://www.iso.org/obp/
ui/#iso:std:iso:9241:-210:ed-1:v1:en>.
[Diakses Tanggal 23 Agustus 2018].

Guo, F., 2012. More Than Usability: The Four

Elements of User Experience, Part I.
[online].Tersedia di:< www.uxmatters.
.com /mt/archives/2012/04/more-than-
usability-the-four-elements-of-user-
experience-part-i.php> [Diakses
Tanggal 25} Agustus 2018

Schrepp, Martin., Hinderks, Andreas &

Thomaschewski, Jörg. (2014).
Applying the User Experience
Questionnaire (UEQ) in Different
Evaluation Scenarios. Lecture Notes in
Computer Science, Volume 8517 p.
383-392.
Usability.gov, Usability Testing. [online]
Usability.gov. Tersedia di: <
https://www.usability.gov/how-to-and-
tools/methods/usability-testing.html>
[Diakses 20 Agustus 2018].

Fakultas Ilmu Komputer, Universitas Brawijaya