BAB III

METODOLOGI PENELITIAN

3.1 Subjek dan Objek Penelitian

Pada penelitian kali bertujuan mengetahui usability dari sebuah aplikasi m-
commerce. Pengukuran nilai usability menggunakan metode usability testing kepada 20
participant yang akan diujikan secara daring menggunakan aplikasi conference selama
proses penelitian. Nilai usability pada aplikasi m-commerce akan menjadi tolak ukur
seberapa baik pengalaman pengguna dalam menggunakan aplikasi tersebut.
Objek yang diteliti pada penelitian ini adalah aplikasi mobile m-commerce
Tokopedia. Sebuah aplikasi marketplace C2C milik PT. Tokopedia yang didirikan oleh
William Tanuwijaya dan Leontinus Alpha Edison pada 6 Februari 2009 , aplikasi
Tokopedia resmi diluncurkan ke publik pada tanggal 17 Agustus 2009 dan berhasil
mencapai predikat unicorn pada 17 Agustus 2017 dengan suntikan dana sebesar $ 1,1
miliar dari Alibaba Group [27].

3.2 Alat dan Bahan Penelitian

Alat yang dibutuhkan pada penelitian antara lain :
1. Smartphone
2. Laptop
3. Kertas
4. Ballpoint
5. Kursi
6. Meja
Bahan yang dibutuhkan dalam penelitian antara lain :
1. Task List
2. Kuesioner
3. Aplikasi Tokopedia
4. Aplikasi Rekam Layar
5. Aplikasi Meeting (Google Meet, Zoom, atau yang lainnya)

18
3.3 Proses Penelitian
Proses penelitian dimulai dari studi pendahuluan, pengumpulan data, analisis
data, kesimpulan. Studi pendahuluan dilakukan sebagai landasan penelitian serta
sebagai acuan dalam melakukan penelitian. Pengumpulan data dilakukan dengan
metode usability testing menggunakan USE Questionnaire pada aplikasi dengan
melibatkan pengguna sebagai participant. Analisis data yang telah diperoleh dari
pengujian dan kuesioner dilakukan untuk memperoleh kesimpulan. Gambar 3.1
menjelaskan tentang alur penelitian.

Mulai

Studi Pendahuluan

Pengumpulan Data:
Pretest Quest
Usability Testing
Posttest Quest

Analisis Data

Kesimpulan

Selesai

Gambar 3. 1 Alur penelitian

19
1. Studi Pendahuluan
Studi pendahuluan dilakukan adalah studi pustaka penelitian sebelumnya,
jurnal, buku dan website yang berkaitan dengan usability testing, m-commerce dan
USE questionnaire. Studi pustaka dilakukan sebagai landasan penelitian serta acuan
dalam melakukan penelitian. Selain studi pustaka, dilakukan studi pada objek yang
diteliti guna lebih memperdalam masalah yang dikaji. Observasi juga dilakukan
pada objek penelitian seperti mempelajari fitur-fitur dan menu pada aplikasi dan
membaca review pengguna di Playstore tentang aplikasi Tokopedia guna
mempertajam rumusan masalah yang dikaji serta memperoleh data yang menunjang
penelitian.

2. Pengumpulan Data
Pengumpulan data pada penelitian terdiri dari 3 bagian yaitu pretest quest,
usability testing, posttest quest [28]. Pretest quest dilakukan untuk memperoleh data
pribadi dan pengalaman participant menggunakan aplikasi Tokopedia sebelumnya.
Usability testing pada penelitian ini dilakukan secara remote atau remote usability
test, metode ini mengujikan sebuah aplikasi layaknya usability testing pada
umumnya namun pada remote usability test ini participant tidak bertemu secara
langsung dengan fasilitator melainkan berdiskusi melalui aplikasi conference secara
online, yang terakhir adalah posttest quest menggunakan kuesioner USE.
Participant pada penelitian diambil dari populasi mahasiswa yang dipilih
dengan metode proportional random sampling. Populasi mahasiswa dipilih karena
termasuk salah satu user Tokopedia dan sesuai dengan metode pengujian remote
usability test, di mana mahasiswa sudah pernah bahkan sering menggunakan
aplikasi conference untuk perkuliahan dan diskusi secara online jarak jauh. Nielsen
menyarankan menggunakan 20 pengguna sebagai participant pada sebuah studi
kuantitatif [29]. Jumlah pengguna tersebut dapat menjangkau lebih dari 90%
masalah dalam antarmuka yang diuji [30]. Sehingga penelitian kali ini
menggunakan 20 pengguna sebagai participant agar dapat menemukan masalah
secara menyeluruh namun tetap efisien watu dan biaya penelitian.
Penelitian ini mengambil 20 orang sebagai participant guna mencapai tujuan
yang diharapkan dan masalah yang terdapat pada aplikasi dapat ditemukan dengan
maksimal. Jumlah 20 participant dan pengujian dalam studi kasus yang sama dipilih

20
agar data yang didapatkan semakin beragam sehingga perhitungan hasil dapat lebih
akurat.

1. Pretest Quest
Metode pertama yang dilakukan adalah pretest quest, participant diminta
mengisi kuesioner yang terdiri dari 8 pertanyaan. Kuesioner ini sebagai metode
pengumpulan data pribadi participant yang mencangkup nama, tanggal lahir, jenis
kelamin, pekerjaan, serta pengalaman sebelumnya terkait aplikasi Tokopedia.
Pretest ini dilakukan agar diperoleh data participant yang mengikuti usability
testing. Tabel 3.1 merupakan daftar pertanyaan pada pretest quest.

Tabel 3.1 Pertanyaan pretest quest

No. Pertanyaan
Data Pribadi
1 Nama lengkap
2 Tanggal lahir
3 Jenis kelamin
Pengalaman Aplikasi
4 Apakah Anda pernah menggunakan aplikasi Tokopedia?
5 Apakah Anda memiliki akun Tokopedia?
6 Berapa lama aplikasi Tokopedia sudah terpasang pada perangkat
Anda?
7 Apakah Anda pernah melakukan transaksi dengan aplikasi Tokopedia?
8 Ceritakan secara singkat pengalaman yang pernah Anda lakukan
dengan aplikasi Tokopedia

Data pribadi yang terdiri dari nama lengkap, tanggal lahir, jenis kelamin dan
pekerjaan akan menjadi data participant yang mengikut usability testing yang
menunjang penelitian. Sedangkan data pengalaman aplikasi dibutuhkan untuk
mengetahui seberapa jauh pengalaman participant dengan aplikasi Tokopedia
sebelum dilakukannya penelitian.

2. Usability Testing
Langkah setelah dilakukannya pretest quest adalah usability testing, participant
diminta menyelesaikan task-task yang diberikan oleh fasilitator yang berguna untuk
membantu participant menjawab kuesioner yang diberikan sebagai penilaian
terhadap objek yang sedang diujikan. Tabel 3.2 menjelaskan task-task yang harus
diselesaikan oleh participant.

21
 Tabel 3.2 Task Usability Testing
No. Task
Registrasi ke dalam aplikasi sebagai user, kemudian logout dan
1
melakukan login.
Mencari produk “gitar” pada toko yang ditandai sebagai official store,
2
lalu membaca ulasan pembeli lain.
Menambahkan 2 produk yang berbeda ke dalam keranjang belanja lalu
3
melakukan pembelian pada produk termurah.
4 Mencari informasi data diri user,
5 Mencari informasi syarat dan ketentuan aplikasi.

Task-task yang disusun memperhatikan faktor pendukung m-commerce yang

sudah dijelaskan pada tabel 2.2 agar participant lebih mendalami dan memperoleh
pengalaman yang diharapkan pada pengujian ini. Penjelasan task yang terdapat pada
Tabel 3.2 antara lain sebagai berikut.
Task 1. Registrasi ke dalam aplikasi sebagai user, kemudian logout dan
melakukan login.
Participant diminta melakukan proses registrasi atau membuat
akun Tokopedia untuk bisa masuk ke dalam aplikasi sebagai user,
lalu melakukan logout kemudian login kembali menggunakan akun
yang sama. Jika participant sudah memiliki akun sebelum pengujian,
maka langkah registrasi dilewati dan dimulai dari langkah logout lalu
login kembali. Task ini sesuai dengan faktor m-commerce yaitu
Security/Privacy Usefulness.
Task 2. Mencari produk “gitar” pada toko yang ditandai sebagai official
store, lalu membaca ulasan pembeli lain.
Participant diminta menjari suatu produk dalam marketplace
yaitu gitar. Participant juga diminta hanya melihat produk dari
Official Store, lalu participant diminta untuk melihat review dari
pengguna yang sudah pernah melukakan pembelian sebelumnya.
Task ini sesuai dengan faktor Mobile portal and Reliability.
Task 3. Menambahkan 2 produk yang berbeda ke dalam keranjang belanja
lalu melakukan pembelian pada produk termurah.
Participant diminta untuk menambahkan 2 produk berbeda ke
dalam keranjang belanja lalu melakukan proses pembelian pada
barang tersebut, namun pada proses pembelian Participant hanya
cukup mengisi alamat serta memilih jasa pengiriman saja, tidak

22
 sampai melakukan pembayaran produk tersebut karena akan
memberatkan participant. Task ini sesuai dengan faktor Transaction
Process dan cost.
Task 4. Mencari informasi data diri user,
Participant diminta mencari informasi tentang data diri user
yang ada pada aplikasi Tokopedia.
Task 5. Mencari informasi syarat dan ketentuan aplikasi.
Participant diminta mencari informasi tentang syarat dan
ketentuan yang ada pada aplikasi Tokopedia.

Pengujian task akan memperhitungkan tingkat keberhasilan, waktu

participant menyelesaikan task dan jumlah error yang dialami oleh participant. Data
ini digunakan untuk perhitungan efisiensi waktu dan efisiensi relatif keseluruhan
task yang diujikan dan digunakan sebagai data pelengkap penelitian dan akan
berkaitan dengan hasil yang diperoleh pada langkah penelitian selanjutnya.
Tingkat keberhasilan participant menyelesaikan task dihitung dengan
menetapkan nilai biner '1' jika peserta tes berhasil menyelesaikan tugas dan '0' jika
dia tidak [31]. Waktu penyelesaian task adalah hasil pengukuran waktu yang
dibutuhkan participant dalam menyelesaikan task yang diberikan. Waktu
penyelesaian dapat dalam satuan detik maupun menit, tergantung tingkat
kompleksitas task yang diberikan. Jumlah error adalah jumlah kesalahan yang
dilakukan oleh participant atau kesalahan yang dialami oleh participant selama
pengujian.
Efisiensi waktu merupakan nilai seberapa efisien task yang diujikan pada
participant berdasarkan waktu yang dibutuhkan partisipant untuk menyelesaikan
task. Efisiensi relatif keseluruhan adalah nilai keefisienan keseluruhan task yang
diujikan. Rumus (3.1) digunakan untuk menghitung waktu efektif dalam
penyelesaian task yang diberikan pada participant dan rumus (3.2) digunakan
untuk menghitung Efisiensi Relatif Keseluruhan pada task-task yang sudah diujikan
[31].

𝑛
∑ ∑
𝑡
Efisiensi Waktu = (3.1)
𝑁𝑅
23
 ∑ ∑ 𝑛 𝑡
Efisiensi Relatif Keseluruhan = 𝑥 100% (3.2)
∑ ∑ 𝑡

Keterangan :
R : jumlah participant
N : jumlah task
𝑛 : task yang dapat diselesaikan; jika selesai maka 𝑛 = 1, jika gagal maka
𝑛 =0
𝑡 : waktu yang dibutuhkan participant untuk menyelesaikan task, jika task
gagal maka waktu dihitung sampai participant berhenti mengerjakan
task.

Pengujian juga memperhitungkan jumlah kesalahan yang dilakukan oleh

participant. Kesalahan dapat berupa tindakan yang tidak disengaja, tindakan yang
terlewati, kesalahan atau kelalaian yang dilakukan participant.

3. Posttest Quest
Setelah melakukan pengujian terhadap aplikasi Tokopedia dan
menyelesaikan task yang diberikan, participant akan diberikan USE questionaire
dan diminta untuk mengisinya sesuai pengalaman yang dirasakan saat pengujian
tadi. Kuesioner disajikan dalam sekala likert 1 sampai 5 dengan 13 pertanyaan yang
harus participant jawab. Kuesioner digunakan untuk mengumpulkan data
pengalaman participant tentang aplikasi Tokopedia. Tabel 3.3 merupakan daftar
pertanyaan yang ada pada kuesioner beserta kesesuaiannya terhadap aspek
usability.

24
 Tabel 3.3 Daftar pertanyaan kuesioner

Aspek Usability
No. Pertanyaan
Learnability Efficiency Memorability Errors Satisfaction

ASPEK SISTEM (SYSTEM)

Apakah tampilan Tokopedia
1.
mudah dikenali?
Apakah aplikasi Tokopedia
2.
mudah dioperasikan?
Apakah tampilan design
3. Tokopedia nyaman dilihat dan
tidak membosankan?
ASPEK PENGGUNA (USER)
Apakah tampilan menu pada
4.
Tokopedia mudah dikenali?
Apakah informasi dalam
5.
Tokopedia mudah dicari?
Apakah tulisan yang ada
6.
mudah dibaca?
Apakah fitur yang ada mudah
7.
digunakan?
Apakah simbol dan gambar
8.
mudah dipahami?
ASPEK INTERAKSI (INTERACTION)
Apakah mudah mengakses
9. informasi produk yang
disarankan?
Apakah informasi produk
10.
sesuai dengan kebutuhan?
Apakah proses transaksi
11.
mudah digunakan?
Apakah keamanan informasi
12.
terjamin?
Apakah menu dan tampilan
13.
Tokopedia mudah diingat?

3. Analisis Data
Analisis data dilakukan perbandingan antara beberapa kelompok participant
yang mengikuti remote usability testing. Kelompok participant ditentukan
berdasarkan hasil kuesioner pada pretest quest seperti jenis kelamin, sistem operasi
yang digunakan, dan intensitas penggunaan aplikasi. Perbandingan tersebut
dideskripsikan sebagai berikut.

25
 1. Sistem Operasi
Participant dibedakan menjadi 2 sistem operasi yaitu berbasis Android
dan berbasis IOS. Kedua aspek tersebut dibandingkan dari sisi kenyamanan
pengguna berdasarkan sistem operasi yang dipakai oleh participant.
2. Jenis Kelamin
Participant dibedakan menjadi 2 kelompok berdasarkan jenis
kelaminnya laki-laki dan perempuan. Aspek ini akan dibandingkan tingkat
kenyamanan yang pengguna rasakan.

Setelah melakukan pengujian dengan remote usability test dan mendapatkan

data dari kuesioner USE maka selanjutnya adalah menganalisis data yang didapat.
Analisis dilakukan terhadap respons jawaban participant pada kuesioner USE. Data
yang ada akan dihitung rata-rata sehingga dapat diambil sebuah kesimpulan. Rumus
(3.3) digunakan untuk menghitung rata-rata jawaban participant pada kuesioner
yang diberikan.

1
𝑥= 𝑥 (3.3)
n

Keterangan :
𝑥 : Rata-rata
𝑥 : respons participant
n : nilai maksimal respons participant

4. Pengambilan Kesimpulan
Kesimpulan diambil dari perhitungan respons kuesioner yang didapat dari
analisis data apakah aplikasi Tokopedia memiliki usability yang kurang baik, baik
atau sangat baik. Berdasarkan rata-rata yang dihitung pada kuesioner USE dapat
diambil 3 kesimpulan sebagai berikut.
1. 𝑥 < 3, jika rata-rata nilai kurang dari 3 maka aplikasi yang diuji memiliki
usability yang kurang baik.

26
 2. 𝑥 = 3, jika rata-rata nilai sama dengan 3 maka aplikasi yang diuji memiliki
usability yang baik.
3. 𝑥 > 3, jika rata-rata nilai lebih dari 3 maka aplikasi yang diuji memiliki
usability yang sangat baik.

3.4 Hipotesis Penelitian

Hipotesis penelitian ini adalah :
H0 = Nilai rata-rata skor USE pada m-commerce sama dengan 3
H1 = Nilai rata-rata skor USE pada m-commerce tidak sama dengan 3

27