TUGAS IMK

Test Report
Usability Test pada Website:
bem.ftif.its.ac.id

Kelompok 6:
Fajar Setiawan 5112100010
Andrew Joshua N 5112100149
Ahmad Fauzan M 5112100203
Otniel Yehezkiel 5112100212
IMK A
Jurusan Teknik Informatika - Institut Teknologi Sepuluh
Nopember
Kampus ITS Keputih Sukolilo Surabaya
 Daftar Isi

Contents
Daftar Isi...............................................................................................................................................2
Thinking Aloud Test Report...............................................................................................................3
1 Executive Summary......................................................................................................................3
2 Test Methodology.........................................................................................................................4
2.1 Prosedur Test.........................................................................................................................4
2.2 Test Users...............................................................................................................................4
2.3 Tasks.......................................................................................................................................6
2.4 Test Environment..................................................................................................................7
2.5 Training..................................................................................................................................9
3 Results...........................................................................................................................................9
3.1 Discussion and Analysis.........................................................................................................9
3.2 First Impressions.................................................................................................................10
3.3 Positive Findings..................................................................................................................10
3.4 List of Recommendations....................................................................................................14
3.5 Interviews.............................................................................................................................16
3.6 Feedback Questionnaires....................................................................................................17
Appendix A: Dokumentasi............................................................................................................17
Appendix B: Test Team Materials...............................................................................................17
Appendix C: User Materials.........................................................................................................17

Page 2 of 19
 Thinking Aloud Test Report
IMK A

Kelompok 6
Fajar Setiawan 5112100010  
Andrew Joshua N 5112100149
Ahmad Fauzan Muhfid    5112100203
Otniel Yehezkiel        5112100212

Usability Test pada Web Site

http://bem.ftif.its.ac.id/

Report Test pada tanggal 24 Mei 2015

1 Executive Summary
Kami melakukan test thinking aloud dengan kelompok yang berisi peserta yang memiliki
pengetahuan cukup luas. Thinking Aloud test pada dasarnya adalah prosedur di mana peserta
memberitahu kami apa yang mereka pikirkan, bertanya dan keputusan meraka selama
mengevaluasi website. Setelah mengisi consent form dan backgorund kuisioner, pengujian
dimulai. Kami menggunakan kamera atau voice recoder selama pengujian. Lalu diselesai
dengan wawancara dan mengisi feedback kuisioner.

Para peserta diberi 4 tugas dalam pengujian. Selanjutnya, peserta bebas untuk mencoba fitur
dalam website yang diujikan.

Semua peserta dapat menjalankan tugas dengan baik. Hanya saja, peserta kecewa dengan isi
web yang kurang informatif. Karena ada beberapa halaman yang tidak memiliki isi dan ada
juga yang kontennya hampir sama dengan halaman yang lain.

Beberapa peserta mencoba fitur search pada web ini, namun ketika dicoba oleh salah satu
peserta, fitur search tidak dapat digunakan. Untuk desain, sebagian besar peserta tidak ada
yang mengeluh, hanya saja ada warna yang tidak konsisten, dan merasa halaman web terlalu
sepi. Kedepannya, diharapakan website bisa memenuhi beberapa point berikut :
- Informasi yang jelas dan padat
- Konsistensi warna
- Memperjelas beberapa halaman yang agak ambigu

Page 3 of 19
2 Test Methodology
2.1 Prosedur Test

Metode Thinking Aloud merupakan metode dimana peserta test menyampaikan secara
langsung apa yang mereka pikirkan selama pengujian suatu website. Hal ini meliputi : apa
yang peserta coba lakukan, pertanyaan dari mereka, penjelasan yang membingungkan serta
apa yang mereka pilih.

Peserta diminta untuk mengisi formulir perijinan dan persetujuan. Mereka akan diberi
pendahuluan singkat tentang pengujian dengan metode thinking aloud melalui suatu video
dari pengujian yang dilakukan sebelumnya, agar mereka mengetahui apa yang akan mereka
lakukan kedepannya. Peserta akan menggunakan komputer yang disediakan oleh penguji.
Selama menguji website, peserta akan diawasi oleh penguji dan kegiatan mereka direkam
menggunakan kamera dan voice recorder. Ketika peserta selesai menguji website, peserta
diminta untuk mengisi kuisioner dan menjawab beberapa pertanyaan secara lisan.

Bagaimana kami memroses

Kita persiapkan ruangan test disertai dengan peralatan yang diperlukan (Kamera dan
Dokumen) dan kemudian menambuat setiap user masing-masing di depan kamera. Kita
memperkenalkan diri kita, menjelaskan bagaimana thinking aloud testing bekerja dan
menunjukkan kepada mereka website yang akan ditest. Lalu kita memberikan suatu lembar
persetujuan untuk ditandatangani lalu mengisikan kuisioner latar belakang peserta.

Setelah kuisioner latar belakang diisi kita memulai testing – masing-masing dari mereka
diberikan suatu pertanyaan pada lembar dan diperintahkan untuk mengerjakan tugas yang
diminta. Setiap tugas ditandai dengan waktu dan kita mencatat selama proses berlangsung.
Setelah di testing, kita lalu memberikan secara invidual suatu pertanyaan yang dikustomisasi,
lalu memberkan feedback dari impresi keseluruhan.

Pilot harus selesai sehari sebelum user normal. Setelah semua testing selesai, kita melanjtkan
untuk mngeisi formulir dan menulis report.

2.2 Test Users

User profiles

Kami menetapkan user profile untuk peserta yang akan menggunakan website kami :

 Peserta merupakan mahasiswa FTIF ITS atau alumni

 Peserta ingin mengetahui profil BEM FTIF
 Peserta ingin mengetahui struktur organisasi BEM FTIF
 Peserta ingin mengetahui kegiatan apa saja yang diselenggarakan oleh BEM FTIF

Page 4 of 19
  Peserta ingin membandingkan tampilan website BEM FTIF dengan tampilan website
ormawa-nya
 Peserta ingin mengetahui informasi terbaru dari BEM FTIF
 Peserta ingin mengetahui informasi seputar mahasiswa FTIF

Test Group

Semua user yang menguji web kami berasal dari FTIF ITS (sesuai dengan user profile
pertama)

Memilih Peserta

Kami memilih mahasiswa yang berasal dari FTIF ITS. Peserta terdiri dari mahasiswa yang
aktif di BEM FTIF, HMTC, HMSI maupun yang tidak berorganisasi

Test Users

Tabel 1 menampilkan latar belakang singkat peserta

Test User TP TP1 TP2 TP3 TP4 TP5
Tanggal 22 Mei 2015 23 Mei 2015 24 Mei 2015 24 Mei 2015 24 Mei 2015 23 Mei 2015
Waktu 17:15 11:45 13:56 14:07 16:03
Nama Ikrom Ahmadi Arika Saputro Anggeriko A Ardhya Perdana P Risky DS Andre Firmansyah
Gender Pria Pria Pria Pria Pria Pria
Usia 21 22 20 20 21 20
Alamat Puncak Jl Keputih Keputih gang BME – 45 Sukolilo Keputih gang 3 no Keputih 2A/06
Kertajaya Makam F02 makam blok Surabaya 20
F/2
Menggunakan Kaca mata Kaca mata Kaca mata Tidak Tidak Tidak
Alat Bantu
Buta Warna Tidak Ya Ya, Parsial Tidak Tidak Tidak
Pendidikan SMA/Sederajat SMA/Sederajat SMA/ SMA/Sederajat SMA/Sederajat SMA/Sederajat
Terakhir Sederajat
Bidang Studi Teknik Teknik Teknik Teknik Informatika Teknik Informatika Sistem Informasi
Informatika Informatika Informatika
Lama 7 3 9 7 6 11
Menggunakan
Komputer
(tahun)
Durasi Jam per 20 16 22 40 35 42
Minggu
Menggunakan
Komputer
Sistem Operasi Microsoft Microsoft Microsoft Microsoft Windows, Microsoft Microsoft
yang sering Windows Windows Windows Linux Windows Windows
digunakan
Keperluan Mengerjakan Mengerjakan Mengerjakan Mengerjakan tugas, Mengerjakan Mengerjakan
Menggunakan tugas, tugas, Internet, tugas, Internet, bermain tugas, Internet, tugas, Internet,
Komputer Internet, bermain game, Internet, game bermain game, berman game
bermain game, mengerjakan bermain mengerjakan
mengerjakan proyek game, proyek
proyek mengerjakan
proyek
Durasi jam 6 8 3 5 5 6
perhari
menggunakan
komputer
Akses Internet Ya Ya Ya Tidak Ya Ya

Page 5 of 19
 Setiap hari
Akses Internet Komputer Komputer Komputer Komputer Komputer, ponsel Komputer
melalui
Kegiatan yang Mengerjakan Mengerjakan Mengerjakan Mengerjakan tugas, Mengerjakan Mengerjakan
dilakukan saat tugas, Mencari tugas, Mencari tugas, Mencari Informasi, Tugas, Mencari tugas, Mencari
menggunakan informasi, informasi, Mencari bermain game, Informasi informasi,
Internet Bermain Bermain Game, Informasi, Bersosialisasi bersosialisasi
Game, Bersosialisasi bermain
Bersosialisasi game,
Bersosialisasi
Browser yang Mozilla Mozilla Firefox, Google Mozilla Firefox, Mozilla Firefox, Mozilla Firefox
digunakan Firefox, Google Chrome Chrome Google Chrome Google Chrome
Google
Chrome
Pernah Ya, BEM Ftif, Tidak Ya, BEM Ftif, Ya, Bemftif Ya Ya, Bemftif
bergabung HMTC HMTC
organisasi
mahasiswa
Pernah membuka Ya Tidak Ya Ya Ya Ya
website salah
satu Ormawa
Intensitas 1-2 Kali Lebih dari 9 kali 1-2 Kali 1-2 kali perminggu 1-2 kali perminggu 1-2 kali perminggu
membuka perminggu perminggu perminggu
Website Ormawa
Informasi yang Info Kegiatan Lainnya Info Kegiatan Info Kegiatan, Info Info Kegiatan Info Kegiatan,
diperoleh dari Mahasiswa, Profil Profil Organisasi
Web Ormawa Organisasi
Part Ya, sebagai Ya, sebagai Tidak Ya, sebagai tim Tidak Ya, sebagai
isipasi dalam partisipasi partisipasi penguji partisipasi,sebagai
Usability Test tim penguji
Partisipasi dalam Survey IMK Survey IMK - IMK - IMK
Bidang lainnya lainnya

2.3 Tasks

Tabel 2 menampilkan list tugas yang diberikan

Task Description Prerequisites Completion Max. Possible Solution Path

No. Criteria Time

1 [First impressions] Coba Pada browser User melihat 3 Setelah 3 menit tanyakan
masuk ke website dibuka website menit hal ini kepada user:
http://bem.ftif.its.ac.id/ www.google.com tersebut 1. Apa yang
dan perhatikan website selama 2-3 direpresentasikan
tersebut dalam beberapa menit dalam website ini?
menit. 2. Kepada siapa
website ini
ditujukan?
3. Apa informasi
yang diberikan
dari website ini?

2 Pilih navigasi bar Web browser User telah 2 Klik menu navigasi
“Profil” terbuka pada melihat menit “Profil” - Baca informasi
halaman halaman yang tertulis dihalaman

Page 6 of 19
 bem.ftif.its.ac.id tersebut tersebut
selama
2menit

3 Pilih navigasi bar Web browser User telah 7 Klik menu navigasi
“Departement” terbuka pada melihat menit “Profil” -> Buka satu
halaman halaman persatu submenu
bem.ftif.its.ac.id tersebut departemen tersebut. -
selama 5-7 Baca informasi yang
menit tertulis dihalaman
tersebut

4 Pilih navigasi bar Web browser User telah 2 Klik menu navigasi
“Apps”. terbuka pada melihat menit “Apps”. Baca informasi
halaman halaman yang ada di halaman
bem.ftif.its.ac.id tersebut tersebut
selama 2
menit

5. Coba fitur yang Web browser User mencari 3 Mencoba fitur search dan
ditemukan pada web terbuka pada dan mencoba menit social media
BEM FTIF halaman selama 3
bem.ftif.its.ac.id menit

Tabel 3 Penjelasan Tugas

Task No. Description
1 User mengamati antarmuka halaman home dari web BEM FTIF
2 User mengamati halaman profil
3 User mengamati halaman Departemen dan mengamati sub halamannya
4 User mengamati halaman Apss
5 User mencari dan mencoba fitur dalam web BEM FTIF

2.4 Test Environment

Web browser yang digunakan dalam pengujian

Gambar 1 menampilkan list tugas yang diberikan

Page 7 of 19
Tempat pengujian

Gambar 2 test di KCV

Gambar 3 test di BME

Page 8 of 19
Hardware dan waktu pelaksanaan test

Table 4: Hardware dan Software yang digunakan pada test

Computer Equipment

Hardware Intel Corei5, RAM 4GB, Nvidia GT 740M

Sistem Operasi Windows 8.1 Embaded Industry

Web Browser Google Chrome

Koneksi Informatics-wifi

Kepadatan Warna 32-bit

Resolusi Layar 1366x768

Ukuran Layar 14”

Video Equipment
Camera Lenovo P780
Recorder Nokia Lumia 520
Test Setting
Location Lab KCV, BME 45
Date of Pilot Test 2015-05-22
Date of Real Tests 2015-05-23

Page 9 of 19
2.5 Training

Tidak dibutuhkan pelatihan khusus yang dibutuhkan. Dalam pengujian yang digunakan
adalah browser Google Chrome, Keyboard dan Mouse sebagai inputnya

3 Results
3.1 Discussion and Analysis

Web yang dites adalah hmtl-its.org, versi terakhir sejak 1 - 2 bulan yang lalu. Web ini masih
dalam tahap pengembangan dan selama proses testing kami banyak menemukan kekurangan
yang sebenarnya bukan kesalahan tester.

Masalah utama dan yang paling sering terjadi adalah kesulitan dalam melaksakan tugas kedua
dan ketiga. pengguna sering mengeluhkan sulitnya mencari informasi yang diinginkan karena
tidak ada petunjuk dimana informasi berada. kebanyakan subjek menemukan informasi yang
dicari dari recent post yang tidak sengaja mereka lihat. tercatat tugas dua dan tiga masing -
masing tugas dilaksanakan satu kali.

Tugas 1-4 dapat dijalankan semua oleh peserta, sementara pada tugas ke-5 tidak semua
peserta mampu menemukan semua fitur dalam web ini.

Tabel 5 Statistik Keberhasilan

Jumlah User
Task No. Selesai Selesai dengan bantuan Tidak Selesai
1 5 (100%) 0 (0%) 0 (0%)
2 5 (100%) 0 (0%) 0 (0%)
3 5 (100%) 0 (0%) 0 (0%)
4 5 (100%) 0 (0%) 0 (0%)
5 0 (0%) 2 (40%) 3 (60%)

3.2 First Impressions

Tebel 6a,6b, dan 6c berdasarkan tugas pertama

Tabel 6a. Peserta menjawab pertanyaan “Apa yang direpresentasikan dalam website ini?”
TP1 FTIF
TP2 Halaman Informasi FTIF
TP3 FTIF
TP4 FTIF
TP5 FTIF

Tabel 6b. Peserta menjawab pertanyaan “Kepada siapa website ini ditujukan?”
TP1 Untuk mahasiswa FTIF

Page 10 of 19
 TP2 Kepada semua orang, khusunya
mahasiswa FTIF
TP3 Untuk umum dan mahasiswa FTIF
TP4 Mahasiswa FTIF
TP5 Mahasiswa FTIF

Tabel 6c. Peserta menjawab pertanyaan “Apa informasi yang diberikan dari website ini??”
TP1 Informasi event FTIF
TP2 Event FTIF dan timelin twitter FTIF
TP3 Informasi event FTIF
TP4 Informasi event FTIF
TP5 Informasi event FTIF

3.3 Positive Findings

P1. Tampilan Antarmuka

Desain interface sudah cukup bagus dan pemilihan warna sudah mewakili FTIF.
Website juga mudah dioperasikan.

TP : TP2, TP3, TP4, TP5

Gambar 4 tampilan halaman home

P2. Penempatan Menu dan Text

Penempatan menu pada navbar sudah pas. Text juga sangat mudah dibaca

Page 11 of 19
TP : TP1, TP2, TP3, TP4, TP5

Gambar 5 tampilan penempatan menu

P3. Fitur Search

Fungsi search dalam web ini sudah berfungsi dengan baik dan benar

TP : TP2, TP3, TP4, TP5

Gambar 6 tampilan fitur search

Page 12 of 19
P4. Fitur Tag

Setiap informasi yang ada pada web BEM FTIF terdapat tag. Selain itu, bisa
mengelompokkan informasi berdasarkan tag

TP : TP4

Gambar 7 tampilan fitur tag

P5. Sosial Media

Pada web BEM FTIF menampilkan timeline twitter. Selain itu, juga terdapat link
yang meneruskan pada social media lain seperti facebook dan youtube

TP : TP1, TP2, TP3, TP4, TP5

Page 13 of 19
 Gambar 8 tampilan sosial media twitter

Gambar 9 tampilan link sosial media

3.4 List of Recommendations

R1. Waktu Loading

Page 14 of 19
 Dalam membuka halaman web ini, peserta membutuhkan waktu yang tidak sebentar.
Faktor koneksi mungkin dapat memengaruhi

TP : TP1, TP2, TP3, TP4, TP5

Gambar 10 tampilan website ketika sedang loading

R2. Konten Informasi

Semua peserta mengeluhkan informasi dalam web ini. Semua kecewa karena
informasinya sedikit dan pada beberapa halaman isi kontennya sama. Dari web ormawa
diharapkan adanya informasi yang lengkap dan jelas. Tapi dalam web ini, masih ada halaman
web yang kosong.

TP : TP1, TP2, TP3, TP4, TP5

Page 15 of 19
 Gambar 10 tampilan halaman yang isinya kosong

Gambar 11 tampilan halaman yang isi kontennya sama

Page 16 of 19
 3.5 Interviews

Pertanyaan TP1 TP2 TP3 TP4 TP4

Apa pendapatmu Informasi Web ormawa Web masih Desain simple, Mudah
tentang website terlalu sedikit, seharusnya dikembangkan, user friendly, dioperasikan,
ini? / Bagaimana banyak yang menampilkan cukup hanya saja konten sangat
menurutmu? kosong. Logo informasi yang sederhana kurang gambar kurang,
FTIF terlalu lengkap. tampilannya. tampilan
kecil. Tampilan Warna cukup baik.
Desainnya sudah cukup mewakili Sudah
dibuat sama bagus. FTIF. mewakili FTIF
tiap Warnanya Informasi warnanya
halamannya. kurang sangat kurang
konsisten
Apakah mudah atau Cukup mudah Mudah Jelas dan Mudah Cukup Mudah
sulit melakukan Mudah
tugas diatas?
Hal apa yang Fitur search Tombol follow Fitur search Tidak ada Tidak ada,
menurutmu cukup belum bisa dan me di navbar seharusnya hanya saja
mengganggu saat warnanya dan logo ftif di ditengah, halaman yang
membaca web diatas tidak konsisten pojok kanan navbar apps kosong cukup
atas terlalu tidak diketahui menyebalkan
kecil fungsinya apa
Apakah halaman Sudah Navbar Sudah Sudah Navbar
dan navigasi sudah terstuktur, tapi ditambahi terstuktur, bisa terstuktur, bisa ditambahi
terstruktur atau sebaiknya menu contact ditambahi ditambahi menu contact

Page 17 of 19
belum? tombol follow us menu contact contact us dan us
me us. Menu menu tutorial
dihilangkan follow me
diganti

3.6 Feedback Questionnaires

TP TP1 TP2 TP3 TP4 TP5 AV Std Dev
1 Menemukan Sangat 1 2 3 4 5 Sangat 3 3 4 4 5 4 3.83 0.75
fitur dalam Susah Mudah
website
2 Kualitas Sangat 1 2 3 4 5 Sangat 1 2 2 2 1 2 1.67 0.51
Informasi Buruk Bagus
3 Kemudahan Sangat 1 2 3 4 5 Sangat 4 4 3 3 4 4 3.67 0.51
membaca text Susah Mudah
4 Kemampuan Sangat 1 2 3 4 5 Sangat 1 2 3 2 4 4 2.67 1.21
fitur search Buruk Bagus
pada website
5 Tampilan dari Sangat 1 2 3 4 5 Sangat 2 4 4 3 3 3 3.16 0.75
Website Buruk Bagus
6 Konsistensi Tidak 1 2 3 4 5 Sangat 4 4 2 3 3 4 3.33 0.81
dalam Website Konsisten konsiste
n

7 Kecepatan Sangat 1 2 3 4 5 Sangat 3 2 2 3 3 3 2.67 0.51

membuka lambat Cepat
halaman
8 Apakah anda Sangat 1 2 3 4 5 Sangat 2 3 2 4 2 2 2.5 0.83
puas setelah Tidak Puas
mengunjungi puas
website kami?
9 Peniliaian Anda Sangat 1 2 3 4 5 Sangat 1 3 3 4 2 2 2.5 1.04
secara Buruk Bagus
keseluruhan
terhadap
website kami
10 Apakah Anda Tidak 1 2 3 4 5 Pasti 4 3 4 5 2 4 3.67 1.03
akan Akan Mengunj
mengunjungi ungi
website kami
dilain waktu?

Appendix A: Dokumentasi
 Rekaman Video
 Rekaman Suara
 Foto

Appendix B: Test Team Materials

 Orientation script.

Appendix C: User Materials

 background questionnaire.

Page 18 of 19
 consent form.
 feedback questionnaire.

Page 19 of 19