Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 6, No. 10, Oktober 2022, hlm. 4587-4597 http://j-ptiik.ub.ac.id

Evaluasi dan Perbaikan User Experience Aplikasi Perangkat Bergerak

Sistem Informasi Karyawan menggunakan Metode Usability Testing dan
User Centered Design (Studi Kasus: Teladan Prima Group)
Farras Almay Renando1, Agi Putra Kharisma2, Mahardeka Tri Ananta3

Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: 1nandoofa@student.ub.ac.id, 2agi@ub.ac.id, 3deka@ub.ac.id

Abstrak
Aplikasi Teladan Apps merupakan aplikasi untuk memberikan kemudahan dan kenyamanan aktivitas
pekerjaan bagi karyawan di perusahaan Teladan Prima Group yang bergerak di bidang perkebunan dan
pabrik kelapa sawit pada saat pandemik tanpa harus keluar rumah. Sebagai produk yang baru
dikembangkan hingga saat ini tim pengembang dari aplikasi Teladan Apps belum melakukan evaluasi
terkait dengan User Experience. Penelitian ini menggunakan metode Usability Testing untuk
mengidentifikasi permasalahan usabilitas. Metode ini dapat membantu menemukan peluang serta
memahami perilaku dan preferensi pengguna dalam menggunakan suatu produk (moran, 2019). Proses
evaluasi dan perbaikan aplikasi “Teladan Apps” menggunakan metode User Centered Design (UCD)
yaitu metode dengan pendekatan dalam pembuatan design yang menempatkan pengguna sebagai pusat
dalam pada pembuatan desainnya. Dari hasil evaluasi pada aspek efektifitas menggunakan Usability
Testing pada Prototype perbaikan aplikasi teladan apps mendapatkan nilai 91%. Hasil yang didapatkan
dari penyebaran kuesioner UEQ pada pengujian tahap dua yang mewakili 6 aspek yaitu aspek daya tarik
mendapatkan nilai rata-rata sebesar 2.29, aspek kejelasan 2.21, aspek efisiensi 2.19, aspek ketepatan
1.99, aspek stimulasi 2.14 dan aspek kebaruan 1.90. Dari hasil evaluasi untuk seluruh aspek memiliki
nilai positif.
Kata kunci: Work from Home, Log book, Usability Testing, User Centered Design, evaluasi pengalaman
pengguna
Abstract
Mobile Apps “Teladan Apps” is an application that has been developed to give employee access more
easily and comfortably for work activity to employees in Teladan Prima Group companies engaged in
plantations and Palm Oil factories in this pandemic situation without leaving the house. As a new
product, the development team from the application Teladan App hasn't evaluated the User Experience.
This research uses the Usability Testing method to identify usability problems. This method can help to
find the chance and understand the activity and preferences in using a product (Moran, 2019). The
evaluation process and upgrading application “Teladan Apps” will use User-Centered Design (UCD)
which is an approach way in the making designs that puts the user at the center of the design. The result
of this evaluation and examination using the Usability Testing method in the prototype of Teladan
Application, the application obtained a value of 91%. The result accomplished from the dissemination
UEQ questionnaire in the second step examination represent 6 aspects which is the attractiveness with
an average of 2.29, the perspicuity with an average of 2.21, the efficiency with an average of 2.19, the
dependability with an average of 1.99, the stimulation with an average of 2.14, and the novelty with an
average of 1.90. From the evaluation result for all aspects have a positive grade.
Keywords: Work from Home, Log book, Usability Testing, User Centered Design, user experience evaluation

Kesehatan pada aktivitas sehari-hari di setiap

1. PENDAHULUAN lingkungan kerja. Teladan Prima Group
Teladan Prima Group adalah salah satu merupakan perusahaan yang bergerak dibidang
perusahaan yang sangat mematuhi protokol perkebunan dan pabrik kelapa sawit. Didirikan

Fakultas Ilmu Komputer

Universitas Brawijaya 4587
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
pada tahun 2004, terletak di Provinsi
Kalimantan Timur, dimulai dari Kabupaten
Berau dan berkembang ke Kabupaten Kutai
Timur, Kabupaten Kutai Kartanegara hingga
Kabupaten Paser. Dengan Pemerintah
memberlakukan Pembatasan Sosial Berskala
Besar (PSBB), Teladan Prima Group
memberikan kemudahan dan kenyamanan
aktivitas perkerjaan bagi karyawan pada saat
pandemik tanpa harus keluar rumah melalui
Aplikasi Perangkat Bergerak Teladan Apps.
Fitur-fitur yang terdapat di aplikasi Teladan
Apps yaitu Log Book WFH, Self-Assessment,
Informasi Karyawan, Memo, Berita Sawit dan
sebagainya. Sebagai produk yang baru
dikembangkan hingga saat ini tim pengembang
dari Aplikasi Teladan Apps belum melakukan
evaluasi terkait dengan user experience dengan
melibatkan pengguna mereka secara langsung.
Sehingga dari produk yang telah ada belum
diketahui permasalahan yang benar-benar
dialami oleh pengguna. Untuk menyelesaikan
permasalahan pengguna menggunakan metode
Usability Testing, Usability Testing selain
dapat digunakan untuk mengidentifikasi
permasalahan usabilitas, metode ini dapat
membantu menemukan peluang serta
memahami perilaku dan preferensi pengguna
dalam menggunakan suatu produk (Moran,
2019). Proses evaluasi dan perbaikan aplikasi
“Teladan Apps” akan menggunakan metode
User-Centered Design (UCD). User Centered
Design adalah pendekatan dalam pembuatan
design yang menempatkan pengguna sebagai
pusat dalam pada pembuatan desainnya.
Pengguna sistem terlibat pada hal-hal yang
sangat penting dalam menentukan sistem akan
dibuat seperti apa agar sesuai dengan keinginan
pengguna. Konsep dari User Centered Design
(UCD) adalah pengguna sebagai pusat dari
proses pengembangan sistem, tujuan, konteks
dan lingkungan sistem semua didasarkan dari
pengalaman pengguna (Amborowati, 2012).
Dengan adanya penelitian ini diharapkan dapat
mendapatkan hasil evaluasi dan perbaikan
aplikasi “Teladan Apps” guna meningkatkan
nilai usability dan pengalaman pengguna dalam
menggunakan fitur-fitur yang terdapat pada
Aplikasi Teladan Apps.
2. TINJAUAN PUSTAKA
Pada penelitian yang berjudul “Penerapan
Metode User Centered Design pada
Perancangan Aplikasi Darurat Berbasis
Fakultas Ilmu Komputer, Universitas Brawijaya
4588
Android” menciptakan sebuah aplikasi darurat
yang menangani berbagai macam kasus bencana
alam. Metode yang digunakan pada penelitian
ini yaitu User Centered Design dimana pada
metode itu dapat menganalisa kebutuhan sistem
dan desain, dilanjutkan dengan menggunakan
metode Waterfall untuk implementasi
sistemnya. Pada pengujian ini aplikasi tersebut
dapat berjalan dengan baik secara fungsional
sistem dan dapat menghasilkan output yang
diharapkan. Untuk permasalahan pada aplikasi
tersebut hanya perlu dikembangkan agar dapat
berjalan di beberapa perangkat mobile lainnya
seperti perangkat IOS dan Windows Phone
(Muhammad Iqbal, et al., 2020).
Pada penelitian yang berjudul “Penerapan
User-Centered Design dalam Pengembangan
Aplikasi Pencarian Gedung Berbasis Android”
menjelaskan mengenai pencarian informasi
gedung dan lokasi gedung yang tersebar di
seluruh kampus serta rute atau jalur yang dapat
ditempuh oleh pengguna untuk menuju ke
sebuah gedung. Aplikasi ini menggunakan
metode User-Centered Design yang mengacu
pada user experience calon pengguna. Hasil
pengujian ini memiliki nilai seperti pengujian
usability menurut efektivitas sebesar 87.27%,
efesiensi sebesar 90% dan kepuasan pengguna
sebesar 83% dan untuk sistemnya sendiri
memiliki nilai validitas sebesar 100%.
3. METODOLOGI PENELITIAN
Metodologi yang digunakan untuk
penelitian ini adalah User-centered design.
3.1 Tahapan Penelitian
Berikut adalah tahapan penelitian yang
akan dilaksanakan pada proses evaluasi serta
perbaikan pengalaman pengguna:
1) Dimulai dari studi literatur mengenai
evaluasi User Experience dan perancangan
User Interface
2) Pengujian tahap pertama membuat
prototype Aplikasi Teladan Apps pada versi
1.0.3.
3) Membuat perancangan pengujian
menggunakan pengukuran usability dan
user experience Teladan Apps pada desain
awal dan perbaikan.
4) Pengolahan data menggunakan UEQ Tools
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
5) Pengumpulan data primer dan
sekunder
6) Analisis kebutuhan
7) Pengujian tahap kedua dilakukan setelah
rancangan solusi yang telah dibuat yaitu
prototype, prototype akan diuji secara
langsung kepada partisipan dan instrumen
yang sama pada pengujian tahap pertama.
3.2 Ruang Lingkup Penelitian
Untuk penelitian ini didapatkan data dari
partisipan pengguna smartphone berbasis
android yang bekerja di PT. Teladan Prima
Group.
3.3 Jenis dan Sumber Data
Data primer didapatkan dari hasil
wawancara dan observasi yang dilakukan pada
tahap pertama. Selanjutnya data sekunder
didapatkan dari kegiatan analisis kompetitor.
3.4 Bagan Alir
Gambar 3.1 Alur Metodologi Penelitian
4. HASIL DAN PEMBAHASAN
4.1 Penggalian Permasalahan
Fakultas Ilmu Komputer, Universitas Brawijaya
4589
data Hasil yang diperoleh dari pengujian
Usability Testing pada Prototype Aplikasi
Teladan Apps.
4.1.1 Hasil dan Analisis UT Tahap
Pertama
Pada bagian ini akan dijelaskan mengenai
data yang diperoleh dari pengujian Usability
Testing pada Prototype Aplikasi Teladan Apps.
Data yang diperoleh akan dianalisis dan dibagi
menjadi 2 aspek yaitu usability meliputi
efektifitas dan untuk aspek user experience
meliputi Daya Tarik, Kejelasan, Efisiensi,
Ketepatan, Stimulasi, Kebaruan.
4.1.1.1 Efektifitas
Perhitungan aspek efektifitas akan
mempertimbangkan tingkat keberhasilan dari
partisipan terhadap tugas yang diberikan.
Berikut hasil pengujian yang telah dilakukan
oleh partisipan. Pada skenario pertama yaitu
mengisi logbook WFH. Seluruh partisipan telah
berhasil menjalankan skenario pertama. Pada
skenario kedua yaitu mengisi self assesment
didapati 1 partisipan sukses sebagian dengan 4
lainnya sukses. Pada skenario ketiga adalah
mencari informasi limbah cair pada fitur SOP.
Ditemukan 1 partisipan sukses sebagian dengan
4 lainnya sukses. Pada skenario keempat yaitu
mencari informasi seputar memo, seluruh
partisipan sukses dalam menjalankan skenario
dan beberapa partisipan dapat memberikan
informasi terkait informasi memo perusahaan.
Pada skenario kelima adalah mencari informasi
mengenai prusahaan Teladan Prima Group
(TPG) dan berita seputar sawit. Didapati 1
partisipan gagal, 2 partisipan sukses sebagian
dan 2 partisipan sukses.
4.1.1.2 User Experience
Evaluasi user experience (UX) pada
Teladan Apps dilakukan dengan menyebarkan
kuisioner UEQ kepada seluruh staff pekerja
Teladan Prima Group sebanyak 20 orang. Hasil
yang diperoleh dari pemberian kuisioner tertera
pada Gambar 4.1.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Gambar 4.1 Nilai 6 aspek kuisioner UEQ
Hasil dari pengujian Usability pada aspek
efektifitas secara akumulatif terdapat 35 task
yang dilakukan pada 5 partisipan. Berdasarkan
hasil dari pengujian 35 task yang telah dilakukan
seluruh partisipan diperoleh 25 task sukses, 4
task sukses sebagian, dan 6 task gagal
dilaksanakan. Berdasarkan perhitungan yang
sudah dilakukan diperoleh hasil 77% sebagai
mengukur tingkat efektifitas berdasarkan tingkat
kesuksesan penyelesaian suatu task.
Berdasarkan hasil didapatkan detail dengan
penilaian aspek Daya Tarik mendapatkan rata-
rata penilaian 1,49, pada aspek Kejelasan
mendapatkan rata-rata penilaian 1,52,
selanjutnya aspek Efisiensi mendapatkan rata-
rata penilaian 1,20, aspek Ketepatan
mendapatkan nilai rata-rata 1,16, pada aspek
Stimulasi mendapatkan rata-rata penilaian 1,09
dan aspek Kebaruan mendapatkan nilai rata-rata
0,79. Dengan nilai produk mendapatkan nilai
Diatas Rata-rata (Above Average), yang
dijelaskan melalui benchmark di setiap item
pada Gambar 4.2.
Gambar 4.2 Diagram Benchmark
4.1.1.3 Analisis User Experience
Tabel 4.2 Hasil UEQ
Fakultas Ilmu Komputer, Universitas Brawijaya
4590
Dari hasil pengujian tahap pertama pada
tabel 4.2 nilai yang tertinggi adalah pada aspek
daya tarik 1,492. Pada aspek Kualitas Pragmatis
diperoleh nilai rata-rata 1,30, nilai tertinggi pada
aspek tersebut yaitu aspek Kejelasan 1,525.
Selanjutnya pada aspek efisiensi mendapatkan
nilai positif yaitu 1,200. Pada aspek ketepatan
mendapatkan nilai 1,163. Hasil yang didapatkan
dari pengujian pada aspek Kualitas Hedonis
adalah 0,94. Aspek Stimulasi dan Kebaruan
merupakan aspek yang termasuk dalam kualitas
Hedonis. Hasil pada aspek Stimulasi adalah
1,088 dan pada aspek Kebaruan mendapatkan
nilai 0,788. Berdasarkan hasil pengujian tahap
pertama didapatkan bahwa hasil evaluasi untuk
5 aspek memiliki nilai positif dan 1 aspek
memiliki nilai normal. Dari seluruh aspek, nilai
rata-rata pada aspek Kebaruan memiliki nilai
terendah dibandingkan dengan aspek lainnya
(<1). Nilai hasil pengukuran untuk setiap
variabel dari aspek Kebaruan dapat dilihat pada
Tabel 4.3.
Tabel 4.3 Nilai rata-rata Hasil Aspek Kebaruan
4.1.2 Hasil Observasi dan Wawancara
4.1.2.1 Hasil Observasi
Observasi dilakukan bersamaan dengan
Usability Testing, sedangkan beberapa
pertanyaan wawancara dilakukan bersamaan
dengan Usability Testing dan beberapa
pertanyaan lainnya dilakukan setelah Usability
Testing. Observasi dilakukan dengan cara
mengamati interaksi serta tanggapan partisipan
ketika menjalankan skenario yang diberikan
pada pengujian. Pada hasil observasi yang telah
dilakukan seluruh partisipan merasa
kebingungan ketika prototype tidak memberikan
umpan balik dikarenakan input field belum terisi
seluruhnya, partisipan P2, P3, P4 mengalami
kebingungan ketika menggunakan fitur self-
assessment, partisipan P2, P3, P4 salah mengira
informasi perusahaan berada pada fitur Profil
TPG, partisipan P3 mengalami kesalahan,
melakukan navigasi ke halaman lain dan
kebingungan ketika mencari fitur berita
Kesehatan, partisipan P1, P2, P3, P4 kesulitan
ketika mencari dokumentasi kegiatan TPG.
4.1.2.2 Hasil Wawancara
Pada tahap wawancara yang telah dilakukan
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
dengan cara memberikan pertanyaan kepada
partisipan yang mencakup 2 topik. Nantinya
hasil dari pengelompokkan tersebut akan
mendapatkan satu kesimpulan (insight), dimana
kesimpulan yang didapatkan dari proses insight
akan digunakan sebagai dasar untuk menentukan
rekomendasi perbaikan (Design Mandates). Dari
wawancara yang telah dilakukan terdapat 11
Design Mandates yaitu DM-01 Membuat input
field waktu absensi otomatis mengikuti waktu di
smartphone, DM-02 Memberikan reminder
ketika belum mengisi logbook WFH pada saat
WFH, DM-03 Memberikan reminder ketika
belum mengisi self-assessment di setiap hari,
DM-04 Memberikan reminder terakait informasi
dokumen terbaru, DM-05 Melakukan perbaikan
UI pada fitur SOP, DM-06 Membuat input field
otomatis pada biodata karyawan, DM-07
Memberikan perbaikan UI pada fitur Logbook
WFH, DM-08 Menyediakan filter dokumen
pada fitur SOP di setiap divisi dan departemen,
DM-09 Memberikan perbaikan UI pada fitur
Self- Assessment, DM-10 Melakukan kaliberasi
pada style tipografi pada fitur Self-Assessment,
DM-11 Melakukan kaliberasi pada style
tipografi pada fitur SOP.
4.2 Identifikasi Pengguna
Dengan data yang didapat sebelumnya
dibuat gambaran target pengguna. Dalam
penggambaran target pengguna akan dibuat
persona sebagai gambaran terhadap pengguna
yang lebih spesifik. Pada emphaty map
digunakan untuk memperoleh pemahaman
terhadap pengguna lain dengan menggunakan
perspektif pengguna dalam menghadapi suatu
tugas atau permasalahan.
4.2.1 Persona
Pada penelitian ini Persona yang didapatkan
Bernama Marintah Octaviani berumur 26 tahun
sebagai staff Teladan Prima Group. Octa
merupakan staff di Teladan Prima Group di
Ibukota Jakarta. Di masa pandemic seperti
sekarang ini, TPG memberlakukan kerja WFO
dan WFH. Ketika WFH mewajibkan Octa
bekerja secara daring dengan memanfaatkan
aplikasi yang disediakan oleh pihak perusahaan.
Aplikasi tersebut menyediakan fitur-fitur seperti
Logbook WFH, Self-Assessment dan fitur
pencarian informasi yang sering digunakan oleh
Octa. Behavioral Consideration yang didapat
yaitu memiliki ekspektasi bahwa aplikasi
perusahaan sangat membantu dalam pekerjaan,
Fakultas Ilmu Komputer, Universitas Brawijaya
4591
merasa lebih nyaman ketika informasi terkumpul
menjadi satu. Pain points yang didapatkan
adalah keterbatasan menggunakan platform
sebelumnya dan tidak semua informasi tersedia.
Goals dari Octa sendiri adalah terbiasa
menggunakan aplikasi dan terbantu dalam
menyelesaikan pekerjaan.
4.2.2 Empathy Map
Pembuatan empathy map yang didasarkan
dari gambaran spesifik dari target pengguna
yang berguna menggambarkan dan membangun
empati pada target pengguna yang dituju.
4.3 Analisis Kebutuhan
4.3.1 Hasil dari Tahap Memahami dan
Menentukan Konteks Pengguna
Berikut tabel hasil wawancara yang telah
dilakukan dengan 5 staff pekerja TPG.
Pertanyaan Jawaban
Apa yang menjadi reaksi pertama anda Aplikasi yang dapat membantu
saat mengetahui Teladan Apps? memudahkan dalam menyelesaikan
pekerjaan dan kebutuhan perusahaan.
Bagaimana pengalaman anda pertama Perlu beradaptasi dengan aplikasi baru
kali saat menggunakan Teladan Apps? dengan fitur-fitur yang disediakan
walaupun dari beberapa fitur belum
tersedia. Selain itu tampilan di
beberapa fitur dirasa kurang spesifik
dan sulit digunakan oleh beberapa
staff.
Dari anda sendiri lebih nyaman Menerapkan input otomatis pada field
mengisi LogBook WFH seperti apa? waktu absensi dan biodata pribadi
pengguna. Menyediakan tampilan yang
lebih mudah dipahami oleh pengguna
Dari anda sendiri lebih nyaman Menerapkan input otomatis pada field
mengisi form pada fitur Self biodata pribadi pengguna dan membuat
Assessment seperti apa tampilan yang lebih mudah dipahami
oleh pengguna
Dari anda sendiri lebih nyaman fitur Menyediakan fitur pencarian spesifik
pencarian seperti apa kepada divisi-divisi yang ada. Selain
itu tampilan di salah satu fitur dirasa
kurang menarik.
4.3.2 Hasil dari Tahap Menetukan
Kebutuhan Pengguna dan Organisasi
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Berikut Tabel merupakan hasil identifikasi
kebutuhan pengguna dan organisasi.
Tabel 4.6 Identifikasi Kebutuhan Pengguna dan
Organisasi
4.3.3 Hasil Rekomendasi Perbaikan
Hasil rekomendasi perbaikan akan
diberikan kode RP-XX, dengan keterangan RP
sebagai Rekomendasi Perbaikan. Terdapat 11
rekomendasi perbaikan yaitu RP-01 Membuat
input field waktu absensi otomatis mengikuti
waktu di smartphone RP-02 Memberikan
reminder ketika belum mengisi logbook WFH
pada saat WFH RP-03 Memberikan reminder
ketika belum mengisi self-assessment di setiap
hari, RP-04 Memberikan reminder terakait
informasi dokumen terbaru, RP-05 Melakukan
perbaikan UI pada fitur SOP, RP-06 Membuat
input field otomatis pada biodata, RP-07
Memberikan perbaikan UI pada fitur Logbook
WFH, RP-08 Menyediakan filter dokumen pada
fitur SOP di setiap divisi dan departemen, RP-09
Memberikan perbaikan UI pada fitur Self-
Assessment, RP-10 Melakukan kaliberasi pada
style tipografi pada fitur Self-Assessment, RP-11
Melakukan kaliberasi pada style tipografi pada
fitur SOP.
4.3.4 User Journey Map
User journey map dibuat dengan menyusun
tugas yang harus dilakukan pengguna kedalam
satuan waktu yang berurutan. Berdasarkan
template dan penjelasan dari Gibbsons, user
journey map memiliki komponen seperti goals,
phase, action, question, pain point, happy
moments, dan opportunity.
Tabel 4.8 Pemodelan User Journey Map Persona
Fakultas Ilmu Komputer, Universitas Brawijaya
4592
5. PERANCANGAN PERBAIKAN
5.1 Pembuatan Desain Perbaikan
Berdasarkan hasil pengujian tahap pertama
yang sudah dilakukan sebelumnya, terdapat
beberapa permasalahan yang ditemukan.
Kemudian beberapa permasalahan tersebut
dirumuskan menjadi 11 rekomendasi perbaikan
yang dilakukan yaitu menambahkan komponen
tertentu, menyesuaikan font yang digunakan dan
mengatur ulang tata letak yang digunakan.
Shingga rekomendasi perbaikan nantinya akan
memberikan pengalaman pengguna yang lebih
baik dan meningkatkan aspek-aspek yang sesuai
dengan paramater pengujian yang digunakan.
5.2 Hasil Evaluasi Perancangan
Terhadap Kebutuhan Pengguna
Selanjutnya akan melakukan evaluasi
peranccangan terhadap kebutuhan pengguna.
Proses tersebut menggunakan metode UEQ dan
wawancara. Partisipan yang ikut serta dalam
evaluasi perancangan terhadap kebutuhhan
pengguna yaitu sebanyak 20 orang staff pekerja
PT. Teladan Prima Group.
Excellent
2,00
Good
1,00
Above Average
0,00
Below Average
-1,00
Daya tarik Kejelasan Efisiensi Ketepatan Stimulasi Kebaruan Bad
Gambar 5.1 Evaluasi Perancangan Terhadap
Kebutuhan Pengguna
5.3 Pembuatan Prototype
Prototype dibuat dengan memberikan interaksi
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
pada rancangan antarmuka yang meliputi alur
antar halaman dan penambahan beberapa
halaman guna mendukung interaksi yang
dilakukan pengguna ketika menggunakan
aplikasi sesungguhnya seperti memilih dan
memuat suatu halaman. Protoype menggunakan
tool figma yang dapat mendukung penerapan di
beberapa interaksi uang sesuai dengan fitur pada
produk asli. (tampilan ui fitur-fitur perbaikan)
Gambar 5.2 Tampilan Perbaikan (a)
Homescreen (b) Logbook WFH
6. EVALUASI PERANCANGAN
PERBAIKAN
6.1 Hasil Usability Testing Tahap Dua
Jumlah partisipan pada pengujian tahap dua
berjumlah 20 orang dengan menggunakan
metode yang sama dengan evaluasi tahap satu.
6.1.1 Hasil Pengujian Aspek Efektifitas
Hasil pengujian tahap dua yang telah
dilakukan pada aspek efektifitas Pada skenario
pertama yaitu mengisi logbook WFH. Percobaan
pada skenario ini dari 5 partisipan, seluruh
partisipan telah berhasil menjalankan skenario
pertama. Namun dari 2 partisipan bertanya
hanya untuk memastikan mengenai bagian input
field mulai kerja dan selesai kerja. Pada kegiatan
UT yang telah dilakukan, beberapa partisipan
diberikan bantuan agar dapat menyelesaikan
keseluruhan skenario. Tindakan tersebut perlu
diambil untuk mengatasi keterbatasan dari
prototype aplikasi yang diujikan. Pada skenario
kedua yaitu mengisi self-assessment, ditemukan
seluruh partisipan sukses menjalankan tugas.
Selanjutnya pada skenario ketiga adalah mencari
informasi limbah cair pada fitur SOP.
Fakultas Ilmu Komputer, Universitas Brawijaya
4593
Ditemukan 2 partisipan sukses sebagian dengan
3 lainnya sukses. 2 partisipan tersebut tidak
dapat menemukan informasi yang diminta
terdapat di bagian divisi terkait. Pada skenario
keempat yaitu mencari informasi seputar memo,
seluruh partisipan sukses dalam menjalankan
tugas. Pada skenario kelima adalah mencari
informasi mengenai perusahaan Teladan Prima
Group (TPG) dan berita seputar sawit. Didapati
2 partisipan sukses sebagian dan 3 partisipan
sukses. Dari 2 partisipan sukses sebagian
memiliki kendala yang sama yaitu kebingungan
ketika mencari informasi perusahaan Teladan
prima Group dan menekan fitur lain yang masih
belum tersedia. Pada skenario keenam yaitu
informasi terkait COVID-19 di Indonesia.
Seluruh partisipan sukses dalam menjalankan
tugas. Dan skenario ketujuh adalah mencari
daftar dokumentasi kegiatan yang
diselenggarakan oleh Teladan Prima Group,
didapati seluruh partisipan sukses dalam
menjalankan tugas.
6.1.2 User Experience
Hasil yang diperoleh dari pemberian
kuisioner tertera pada Gambar 6.1.
Gambar 6.1 Nilai 6 Aspek Kuisioner UEQ
Pengujian Tahap Dua
Berdasarkan hasil dari pengujian 35 tugas
yang telah dilakukan seluruh partisipan
diperoleh 31 tugas sukses, dan 4 sukses
sebagian. Berdasarkan perhitungan yang sudah
dilakukan diperoleh dari hasil pengujian tahap
dua yaitu 91% sebagai mengukur tingkat
efektifitas berdasarkan tingkat kesuksesan
penyelesaian suatu tugas. Berdasarkan hasil
yang sudah didapatkan dari penyebaran
kuesioner UEQ pada pengujian tahap dua
kepada partisipan berupa 26 pertanyaan
kuesioner UEQ yang mewakili 6 aspek
didapatkan hasil dengan detail penilaian aspek
Daya Tarik mendapatkan rata-rata penilaian
2,29, pada aspek Kejelasan mendapatkan rata-
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
rata penilaian 2,21, selanjutnya aspek Efisiensi
mendapatkan rata-rata penilaian 2,19, aspek
Ketepatan mendapatkan nilai rata-rata 1,99, pada
aspek Stimulasi mendapatkan rata-rata penilaian
2,14 dan aspek Kebaruan mendapatkan nilai
rata-rata 1,90. Dengan nilai produk mendapatkan
nilai Excellent, yang dijelaskan melalui
benchmark di setiap item pada Gambar 6.2.
Gambar 6.2 Diagram Benchmark UEQ
6.1.3 Analisis User Experience
Tabel 6.2 Hasil UEQ
Dari hasil pengujian tahap pertama pada
tabel 6.2, nilai rata-rata tertinggi pada aspek daya
tarik yaitu 2,29. Pada aspek Kualitas Pragmatis
memiliki nilai rata-rata tertinggi kedua diperoleh
nilai rata-rata 2,13, nilai tertinggi pada aspek
tersebut yaitu pada aspek Kejelasan 2,213.
Selanjutnya pada aspek efisiensi mendapatkan
nilai positif yaitu 2,188. Pada aspek ketepatan
yang mendapatkan nilai 1,988. Hasil yang
didapatkan dari pengujian pada aspek Kualitas
Hedonis adalah 2,02. Hasil pada aspek Stimulasi
adalah 2,138. Selanjutnya pada aspek Kebaruan
mendapatkan nilai 1,900 yang menunjukkan
perbaikan prototype Teladan Apps memiliki
tampilan yang lebih kreatif dan inovatif.
6.2 Hasil Observasi dan Wawancara
6.2.1 Hasil Observarsi
Hasil observasi yang diperoleh dari
pengujian tahap dua, seluruh partisipan sempat
mengalami kebingungan ketika mencari fitur
lain pada halaman homescreen, partisipan P4
merasa kebingungan ketika pertama kali
menggunakan fitur filter dokumen SOP,
partisipan P5 kesulitan ketika menemukan
dokumen kualitas limbah cari pada fitur SOP,
Fakultas Ilmu Komputer, Universitas Brawijaya
4594
dan partisipan P1 dan P3 kebingungan ketika
mencari informasi perusahaan TPG.
6.2.2 Hasil Wawancara
Hasil wawancara yang diperoleh pada
seluruh partisipan menganggap bahwa prototype
rancangan perbaikan cukup mudah ketika
menggunakannya, perubahan informasi yang
dibutuhkan pada fitur logbook WFH cukup
membantu meyingkat waktu menurut partisipan
P2, P3, P4, P4. Menurut partisipan P1, P2, P3,
P4 penerapan filter dokumen pada fitur SOP
sanagat membantu ketika ingin mencari
dokumen yang lebih spesifik. Partisipan P1, P2,
P3, P4, dan P5 berpendapat bahwa tampilan
prototype rancangan lebih user friendly dan
nyaman digunakan Berdasarkan hasil
wawancara yang telah dilakukan disimpulkan
bahwa partisipan cukup puas terhadap rancangan
perbaikan prototype aplikasi Teladan Apps yang
diberikan, adapun penyesuaian yang dilakukan
tetapi tidak mengganggu pengalaman pengguna
dalam menggunakan aplikasi Teladan Apps.
6.3 Analisis Perbandingan Evaluasi
Desain
Hasil dari pengujian tahap satu
mendapatkan nilai 77%, sedangkan pada
pengujian tahap dua mendapatkan nilai 91%,
seperti pada gambar 6.3. Terdapat peningkatan
penyelesaian tugas sebesar 14%. Nilai dari hasil
pengujian tahap dua telah melawati minimal
menurut Sauro (2011) bahwa suatu aplikasi
dikatakan baik apabila rata-rata penyelesian
tugas minimum dengan perhitungan completion
rate 78%.
Gambar 6.3 Hasil Perbandingan Aspek
Efektifitas
Perbandingan pada aspek user experience
pada pengujian tahap satu dengan pengujian
tahap dua dapat dilihat pada gambar 6.4 Hasil
Perbandingan Aspek User Experience.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Gambar 6.4 Hasil Perbandingan Aspek User
Experience
Pada hasil pengujian tahap satu penilaian
aspek Daya Tarik mendapatkan rata-rata
penilaian 1,49, pada pengujian tahap dua aspek
Daya Tarik mendapatkan nilai rata-rata 2,29.
Terdapat perbedaan nilai sebesar 0,0008.
Dari hasil keseluruhan 6 aspek yang dilakukan
pada pengujian tahap satu nilai produk yang
didapatkan adalah Above Average, yang
dijelaskan melalui benchmark di setiap item
pada Gambar 6.5. Sedangkan pada pengujian
tahap dua nilai produk mendapatkan nilai
Excellent, yang dijelaskan melalui benchmark
pada Gambar 6.6. hasil dari masing-masing hasil
pengujian dilakukan perhitungan t-test dari
setiap aspek, perhitungan tersebut dilakukan
menggunakan data analisis tools yang
disediakan oleh UEQ yang dapat dilihat pada
Tabel 6.5.
Gambar 6.5 Diagram Benchmark UEQ pada
Pengujian Tahap Satu
Gambar 6.6 Diagram Benchmark UEQ pada
Pengujian Tahap Dua
Tabel 6.5 Hasil Perhitungan T-test dari kedua
Hasil Pengujian
Fakultas Ilmu Komputer, Universitas Brawijaya
4595
7. PENUTUP
7.1 Kesimpulan
Hasil penelitian dari evaluasi dan perbaikan
pengalaman pengguna yang telah dilakukan
pada prototype aplikasi Teladan Apps, dengan
menggunakan metode Usability Testing dan
User Centered Design (UCD) dapat disimpulkan
bahwa hasil pengujian pada aspek efektitfiatas
sebesar 77% hasil tersebut masih belum
dikatakan baik. Kemudian hasil yang didapatkan
dari penyebaran kuesioner UEQ yang mewakili
6 aspek yaitu pada aspek daya tarik mendapatkan
rata-rata 1,49, aspek kejelasan mendapatkan
rata-rata 1,52, aspek efesiensi mendapatkan rata-
rata 1,20, aspek ketepatan mendapatkan nilai
rata-rata 1,16, aspek stimulasi mendapatkan rata-
rata 1,09 dan aspek kebaruan mendapatkan nilai
rata-rata 0,79. Dari hasil yang didapatkan bahwa
hasil evaluasi untuk 5 aspek memiliki nilai
positif dan 1 aspek memiliki nilai normal. Dari
seluruh aspek, nilai rata-rata pada aspek
kebaruan memiliki nilai terendah dibandingkan
dengan aspek lainnya (<1). Hal tersebut menurut
pengguna prototype Teladan Apps masih
menoton, konvensional dan lazim, sehingga
upaya dalam meningkatkan nilai tersebut
membuat desain yang lebih kreatif dan inovatif.
Perbaikan meliputi (1) membuat input field
waktu absensi dan biodata karyawan secara
otomatis serta melakukan perbikan UI pada fitur
Logbook WFH; (2) membuat input field waktu
pengisian logbook dan biodata karyawan secara
otomatis pada fitur Self-Assessment serta
melakukan perbaikan UI dan kaliberasi style
tipografi; (3) membuat filter dokumen pada
setiap divisi dan departemen serta melakukan
perbaikan UI dan style tipografi pada fitur SOP;
(4) membuat reminder pada halaman
homescreen mengenai ketika belum mengisi
logbook WFH ketika WFH, belum mengisi self-
assessment di setiap harinya dan ketika ada
informasi dokumen terbaru.
Hasil evaluasi dan pengujian tahap dua
menggunakan metode yang sama dengan
pengujian tahap satu pada aspek efektifitas
sebesar 91%. Dimana hasil tersebut sudah cukup
baik apabila rata-rata penyelesaian tugas
minimum dengan perhitungan compeltion rate
78%. Kemudian hasil yang didapatkan dari
penyebaran kuesioner UEQ pada pengujian
tahap dua yang mewakili 6 aspek yaitu aspek
daya tarik mendapatkan rata-rata 2,29, aspek
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
kejelasan mendapatkan rata-rata 2,21, aspek
efisiensi mendapatkan rata-rata 2,19, aspek
ketepatan mendapatkan niai rata-rata 1,99, aspek
stimulasi mendapatkan 2,14 dan aspek kebaruan
mendapatkan nilai rata-rata 1,90. Dari hasil yang
didapatkan bahwa hasil evaluasi untuk seluruh
aspek memiliki nilai positif.
7.2 Saran
Berdasarkan hasil penelitian dari evaluasi
dan perbaikan pengalaman pengguna yang telah
dilakukan pada prototype aplikasi Teladan Apps,
terdapat beberapa saran yaitu pada saat
melakukan pengujian Usability Testing
pertemuan dengan beberapa partisipan tidak
terlalu kondusif dikarenakan dari beberapa
partisipan tidak hanya berfokus terhadap
pengujian UT tetapi masih mengerjakan aktifitas
pekerjaan kantor. Oleh sebab itu sebaiknya
pengujian dilakukan ketika partisipan memiliki
waktu senggang agar pengujian dapat dilakukan
dengan kondusif dan tidak mengganggu aktifitas
kantor partisipan.
Kedepannya diharapkan aplikasi Teladan
Apps dapat mengembangkan beberapa fitur guna
menunjang kebutuhan penggunanya yaitu staff
pekerja Teladan Prima. Fitur tersebut yaitu: (1)
Pengajuan cuti pada fitur self-service; (2)
Pengembangan fitur info karyawan yang lebih
spesifik; (3) Menambahkan informasi terkait sisa
cuti staff pekerja pada fitur info karyawan; (4)
Pengembangan fitur Estate Condition.
DAFTAR PUSTAKA
AlRoobaea, R., & Mayhew, P. J. (2014). How
Many Participants are Really Enough for
Usability Studies 48-56.
Brastberg, M. H. (2012). Empathy Maps of the
FourSight Preferences.
Fanani, L., Ananta, M. T., & Brata, K. C. (2018).
Penerapan User-Centered Design dalam
Pengembangan Aplikasi Pencarian
Gedung Berbasis Android. Group Riset
Mobile, Game, dan Media Fakultas Ilmu
Komputer, Universitas Brawijaya, 225-
233.
Geisen, E., & Bergstrom, J. R. (2017). Usability
and Usability Testing. In Usability Testing
for Survey Research (pp. 1-9).
Massachusetts: Morgan Kaufmann.
Gibbons, S. (2018). Nielsen Norman Group.
Retrieved September 3, 2020
Fakultas Ilmu Komputer, Universitas Brawijaya
4596
Harley, A. (2015). Nielsen Norman Group.
Retrieved September 23, 2020, from
https://www.nngroup.com/articles/person
a/
Improving the User Experience. (2021, October
5). Retrieved from Usability.gov:
https://www.usability.gov/how-to-and-
tools/methods/scenarios.html
Iqbal, M., Marthasari, G. I., & Nuryasin, I.
(2020). Penerapan Metode UCD (User
Centered Design) pada Perancangan
Aplikasi Darurat Berbasis Android.
Teknik Informatika/Universitas
Muhammadiyah Malang, 201-214.
Jeff Sauro, J. R. (2016). Quantifying the User
Experience. Cambridge.
MacDonald, D. (2019). Practical UI Patterns for
Design Systems. Victoria, VIC, Australia:
Apress.
Moran, K. (2019). Nielsen Norman Group.
Retrieved September 14, 2020, from
https://www.nngroup.com/articles/usabili
ty-testing-101/
Nielsen, J. (2000, Maret 18). Why You Only
Need to Test with 5 Users. Retrieved from
Nielsen Norman Group:
https://www.nngroup.com/articles/why-
you-only-need-to-test-with-5-users/
Nielsen, J., & Budiu, R. (2001, February 17).
Succes Rate: The Simplest Usability
Metric. Retrieved from Nielsen Norman
Group:
https://www.nngroup.com/articles/succes
s-rate-the-simplest-usability-metric/
Santoso, H. B., Schrepp, M., Isal, R. Y., Utomo,
A. Y., & Priyogi, B. (2016). Measuring
User Experience of the Student-Centered
e-Learning Environment. Journal of
Educators Online, 58-79.
Sauro, J., & Lewis, J. R. (2016). Quantifiyng the
User Experience (2nd ed.). (L. Lawrence,
Ed.) Cambridge: Elsevier Inc.
Schrepp, M. (2019, Desember 31). User
Experience Questionnaire Handbook.
Retrieved from User Experience
Questionnaire: https://www.ueq-
online.org/
Schrepp, M., Hinderks, A., & Thomaschewski,
J. (n.d.). International Journal of
Interactive Multimedia and Artificial
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 4597

Intelligence. Construction of a
Benchmark for the User Experience
Questionnaire (UEQ), 40-44.

Fakultas Ilmu Komputer, Universitas Brawijaya