Abstract
Human resources Department utilizing information and communication technology development to further improve
the quality of the company's employees. One of them by developing a Web-Based Employee Application Exam. De-
partment of Human resources at Housing realize that the role of employees determines the success or failure of the
company to meet its goals. With a good selection process, employees received will be qualified so that coaching, devel-
opment, and setting employees becomes easier. This research evaluates the quality of an online exam website based
on the Web-site Quality Evaluation Method. The analysis results indicate that the website quality is not satisfactory.
Thus, the department needs to re-design development of a website prototype using the Spiral Development Method.
Keywords: quality application, website evaluation quality method, web based exam
Abstrak
Departemen Sumber Daya Manusia memanfaatkan perkembangan teknologi informasi dan komunikasi untuk semakin
meningkatkan kualitas karyawan perusahaan. Salah satunya dengan cara mengembangkan Aplikasi Ujian Karyawan
Berbasis Web. Departemen SDM di Perumnas menyadari bahwa Peran karyawan sangat menentukan berhasil tidaknya
perusahaan mencapai tujuannya. Dengan proses pelaksanaan seleksi yang baik, karyawan yang diterima akan lebih
qualified sehingga pembinaan, pengembangan, dan pengaturan karyawan menjadi lebih mudah. Pada penelitian ini
akan mengevaluasi kualitas website ujian online berdasarkan Web-site Quality Evaluation Method. Hasil analisa me-
nunjukkan kualitas website yang tidak memuaskan, sehingga perlu adanya perancangan pengembangan website meng-
gunakan prototype dengan Metode Pengembangan Spiral.
Kata Kunci: kualitas aplikasi, metode evaluasi kualitas website, ujian berbasis web
63
64 Jurnal Sistem Informasi (Journal of Information Systems), Volume 10, Issue 2, October 2014
Evaluasi Pengumpulan
Identifikasi
sistem ujian data (pre- Analisis data
masalah
online test):
• Interview
• Kuesioner
• Studi pustaka
• Pengkajian data
Pengumpulan
Pembuatan
Analisis data data (post- Hasil analisis
prototype
test):
• Interview
• Kuesioner
memiliki banyak kelemahan. Pertama, evaluasi diri. Sebelum menerapkan teknologi ini, perusaha-
manual memerlukan waktu dan biaya yang cukup an harus menghabiskan waktu yang lebih lama dan
banyak untuk memproduksi instrumennya. Kedua, biaya yang besar setiap kali mengadakan ujian bagi
pemilihan butir tes dari bank soal cukup merepot- para karyawan yang akan naik golongan atau ja-
kan, baik dalam pemilihan maupun dalam memp- batan. Oleh karena itu, perusahaan menerapkan sis-
roduksinya. Ketiga, proses pemeriksaan evaluasi tem baru berbasiskan aplikasi web yang diberi na-
dengan instrumen tercetak cukup rumit, sehingga ma Perumnas Assessment Online Assisstence (PA-
memerlukan waktu banyak. Keempat, proses peng- OLA).
olahan skor yang rumit dan memerlukan banyak Dengan sistem online ini, perusahaan dapat
waktu. Kelima, secara psikologis evaluasi manual memperoleh informasi yang dibutuhkan dalam wa-
sering menimbulkan kecemasan pada peserta tes. ktu yang lebih cepat dibandingkan dengan sistem
Pengawas yang berada di sekitar mereka, kondisi tradisional. Informasi yang diperoleh, dapat diolah
peserta tes yang lain, serta kondisi lingkungan se- menjadi data yang berguna bagi perusahaan. Sis-
kitar sering membuat peserta tes merasa cemas [4]. tem PAOLA diharapkan dapat menjadi sebuah ap-
Perum Perumnas harus dapat menyikapi dan likasi yang efektif dan dapat dihandalkan untuk
mengikuti kebutuhan teknologi informasi yang se- menghasilkan data-data dari proses ujian kenaikan
makin berkembang pesat. Dalam hal ini pemanfa- golongan. Desain dibuat sesederhana mungkin ag-
atan teknologi informasi diperlukan agar Perum ar memudahkan peserta ujian mengakses aplikasi
Perumnas dapat menghadapi persaingan dalam du- ini. Performa aplikasi yang baik dapat membantu
nia bisnis. Salah satu cara yang dilakukan Perum peserta ujian agar lebih efektif dalam mengerjakan
Perumnas untuk dapat bersaing dalam dunia bisnis soal [5].
adalah dengan tidak hanya memanfaatkan metode Aplikasi untuk melakukan seleksi karyawan te-
ujian tradisional saja melainkan dengan menggu- rsebut telah digunakan semenjak 2012. Pihak De-
nakan konsep ujian berbasis web. Dengan meman- partemen SDM Perumnas sering mendapat keluhan
faatkan teknologi internet, mereka dapat mempe- dari para peserta ujian mengenai aplikasi yang mere-
roleh data yang diperlukan dengan waktu yang le- ka gunakan ketika melaksanakan ujian. Selain tampi-
bih cepat dan biaya yang lebih murah disbanding- lan antarmuka yang kurang memadai, lambatnya per-
kan tanpa menggunakan internet. Untuk itu, Per- forma dari aplikasi yang berbasiskan web tersebut
umnas mencoba untuk menerapkan konsep online merupakan keluhan yang sering disampaikan kepada
untuk menggantikan konsep manual atau tradisio- pihak SDM.
nal yang digunakan sebelumnya. Masalah-masalah yang banyak dihadapi orga-
Konsep online yang diterapkan Perumnas nisasi terkait aplikasi dan bagaimana pentingnya
merupakan penilaian yang dilakukan untuk meng- melakukan evaluasi aplikasi ini. Selain itu, karena
ukur tingkat kesuksesan atau pencapaian suatu pe- konteksnya adalah melakukan evaluasi kualitas,
mbelajaran saat akhir proses pembelajaran itu sen- berbagai kerangka evaluasi aplikasi yang sudah di-
Hoga Saragih, et al., Analisis Kualitas Aplikasi 65
TABEL 1
PEMETAAN HASIL KUESIONER
Variabel Sangat Setuju Tidak Sangat
Setuju Setuju Tidak
Setuju
Interface 3% 10% 46% 41%
Attractiveness
Operability 10% 12% 31% 47%
Understandability 4% 15% 30% 51%
Navigation 29% 47% 17% 7%
Suitability 4% 18% 29% 49%
Availability 2% 9% 33% 56%
Accessibility 17% 24% 27% 32%
Time Behavior 3% 13% 29% 55%
kembangkan untuk melakukan seleksi karyawan. Gambar 2. Grafik hasil kuesioner
Kerangka Penilaian Kualitas Aplikasi mengusulkan lima karakteristik kualitas, yaitu es-
tetika, kemudahan penggunaan, multimedia, kont-
Luis Olsina et al. melakukan penelitian terhadap at- en, serta reputasi. Estetika dan reputasi merupakan
ribut kualitas website yang ditujukan untuk website bagian utama dari makalah ini. Karakteristik ting-
akademik. Penelitian mengambil sudut pandang te- kat kedua dipecah menjadi beberapa sub-karak-
knis and mengidentifikasikan faktor-faktor yang teristik. Setiap sub-karakteristik diwariskan dari
terkait. Dengan menggunakan Website Quality Ev- kualitas karakteristik. Namun, hanya estetika dan
aluation Method (WebQEM) dan softwarenya, pe- kemudahan penggunaan yang memiliki sub-karak-
nelitian dilakukan untuk menilai kualitas website teristik. Sementara multimedia, konten, serta repu-
dan aplikasinya. Mengukur indikator kualitas dapat tasi secara langsung digolongkan ke tingkat ketiga,
membantu pihak yang berkepentingan untuk me- yaitu indikator terukur [8].
mahami dan meningkatkan kualitas website. Sur- Tsigereda W. Mebrate meneliti beberapa ma-
vei kuantitatif dan evaluasi website dengan domain cam model untuk mengevaluasi website. Di antara-
tertentu seperti domain website e-commerce, do- nya Web-QEM, 2QCV3Q, MiLE, dan MINERVA.
main website museum, domain website akademik Semua model untuk mengevaluasi website bersu-
dan sebagainya, membantu evaluasi usability de- mber dari ISO-9126. Hasil penelitian yang dila-
ngan kuesioner bersifat subjektif pengguna, suatu kukan adalah mengajukan framework baru untuk
strategi dengan kekuatan dan kelemahan masing- mengevaluasi website. Framework tersebut terdiri
masing [6]. dari high level quality factor dan sub-quality factor
Doaa Nabil menetapkan faktor-faktor yang dan diberi nama WEBUSE method. High level qu-
menilai kualitas WBA, mengidentifikasi fak-tor- ality yang diajukan adalah content, usability, reli-
faktor kualitas utama dan sub faktor yang berda- ability, efficiency, functionality dan beserta sub-
sarkan pandangan WBA dan penggunaan. Pertama, quality faktornya [9].
penelitian ini menyarankan suatu model konseptual
untuk mengidentifikasi pandangan WBA yang ber- 2. Metode
beda dan penggunaan yang berfokus pada pengun-
jung, pemilik, dan pengembang. kedua; mengiden- Metode yang digunakan pada penelitian ini dijelas-
tifikasi dan mengkategorikan faktor kualitas dan kan sebagai berikut:
sub faktor WBA. Model yang diusulkan diterapkan
ISO9126 faktor kualitas dan sub faktor untuk meni- Website Quality Evaluation Method
njau fitur umum antara WBA dan software, dan ke-
mudian mengusulkan serangkaian faktor kualitas Website Quality Evaluation Method (WebQEM)
WBA baru yang sesuai dengan karakteristik khu- merupakan suatu metode untuk mengevaluasi kua-
sus WBA. Di masa depan, model akan diperpan- litas dari sebuah aplikasi website. Faktor yang me-
jang oleh studi eksperimental dan didukung oleh njadi high level quality ada empat faktor yaitu, usa-
kerangka validasi untuk memberikan beberapa bu- bility, functionality, reliability dan efficiency.
kti mengenai faktor kualitas disarankan WBA dan Peneliti menggunakan kerangka kerja Web-
sub-faktor [7]. QEM untuk mengevaluasi kualitas aplikasi ujian
Kavindra Kumar Singh mengemukakan pen- berbasis web. Dalam penelitian ini akan digunakan
tingnya kerangka evaluasi web. Ia mengusulkan ti- kuesioner, pengamatan dan wawancara untuk me-
ga struktur tingkat, yaitu karakteristik kualitas, ku- ngumpulkan data primer. Sedangkan data sekunder
alitas sub-karakteristik dan kriteria terukur (indi- didapat dari berbagai buku, jurnal, dan penelitian
kator). Di tingkat pertama, kerangka evaluasi web yang pernah dilakukan terkait dengan evaluasi kua-
66 Jurnal Sistem Informasi (Journal of Information Systems), Volume 10, Issue 2, October 2014
Gambar 3. Grafik interface attractiveness web ujian Gambar 4. Grafik operability web ujian
Gambar 5. Grafik understandability web ujian Gambar 6. Grafik navigasi web ujian
Gambar 7. Grafik suitability web ujian Gambar 8. Grafik availability web ujian
Gambar 9. Grafik accessibility web ujian Gambar 10. Grafik time behavior web ujian
attractiveness aplikasi web ujian menurut penggu- guna menyatakan bahwa faktor suitability tidak
nanya belum memiliki kualitas yang baik. User memenuhi apa yang mereka butuhkan ketika ingin
interface yang kurang user friendly dianggap me- mengevaluasi jwaban yang telah mereka kerjakan.
nghambat kinerja penggunanya dalam melaksana- Gambar 8 menunjukkan availability sering-
kan ujian. Pengguna sangat tidak setuju apabila nya terjadi error ketika pengguna akan login masuk
web ujian dikatakan telah memiliki kualitas yang kedalam website, membuat pengguna menyatakan
baik dalam desain yang mampu membantu user da- bahwa website ujian belum memiliki kualitas yang
lam menghindari kesalahan. Gambar 4 menunjuk- baik karena aplikasi tidak stabil dan sering terjadi
kan hal yang bermasalah pada operability adalah error. Dari hasil analisis database, ditemukan pe-
desain website ujian yang tidak memperhitungkan nyebab dari error tersebut.
user untuk mengurangi tindakan dalam mengope- Rancangan database yang tidak mengguna-
rasikan website, sedangkan dalam merancang we- kan relasi, dapat menyebabkan performa sistem
bsite, developer dituntut untuk mendesain tampil- berkurang. Query yang dijalankan membutuhkan
an yang mudah digunakan dan meminimalisir ke- waktu yang lebih lama ketika tidak ada relasi. Se-
salahan yang dapat terjadi. lain itu, faktor indexing juga mempengaruhi faktor
Gambar 5 menunjukkan understandability ya- availability ini. Dengan diterapkannya indexing,
ng merupakan kemampuan pengguna dalam me- kualitas kecepatan dan ketersediaan aplikasi web-
mahami cara menjelajahi aplikasi. Dalam meng- site ujian dapat meningkat.
gunakan website ujian, user mengalami kebingu- Gambar 9 menunjukkan accessibility peng-
ngan dalam menjelajahi aplikasi, sehingga peng- guna menyatakan bahwa aplikasi kurang cepat
guna membutuhkan waktu yang lebih lama untuk dalam merespon aktivitas mereka. Hal ini dapat
menguasai aplikasi ini. Hal ini harus menjadi per- disebabkan oleh tidak maksimalnya fungsi data-
hatian divisi SDM, kerana jika peserta ujian da- base. Oleh karena itu seperti pembahasan pada
lam hal ini pengguna, membutuhkan waktu yang grafik sebelumnya, database yang dirancangan
tidak sedikit untuk memahami aplikasi, maka wak- dengan relasi dan indexing dapat meningkatkan
tu pengerjaan ujian akan semakin berkurang sehi- performa kecepatan dan kehandalan dalam sebuah
ngga merugikan peserta ujian. website.
Gambar 6 menunjukkan navigation; penggu- Gambar 10 menunjukkan time behaviour de-
na setuju bahwa navigasi yang dirancang di website ngan diterapkannya ujian berbasis web, diharap-
ujian dapat berjalan dengan baik. Website ujian kan dapat mengoptimalkan peserta ujian dalam
menyediakan alur yang simpel seingga pengguna melaksanakan ujian. Tetapi pada variabel ini, ter-
dapat bernavigasi dengan mudah. lihat jelas bahwa pengguna/peserta ujian menya-
Gambar 7 menunjukkan suitability. Dalam takan bahwa sistem yang telah dibuat ini tidak me-
desain website ujian, ada fitur yang kurang. Peng- mbantu mereka dalam mengoptimalkan ujian. Ba-
68 Jurnal Sistem Informasi (Journal of Information Systems), Volume 10, Issue 2, October 2014
[7] Nabil, Doaa. (2011). Web-Based Applicati- [9] Passig, David. (2009). Structural and conc-
ons quality factors: A survey and a proposed eptual user interfaces and their impact on le-
conceptual model. Egyptian Informatics Jou- arning. Springer,15:51–66.
rnal (2011) 12, 211–217. [10] Chang S. Nam. (2007). Web-Based Learning
[8] Singh, Kavindra Kumar. (2014). Implemen- Environment: A Theory-Based Design Pro-
tation of a Model for Websites Quality Eva- cess for Development and Evaluation. Jour-
luation–DU Website. International Journal of nal of Information Technology Education.
Innovations & Advancement in Computer Volume 6.
Science. Volume 3, Issue 1.
Lampiran