125-132
e-ISSN 2502-8995 p-ISSN 2460-8181
ABSTRAK
Salah satu penerapan e-goverment yang telah diterapkan pada Dinas Pendidikan Provinsi Riau yaitu dengan
memanfaatkan website resminya sebagai media publikasi informasi terkait pendidikan dengan alamat
https://disdik.riau.go.id. Website ini telah berjalan kurang lebih 10 tahun dan belum pernah dilakukan evaluasi dengan
standar metode tertentu untuk mengukur tingkat kepuasan pengguna akhir. Tujuan penelitian ini yaitu melakukan
evaluasi usability website Dinas Pendidikan Provinsi Riau menggunakan metode System Usability Scale (SUS). SUS
telah terbukti valid dan reliable, dan dapat digunakan dengan mudah. SUS terdiri 10 pertanyaan John Brooke dengan
hasil berupa skor 0-100. Penentuan responden menggunakan teknik accidental sampling dengan jumlah responden
sebanyak 96 orang yang didapatkan dari teknik lemeshow. Hasil yang diperoleh dari perhitungan SUS yaitu 51,87,
untuk kategori adjective rating termasuk ok, dengan grade scale F, dan termasuk marginal low untuk kategori
acceptability ranges dimana website sudah dapat diterima tetapi tingkat penerimaan yang masih rendah. Hal ini
menunjukkan bahwa website masih perlu dilakukan perbaikan untuk menghasilkan tingkat penerimaan yang lebih
baik. Penelitian ini menghasilkan 6 rekomendasi solusi perbaikan yang dapat dijadikan sebagai rujukan dalam
pengembangan website kedepannya.
Kata Kunci: E-goverment, System Usability Scale, Usability, Website Dinas Pendidikan Provinsi Riau
ABSTRACT
One of the applications of e-government that has been implemented at the Riau Provincial Education Office is by
utilizing its official website as a media for publication of information related to education with the address
https://disdik.riau.go.id. This website has been running for about 10 years and has never been evaluated by a certain
standard method. to measure the level of end-user satisfaction. The purpose of this research is to evaluate the usability
of the Riau Provincial Education Office website using the System Usability Scale method. SUS has been proven valid
and reliable, and can be used easily. The SUS consists of 10 John Brooke questions with a score of 0-100.
Determination of respondents using accidental sampling technique with the number of respondents 96 people obtained
from the Lemeshow technique. The results obtained from calculations using the SUS method 51.87, for the adjective
rating category is ”ok”, with ”F” grade scale, and ”marginal low” for the acceptability ranges category means the
website is acceptable but the acceptance rate is still relatively low. This shows that the website still needs to be
improved to produce a better acceptance rate. This research resulted in 6 recommendations for improvement solutions
that can be used as a reference in website development.
Keywords: E-government, System Usability Scale, Usability, Riau Provincial Education Office Website.
125
Jurnal Ilmiah Rekayasa dan Manajemen Sistem Informasi, Vol. 7, No. 2, Agustus 2021, Hal. 125-132
e-ISSN 2502-8995 p-ISSN 2460-8181
mengaplikasikan teknologi informasi sesuai dengan metode SUS merupakan metode yang telah
Instruksi Presiden Republik Indonesia No.3 Tahun dikembangkan oleh John Brooke sejak tahun 1986,
2003. Dalam peningkatan pelayanan kepada metode ini dapat digunakan dalam mengevaluasi
masyarakat, Dinas Pendidikan Provinsi Riau telah usability dalam berbagai produk salah satunya pada
menerapkan e-government, yaitu dengan website, metode ini juga mudah dipahami dengan hasil
memanfaatkan website resminya sebagai media skala 0-100 [9], disediakan secara gratis, terbukti valid
publikasi informasi seputar pendidikan dapat diakses dan reliable [10]. SUS terdiri dari sepuluh pertanyaan
dengan alamat https://disdik.riau.go.id. Dari hasil dengan beberapa pilihan jawaban dari sangat tidak
wawancara, website Dinas Pendidikan Provinsi Riau setuju hingga sangat setuju [11], SUS juga telah
sampai saat ini belum pernah dilakukan evaluasi terbukti menjadi alat evaluasi yang bernilai, kuat dan
dengan standar metode tertentu. Untuk mengetahui andal [4].
tingkat keberhasilan atau tidak nya dari implementasi Penelitian evaluasi usability menggunakan
website Dinas Pendidikan Provinsi Riau, maka perlu metode SUS sebelumnya pernah dilakukan oleh
dilakukan evaluasi terutama dari segi kegunaan dan Aprilia, Santoso, dan Ferdiana pada tahun 2015 dalam
kenyamanan pengguna, karena tingkat kenyamanan pengujian usability website menggunakan 30
dan kemudahan pengguna dalam mengakses suatu responden yaitu masyarakat yang menggunakan
website merupakan salah satu hal yang perlu website kota Tegal, dengan hasil skor SUS 61,33 yang
diperhatikan dalam membangun sebuah website [3]. menunjukkan bawa website belum usable [12],
Evaluasi usability merupakan salah satu Penelitian SUS juga pernah dilakukan oleh Ependi,
evaluasi yang dapat digunakan dalam mengevaluasi Putra, dan Panjaitan tahun 2019 dengan objek aplikasi
website digunakan untuk mengatahui kualitas antar administrasi penduduk desa Kabupaten Ogan Ilir
produk dengan pengguna akhir, usability atau usable denga hasil responden dapat memanfaatkan aplikasi
yang berarti mudah untuk digunakan menurut ISO- dengan baik dengan skor SUS 88,5 [13]. Berdasar dari
9241-11 mendefenisikan usability terdiri dari 3 aspek latar belakang yang telah duraikan sebelumnya, maka
yaitu efektifitas, efisiensi dan kepuasan [4]. Nielsen penelitian ini akan melakukan evaluasi usability
mengungkapkan usability memiliki lima komponen, website pada Dinas Pendidikan Provinsi Riau
yaitu learnability, efficiency, memorability, errors dan menggunakan metode System Usability Scale.
satisfaction [4].
Dari pengamatan secara langsung ditemukan B. LANDASAN TEORI
beberapa permasalahan pada website, seperti navigasi B.1 Usability
yang kurang baik, misalnya jika pengguna salah
memilih berita dan ingin kembali ke halaman Usability atau usable yang berarti mudah digunakan
sebelumnya, maka diperlunya navigasi sebagai dengan baik. Evaluasi usability dilakukan untuk
melakukan penilaian terhadap interaksi antara produk
”emergency exit” bagi pengguna untuk kembali dari
teknologi dengan penggunanya (end user). Menurut
sebuah halaman atau tautan tanpa melalui langkah
International Standart Organization (ISO) 9241-11
yang rumit [5]. Selanjutnya, terdapat fitur yang tidak
mendefenisiskan usabilily memiliki 3 aspek [10]
berfugsi dan terdapat menu yang tidak terisi, apabila
pengguna tidak mendapatkan informasi yang yaitu:
dibutuhkan dapat megakibatkan pengguna tidak 1. Efektifitas, mengenai apakah pengguna dapat
tertarik untuk mengunjungi kembali website tersebut menyelasaikan tugas mereka dalam
[6]. Terdapat menu tidak konsisten antara keterangan penggunan sistem dan dapat mencapai
nama menu dengan sub menu, suatu sistem harus tujuan.
memiliki standar konsistensi sehingga pengguna tidak 2. Efesiensi, seberapa banyak sumber daya
yang dibutuhkan dalam mencapai tujuan.
mempersoalkan situasi, kata, kalimat, dan tindakan
3. Kepuasan, tingkat kenyamaan pengguna
yang ditemukan [5]. Website juga tidak meberikan
dalam mencapai tujuan.
tanda yang berbeda seperti warna untuk menu yang Nielsen mendefenisikan usability memiliki 5
sedang terbuka dengan menu lainnya, penggunaan komponen, yaitu:
warna yang sama membawa pesan atau maksud yang
serupa [7]. Terdapat halaman yang tidak dapat 1. Learnability, mengukur tingkat kemudahan
ditemukan “404 Page not found”, website dikatakan user untuk mempelajari serta memakai
ideal salah satu syaratnya yaitu menghindari tautan produk tersebut.
yang tidak berfungsi atau halaman yang masih dalam 2. Efficiency, mengukur seberapa cepat user
pengerjaan [8]. dapat mengerjakan tugas dalam mencapai
Salah satu metode usability yang dapat tujuan.
digunakan dalam mengevaluasi sebuah website yaitu 3. Memorability, menilai apakah user bisa
System usability scale atau biasa disebut dengan mengingat kembali proses proses yang
126
Jurnal Ilmiah Rekayasa dan Manajemen Sistem Informasi, Vol. 7, No. 2, Agustus 2021, Hal. 125-132
e-ISSN 2502-8995 p-ISSN 2460-8181
dilewati saat menggunakan sistem untuk Tabel 2. Empat jawaban skala likert
mencapai tujuan. Bobot/Skala Pilihan Jawaban
4. Error, seberapa banyak user melakukan 1 Sangat tidak setuju (STS)
2 Tidak setuju (TS)
kesalahan dan bagaimana efek dari kesalahan 3 Setuju (S)
tersebut, serta apakah user dapat mengatasi 4 Sangat setuju (SS)
masalah tersebut.
5. Satisfaction, bagaimana tanggapan dan Menggunakan empat jawaban skala likert bertujuan
perasaan user terhadap desain produk secara
keseluruhan setelah menggunakan produk. untuk menghindari jawaban netral atau ragu-ragu yang
dapat membuat keragu-raguan bagi peneliti dalam
B.2 System Usability Scale (SUS) menarik kesimpulan.
System usability scale (SUS) pertama kali Untuk melakukan perhitungan dalam
dikembangkan oleh John Brooke sejak tahun 1986, penentuan skor SUS yaitu dengan cara memberi bobot
merupakan salah satu metode yang dapat melakukan
pada setiap item yang berkisar 0-4. Adapun ketentuan
evaluasi usability salah satunya pada website. SUS
tidak membutuhkan perhitungan yang rumit dan dalam perhitungan SUS sebagai berikut:
waktu yang lama dengan hasil skor 0-100. Terdiri dari 1. Untuk etiap pertanyaan nomor ganjil 1, 3, 5, 7,
sepuluh pertanyaan oleh John Brooke. Pertanyaan dan 9 (item dengan kata kata positif), bobot
SUS dapat dilihat pada Tabel 1.
yang diperoleh dengan mengurangi 1.
Tabel 1. Sepuluh Pertanyaan SUS 2. Untuk setiap pertanyaan nomor genap 2, 4, 6,
No Pertanyaan Skala
1 Saya berpendapat saya akan sering
dan 10 (item dengan kata kata negatif) nilai
mengunjungi website Dinas Pendidikan 1-4 yang didapat adalah 5 dikurangi dari skor
Provinsi Riau.
2 Saya menilai website Dinas Pendidikan yang telah diperoleh.
Provinsi Riau terlalu kompleks untuk 1-4
digunakan. 3. Untuk mendapatkan skor SUS secara
3 Saya menilai website Dinas Pendidikan
1-4
Provinsi Riau mudah digunakan. keseluruhan maka jumlah nilai dari proses 1
4 Saya membutuhkan bantuan saat
menggunakan website Dinas Pendidikan 1-4 dan 2 dikalikan dengan 2,5. Hasil
Provinsi Riau.
5 Saya menilai menu dan fitur pada website perhitungan yang didapatkan rentang nilai 0-
Dinas Pendidikan Provinsi Riau sudah 1-4
terintegrasi dengan baik. 100.
6 Saya menilai banyak menu dan fitur pada
website Dinas Pendidikan Provinsi Riau 1 -4 Untuk lebih jelas rumus perhitungan skor SUS dapat
yang tidak konsisten. diformulasika sebagai berikut:
7 Saya rasa kedepannya orang-orang akan
mudah menggunakan dan memahami
1-4
website Dinas Pendidikan Provinsi Riau
dengan cepat.
𝑆𝑘𝑜𝑟 𝑆𝑈𝑆 = ((𝑄1 − 1) + (5 − 𝑄2) + (𝑄3 − 1)
8 Saya menemukan website Dinas
1-4 + (5 − 𝑄4) + (𝑄5 − 1)
Pendidikan Provinsi Riau rumit digunakan
9 Saya merasa nyaman saat menggunakan + (5 − 𝑄6) + (𝑄7 − 1)
1-4
website Dinas Pendidikan Provinsi Riau. + (5 − 𝑄8) + (𝑄9 − 1)
10 Saya perlu belajar banyak hal sebelum
menggunakan website Dinas Pendidikan 1-4 + (5 − 𝑄10)) 𝑋 2.5
Provinsi Riau dengan baik.
127
Jurnal Ilmiah Rekayasa dan Manajemen Sistem Informasi, Vol. 7, No. 2, Agustus 2021, Hal. 125-132
e-ISSN 2502-8995 p-ISSN 2460-8181
penentuan hasil SUS adjictives rating, grade scale, dan Pada penelitan ini responden atau sampel yang akan
acceptability range dapat dilihat pada Gambar 2. digunakan yaitu masyarakat provinsi riau yang
menggunakan atau pengunjung dari website Dinas
Pendidikan Provinsi Riau, metode penentuan sampel
yang digunakan yaiu teknik non probability sampling
yang terdiri dari teknik accidental sampling. Teknik
accidental sampling merupakan teknik pengambilan
sampel apabila sampel bertemu secara kebetulan
dengan peneliti dan sampel tersebut ditemukan sesuai
dengan kriteria yang telah ditetapkan yaitu masyarakat
Provinsi Riau. Penentuan jumlah sampel yaitu
menggunkan perhitungan metode lemeshow karena
Gambar 2. Penentuan Hasil SUS populasi pada penelitian ini tidak diketahui. Untuk
rumus lemeshow dapat dilihat berikut ini:
C. METODE PENELITIAN
𝑍𝑎𝑎 x J x K
𝑛=
Metedologi penelitian merupakan tahapan- L2
tahapan yang akan dilakukan selama penelitian,
tahapan yang dilakukan mulai dari tahap perencanaan n merupakan jumlah sampel minimal yang diperlukan,
hingga tahap dokumentasi hasil penelitian. Jenis dari Za adalah nilai standar dari distribusi sesuai nilai a=
penelitian ini yaitu penelitian kuantitatif, proses 5%= 1,96, J adalah prevalensi outcome, karena data
penelilitin dibagi menjadi lima tahapan, yaitu tahapan belum didapat maka digunakan 50%, L merupakan
pendahuluan, tahapan perencanaan, tahapan nilai dari 1-J, dan L adalah tingkat ketelitian 10%.
pengumpulan data, tahapan pengolahan dan analisa, Perhitungan penentuan jumlah responden
serta tahapan dokumentasi hasil penelitian. Berikut menggunakan Lemeshow dapat dilihat sebagai
merupakan metedologi penelitian dapat dilihat pada berikut:
Gambar 1.
(1,96)2 X 0,5 X 0,5
𝑛= = 96 𝑟𝑒𝑠𝑝𝑜𝑛𝑑𝑒𝑛
0,1
128
Jurnal Ilmiah Rekayasa dan Manajemen Sistem Informasi, Vol. 7, No. 2, Agustus 2021, Hal. 125-132
e-ISSN 2502-8995 p-ISSN 2460-8181
129
Jurnal Ilmiah Rekayasa dan Manajemen Sistem Informasi, Vol. 7, No. 2, Agustus 2021, Hal. 125-132
e-ISSN 2502-8995 p-ISSN 2460-8181
D.3 Perhitungan Skor SUS pada menu di website. Hal ini termasuk
Perhitungan penentuan skor SUS dilakukan
usability kategori learnability.
dengan jumlah responden sebanyak 96, untuk
pertanyaan nomor ganjil, bobot jawaban yang 2. Pengguna merasa masih terdapat menu
diperoleh akan dikurangin 1, untuk pertanyaan genap, dan fitur yang tidak konsisten pada
5 dikurangi dengan bobot jawaban yang dihasilkan. website (Q6).
Untuk mendapatkan skor SUS secara keseluruhan Rekomendasi yang diusulkan nama menu
nilai dari proses pertama dan kedua dikali 2,5. Maka
dengan nama sub menu yang dibuka harus
pada penelitian ini didapatkan skor SUS sebesar 51,87.
Garis verital putus putus merah menandakan posisi disesuaikan, misalnya ketika membuka
skor SUS yang diperoleh, dapat dilihat pada Gambar
salah menu profil yaitu halaman struktur
6.
organisasi seharusnya navigasi pada
halaman tersebut yaitu sesuai dengan
nama menu dan sub menu yang dibuka.
Standar konsistensi harus dimiliki pada
sebuah sistem agar pengguna tidak
bingung dan mempertanyakan mengenai
situasi, kata, kalimat, dan tindakan yang
ditemukan oleh pengguna [5]. Hal ini
Gambar 6. Skor SUS
termasuk usability kategori memorability.
Adjective rating merupakan aspek dalam penentuan
3. Pengguna merasa website kompleks
rating pada website, untuk perhitungan Skor SUS
untuk digunakan (Q2).
yang telah didapatkan yaitu 51,87 maka termasuk
a) Navigasi yang kurang baik.
kategori ”Ok”. Grade Scale merupakan aspek dalam
Dengan menambahkan tombol-tombol
penentuan tingkat kualitas pada website, dengan Skor
SUS 51,87 maka termasuk kategori grade F. navigasi seperti next, last first, previous,
Acceptability Ranges merupakan aspek dalam
serta adanya fitur pencarian pada website.
penentuan tingkat penerimaan pada website, untuk
skor SUS 51,87 maka termasuk kategori marginal low, Pengguna sering mengalami kesalahan
dimana website sudah dapat diterima tetapi dengan
maka dibutuhkan ”emergency exit” atau
tingkat penerimaan yang masih rendah.
pintu darurat untuk keluar dari halaman
D.4 Rekomendasi Solusi
atau keadaan yang tidak diinginkan tanpa
Rekomendasi didapatkan berdasarkan hasil
perhitungan kuesioner yaitu terdapat 4 item harus memakan waktu yang lama [5]. Hal
pertanyaan bermasalah. Rekomendasi solusi ini dapat ini termasuk usability kategori
dijadikan sebagai rujukan untuk perbaikan website
learnability
kedepannya. Adapun rekomendasi solusi sebagai
berikut: b) Terdapat menu yang bermasalah (trouble)
atau halaman tidak dapat ditemukan.
1. Respoden membutuhkan bantuan (Q4)
Menu tersebut bisa dilakukan dengan cara
dan perlu belajar terlebih dahulu (Q10)
sebelum menggunakan website. memperbaharui secara rutin dan
Rekomendasi solusi yang diusulkan , bisa
menintegrasi link halaman tersebut
membuat role map untuk mejelaskan
dengan link yang benar sehingga halaman
fungsi masing-masing menu dan fitur
tidak dapat ditemukan bisa teratasi. Salah
serta informasi apa saja yang terdapat
satu syarat website dikatakan ideal yaitu
menghidari adanya tautan yang rusak atau
130
Jurnal Ilmiah Rekayasa dan Manajemen Sistem Informasi, Vol. 7, No. 2, Agustus 2021, Hal. 125-132
e-ISSN 2502-8995 p-ISSN 2460-8181
c) Terdapat fitur yang tidak dapat berfungsi instrumen pertanyaan genap yang memiliki
dan terdapat menu tidak terisi atau respon positif yaitu instrumen pertanyaan
kosong.
Untuk icon yang tidak berfungsi seperti nomor 2 (Q2) responden menilai website
pada icon media sosial dan link dinas komples untuk digunakan, pertanyaan nomor
icon-icon tersebut dihapus. Untuk menu- (Q6) responden menilai banyak menu dan
menu yang tidak terisi dapat melakukan fitur yang tidak konsisten pada website, dan
menu yang ada. Kriteria website yang 2. Berdasarkan evaluasi usability yang telah
memiliki tingkat usability yang tinggi dilakukan pada website Dinas Pendidikan
(usable) yaitu bila pengguna dapat Provinsi Riau dari dengan metode system
memperoleh apa yang dibutuhkan [14]. usability scale didapatkan skor SUS sebesar
Hal ini termasuk usability kategori 51,87. Untuk adjective rating termasuk
d) Website tidak memberikan tanda seperti termasuk kategori marginal low untuk
warna yang berbeda untuk menu yang acceptability ranges dimana website sudah
sedang terbuka dengan menu lainnya.
Dengan mengaktifkan atau memberi dapat diterima tetapi dengan tingkat
warna yang tepat untuk memberikan penerimaan yang masih rendah maka
berbedaan atau tanda saat menu sedang diperlukan perbaikan pada website agar
dibuka dengan menu lainnya, di suatu mendapatkan tingkat penerimaan yang lebih
warna terakhir dipakai untuk mengetahui 3. Rekomendasi solusi pada penelitian ini
pewarnaan pada latar belakang atau latar berdasarkan permasalahan dari hasil
depan yang aktif saat itu, dan penggunaan rekapitulasi jawaban responden.
warna yang sama membawa pesan atau Rekomendasi dan solusi ini diharapkan dapat
maksud yang serupa [7]. Hal ini termasuk digunakan sebagai rujukan dalam perbaikan
131
Jurnal Ilmiah Rekayasa dan Manajemen Sistem Informasi, Vol. 7, No. 2, Agustus 2021, Hal. 125-132
e-ISSN 2502-8995 p-ISSN 2460-8181
132