SUS - Skala kegunaan yang cepat dan kotor

John Brooke

Redhatch Consulting Ltd.,

12 Beaconsfield Way,
Earley, MEMBACA RG6 2UX
Inggris Raya

surel: john.brooke@redhatch.co.uk

Abstrak

Kegunaan tidak ada dalam arti mutlak; itu hanya dapat didefinisikan dengan mengacu pada konteks
tertentu. Ini, pada gilirannya, berarti bahwa tidak ada ukuran kegunaan yang mutlak, karena, jika
kegunaan suatu artefak ditentukan oleh konteks di mana artefak itu digunakan, ukuran kegunaan
harus ditentukan oleh konteks itu juga. Meskipun demikian, ada kebutuhan untuk ukuran umum yang
luas yang dapat digunakan untuk membandingkan kegunaan di berbagai konteks. Selain itu, ada
kebutuhan untuk metode "cepat dan kotor" untuk memungkinkan penilaian biaya rendah dari
kegunaan dalam evaluasi sistem industri. Bab ini menjelaskan System Usability Scale (SUS) skala
kegunaan yang andal dan berbiaya rendah yang dapat digunakan untuk penilaian global kegunaan
sistem.

Kegunaan dan konteks

Kegunaan bukanlah kualitas yang ada dalam arti nyata atau absolut. Mungkin itu bisa diringkas
sebagai kualitas umum darikesesuaian dengan tujuan dari setiap artefak tertentu. Gagasan ini
disimpulkan dengan rapi oleh Terry Pratchett dalam novelnya “Moving Pictures”:

“ 'Yah, setidaknya dia menjaga dirinya tetap bugar,' kata Kanselir Agung dengan kejam. 'Tidak seperti kalian semua.
Saya pergi ke Ruang Jarang pagi ini dan itu penuh dengan orang-orang yang mendengkur!'
'Itu akan menjadi master senior, Master,' kata Bursar. "Saya sendiri akan mengatakan mereka sangat
bugar."
'Cocok? Dekan terlihat seperti orang yang menelan tempat tidur!'
'Ah, tetapi Guru,' kata Bursar, tersenyum ramah, 'kata "cocok", seperti yang saya pahami, berarti "sesuai dengan
suatu tujuan", dan saya akan mengatakan bahwa tubuh Dekan sangat sesuai dengan tujuan tersebut. duduk-duduk
sepanjang hari dan makan makanan berat yang besar.' Dekan membiarkan dirinya tersenyum kecil. “(Pratchett, 1990)

Dengan cara yang sama, kegunaan alat atau sistem apa pun harus dilihat dari konteks
penggunaannya, dan kesesuaiannya dengan konteks itu. Dengan referensi khusus untuk sistem
informasi, pandangan kegunaan ini tercermin dalam rancangan standar internasional ISO 9241-11 saat
ini dan dalam proyek ESPRIT Komunitas Eropa MUSiC (Measuring Usability of Systems in Context)
(misalnya, Bevan, Kirakowski dan Maissel, 1991) . Secara umum, tidak mungkin untuk menentukan
kegunaan suatu sistem (yaitu, kesesuaiannya untuk tujuan) tanpa terlebih dahulu mendefinisikan siapa
pengguna yang dituju dari sistem, tugas-tugas yang akan dilakukan pengguna dengannya, dan
karakteristik fisik, organisasi. dan lingkungan sosial di mana ia akan digunakan.
Karena kegunaan itu sendiri merupakan pesta yang dapat dipindahkan, maka ukuran kegunaan itu sendiri
harus bergantung pada cara kegunaan didefinisikan. Dimungkinkan untuk berbicara tentang beberapa kelas
umum ukuran kegunaan; ISO 9241-11 menyarankan bahwa ukuran kegunaan harus mencakup

• efektivitas (kemampuan pengguna untuk menyelesaikan tugas menggunakan sistem, dan kualitas)
keluaran dari tugas-tugas tersebut),
• efisiensi (tingkat sumber daya yang dikonsumsi dalam melakukan tugas)
• kepuasan (reaksi subjektif pengguna untuk menggunakan sistem).

Namun, ukuran yang tepat untuk digunakan dalam masing-masing kelas metrik ini dapat
sangat bervariasi. Misalnya, ukuran efektivitas sangat jelas ditentukan oleh jenis tugas yang
dilakukan dengan sistem; ukuran efektivitas sistem pengolah kata dapat berupa jumlah
huruf yang ditulis, dan apakah huruf yang dihasilkan bebas dari kesalahan ejaan. Jika sistem
mendukung tugas pengendalian proses industri yang memproduksi bahan kimia, di sisi
lain, ukuran penyelesaian tugas dan kualitas jelas akan mencerminkan proses itu.

Konsekuensi dari spesifisitas konteks kegunaan dan ukuran kegunaan adalah sangat sulit untuk membuat
perbandingan kegunaan di seluruh sistem yang berbeda. Membandingkan kegunaan dari sistem yang
berbeda yang dimaksudkan untuk tujuan yang berbeda adalah kasus yang jelas dari "membandingkan apel
dan jeruk" dan harus dihindari sedapat mungkin. Juga sulit dan berpotensi menyesatkan untuk
menggeneralisasi fitur dan pengalaman desain di seluruh sistem; misalnya, hanya karena fitur desain
tertentu telah terbukti sangat berguna dalam membuat satu sistem dapat digunakan, tidak berarti fitur
tersebut akan melakukannya untuk sistem lain dengan kelompok pengguna berbeda yang melakukan tugas
berbeda di lingkungan lain.

Jika ada area di mana dimungkinkan untuk membuat penilaian kegunaan yang lebih
umum, yang dapat menanggung perbandingan lintas sistem, itu adalah area penilaian
subjektif kegunaan. Ukuran subjektif kegunaan biasanya diperoleh melalui penggunaan
kuesioner dan skala sikap, dan ada contoh skala sikap umum yang tidak spesifik untuk
sistem tertentu (misalnya, CUSI (Kirakowski dan Corbett, 1988)).

Evaluasi kegunaan industri

Tuntutan untuk mengevaluasi kegunaan sistem dalam konteks industri berarti bahwa seringkali tidak efektif
biaya atau praktis untuk melakukan analisis konteks lengkap dan pemilihan metrik yang sesuai. Seringkali,
semua yang dibutuhkan adalah indikasi umum dari keseluruhan tingkat kegunaan suatu sistem
dibandingkan dengan pesaingnya atau pendahulunya. Sama halnya, ketika memilih metrik, seringkali
diinginkan untuk memiliki ukuran yang tidak memerlukan usaha dan biaya besar untuk mengumpulkan dan
menganalisis data.

Pertimbangan semacam ini sangat penting ketika, saat menyiapkan program rekayasa
kegunaan untuk rekayasa sistem kantor terintegrasi dengan Digital Equipment Co. Ltd,
kebutuhan diidentifikasi untuk ukuran kegunaan subjektif. Ukuran tersebut harus mampu
dikelola dengan cepat dan sederhana, tetapi juga harus cukup andal untuk digunakan untuk
membuat perbandingan perubahan kinerja pengguna dari versi ke versi produk perangkat
lunak.

Kebutuhan akan kesederhanaan dan kecepatan berasal dari metode evaluasi yang digunakan; pengguna dari
lokasi pelanggan akan mengunjungi laboratorium faktor manusia, atau laboratorium keliling akan didirikan di
lokasi pelanggan. Para pengguna kemudian akan bekerja melalui latihan evaluasi yang berlangsung antara 20
menit dan satu jam, di mana ukuran subjektif dari kegunaan sistem akan dikumpulkan. Seperti yang dapat
dibayangkan, setelah jangka waktu ini, pengguna bisa sangat frustrasi, terutama jika mereka mengalami
masalah, karena tidak ada bantuan yang diberikan. Jika mereka kemudian disajikan dengan kuesioner
panjang, yang berisi lebih dari 25 pertanyaan, kemungkinan besar mereka tidak akan menyelesaikannya dan
tidak akan ada data yang cukup untuk menilai reaksi subjektif terhadap kegunaan sistem.
SUS - Skala Kegunaan Sistem

Menanggapi persyaratan ini, skala kegunaan sederhana dikembangkan. Skala Kegunaan Sistem (SUS)
adalah skala sepuluh item sederhana yang memberikan pandangan global tentang penilaian subjektif
kegunaan.

SUS adalah skala likert. Sering diasumsikan bahwa skala Likert hanya didasarkan pada
pertanyaan pilihan paksa, di mana sebuah pernyataan dibuat dan responden kemudian
menunjukkan tingkat persetujuan atau ketidaksetujuan dengan pernyataan tersebut pada skala 5
(atau 7) poin. Namun, konstruksi skala Likert agak lebih halus dari ini. Sementara skala Likert
disajikan dalam bentuk ini, pernyataan yang menunjukkan persetujuan dan ketidaksetujuan
responden harus dipilih dengan cermat.

Teknik yang digunakan untuk memilih item untuk skala Likert adalah dengan mengidentifikasi contoh hal-hal
yang mengarah pada ekspresi ekstrim dari sikap yang ditangkap. Misalnya, jika seseorang tertarik pada sikap
terhadap kejahatan dan pelanggaran ringan, seseorang mungkin menggunakan pembunuhan berantai dan
pelanggaran parkir sebagai contoh ujung spektrum yang ekstrem. Ketika contoh-contoh ini telah dipilih,
maka sampel responden diminta untuk memberi peringkat pada contoh-contoh ini di berbagai item
kuesioner potensial. Misalnya, responden mungkin diminta untuk menanggapi pernyataan seperti
“menggantung terlalu baik untuk mereka”, atau “Saya dapat membayangkan diri saya melakukan sesuatu
seperti ini”.

Mengingat kumpulan besar pernyataan seperti itu, umumnya akan ada beberapa di mana ada
banyak kesepakatan di antara responden. Selain itu, beberapa di antaranya akan menjadi
pernyataan yang memancing pernyataan setuju atau tidak setuju yang ekstrem di antara semua
responden. Pernyataan terakhir inilah yang coba diidentifikasi untuk dimasukkan dalam skala
Likert, karena, kami berharap, jika kami telah memilih contoh yang sesuai, akan ada kesepakatan
umum tentang sikap ekstrem terhadap mereka. Item di mana ada ambiguitas bukanlah pembeda
sikap yang baik. Misalnya, sementara orang berharap bahwa akan ada ketidaksepakatan umum
dan ekstrem bahwa "menggantung terlalu baik" bagi mereka yang melakukan pelanggaran
parkir, mungkin ada sedikit kesepakatan tentang penerapan pernyataan ini pada pembunuh
berantai,

SUS dibangun menggunakan teknik ini. Sebuah kolam dari 50 item kuesioner potensial dikumpulkan. Dua
contoh sistem perangkat lunak kemudian dipilih (satu alat linguistik yang ditujukan untuk pengguna akhir,
yang lain alat untuk pemrogram sistem) berdasarkan kesepakatan umum bahwa yang satu "sangat mudah
digunakan" dan yang satu hampir tidak mungkin digunakan, bahkan untuk pengguna yang sangat terampil
secara teknis. 20 orang dari kelompok teknik sistem perkantoran, dengan pekerjaan mulai dari sekretaris
hingga pemrogram sistem kemudian menilai kedua sistem terhadap semua 50 item kuesioner potensial
pada skala 5 poin mulai dari "sangat setuju" hingga "sangat tidak setuju".

Item yang mengarah ke respons paling ekstrem dari kumpulan asli kemudian dipilih. Ada interkorelasi
yang sangat erat antara semua item yang dipilih (± 0,7 hingga ± 0,9). Selain itu, item dipilih sehingga
tanggapan umum untuk setengah dari mereka adalah persetujuan yang kuat, dan setengah lainnya,
ketidaksetujuan yang kuat. Hal ini dilakukan untuk mencegah bias respon yang disebabkan oleh
responden tidak harus memikirkan setiap pernyataan; dengan bergantian item positif dan negatif,
responden harus membaca setiap pernyataan dan berusaha untuk berpikir apakah mereka setuju
atau tidak setuju dengan itu.

Skala Kegunaan Sistem ditunjukkan di bagian selanjutnya dari bab ini. Dapat dilihat bahwa pernyataan yang dipilih
sebenarnya mencakup berbagai aspek kegunaan sistem, seperti kebutuhan akan dukungan, pelatihan, dan
kompleksitas, dan dengan demikian memiliki tingkat validitas wajah yang tinggi untuk mengukur kegunaan suatu
sistem.
Skala Kegunaan Sistem

© Perusahaan Peralatan Digital, 1986.

Dengan kuat Dengan kuat

tidak setuju setuju

1. Saya pikir saya ingin sering

menggunakan sistem ini
1 2 3 4 5

2. Saya menemukan sistem yang tidak

perlu rumit
1 2 3 4 5

3. Saya pikir sistemnya mudah

digunakan

1 2 3 4 5

4. Saya pikir saya membutuhkan

dukungan dari orang teknis untuk
dapat menggunakan sistem ini
1 2 3 4 5

5. Saya menemukan berbagai fungsi dalam

sistem ini terintegrasi dengan baik
1 2 3 4 5

6. Saya pikir ada terlalu banyak

inkonsistensi dalam sistem ini
1 2 3 4 5

7. Saya membayangkan bahwa kebanyakan orang

akan belajar menggunakan sistem ini dengan
sangat cepat
1 2 3 4 5

8. Saya merasa sistem ini

sangat rumit untuk digunakan
1 2 3 4 5

9. Saya merasa sangat percaya diri

menggunakan sistem

1 2 3 4 5

10. Saya perlu belajar banyak hal

sebelum saya bisa
menggunakan sistem ini 1 2 3 4 5
Menggunakan SUS

Skala SU umumnya digunakan setelah responden memiliki kesempatan untuk menggunakan sistem yang
sedang dievaluasi, tetapi sebelum dilakukan tanya jawab atau diskusi. Responden harus diminta untuk
mencatat tanggapan langsung mereka terhadap setiap item, daripada memikirkan item untuk waktu yang
lama.

Semua item harus diperiksa. Jika responden merasa bahwa mereka tidak dapat menanggapi item
tertentu, mereka harus menandai titik tengah skala.

Mencetak SUS

SUS menghasilkan satu nomor yang mewakili ukuran gabungan dari kegunaan keseluruhan dari sistem
yang sedang dipelajari. Perhatikan bahwa skor untuk masing-masing item tidak berarti sendiri.

Untuk menghitung skor SUS, pertama jumlahkan kontribusi skor dari setiap item. Kontribusi skor setiap
item akan berkisar dari 0 sampai 4. Untuk item 1,3,5,7, dan 9 kontribusi skor adalah posisi skala
dikurangi 1. Untuk item 2,4,6,8 dan 10, kontribusinya adalah 5 dikurangi posisi skala. Kalikan jumlah
skor dengan 2,5 untuk mendapatkan nilai SU keseluruhan.

Skor SUS memiliki kisaran 0 hingga 100.

Bagian berikut memberikan contoh skala SU yang diberi skor.

Skala Kegunaan Sistem

© Perusahaan Peralatan Digital, 1986.

Dengan kuat Dengan kuat

tidak setuju setuju

1. Saya pikir saya ingin sering   4

menggunakan sistem ini 1 2 3 4 5

2. Saya menemukan sistem yang tidak 1

perlu rumit  
1 2 3 4 5

3. Saya pikir sistemnya mudah

digunakan   1
1 2 3 4 5

4. Saya pikir saya membutuhkan

dukungan dari orang teknis untuk   4
dapat menggunakan sistem ini
1 2 3 4 5

5. Saya menemukan berbagai fungsi dalam

  1
sistem ini terintegrasi dengan baik
1 2 3 4 5

6. Saya pikir ada terlalu banyak   2

inkonsistensi dalam sistem ini
1 2 3 4 5

7. Saya membayangkan bahwa kebanyakan orang

akan belajar menggunakan sistem ini dengan
  1
sangat cepat 1 2 3 4 5

8. Saya merasa sistem ini

  1
sangat rumit untuk digunakan
1 2 3 4 5

9. Saya merasa sangat percaya diri

  4
menggunakan sistem
1 2 3 4 5

10. Saya perlu belajar banyak hal   3

sebelum saya bisa
menggunakan sistem ini 1 2 3 4 5

Jumlah skor = 22

Skor SUS = 22 *22,5 = 55

Kesimpulan

SUS telah terbukti menjadi alat evaluasi yang berharga, kuat dan dapat diandalkan. Ini berkorelasi baik
dengan ukuran subjektif kegunaan lainnya (misalnya, subskala kegunaan umum dari inventaris SUMI yang
dikembangkan dalam proyek MUSiC (Kirakowski, komunikasi pribadi)). SUS telah tersedia secara bebas untuk
digunakan dalam penilaian kegunaan, dan telah digunakan untuk berbagai proyek penelitian dan evaluasi
industri; satu-satunya prasyarat untuk penggunaannya adalah bahwa setiap laporan yang diterbitkan harus
mengakui sumber tindakan tersebut.

Ucapan Terima Kasih

SUS dikembangkan sebagai bagian dari program rekayasa kegunaan dalam pengembangan
sistem perkantoran terintegrasi di Digital Equipment Co Ltd., Reading, Inggris.

Referensi

Bevan, N, Kirakowski, J dan Maissel, J, 1991, Apa Kegunaan?, di H.-J. Bullinger, (Ed.).
Aspek Manusia dalam Komputasi: Desain dan penggunaan sistem interaktif dan bekerja dengan terminal,
Amsterdam: Elsevier.

Kirakowski, J dan Corbett, M, 1988, Mengukur Kepuasan Pengguna, dalam DM Jones dan R Winder
(Eds.) Manusia dan Komputer IV. Cambridge: Pers Universitas Cambridge.

Pratchett, T., 1990 Gambar bergerak. London: Gollancz