PEMBAHASAN

TEKNIK EVALUASI

A. Pengertian

Teknik merupakan suatu karakteristik yang dimilliki oleh seseorang untuk

menghasilkan atau mendapatkan sesuatu yang diinginkan. Sedangkan evaluasi itu sendiri
mengevaluasi atau menguji manfaat dan fungsi dari system interaktif itu sendiri. Metode
evaluasi harus dipilih secara akurat, cermat, harus cocok dengan suatu aktifitas yang sedang
dilakukan.

Evaluasi merupakan bagian dari sIstem manajemen yaitu perencanaan organisasi

pelaksanaan monitoring. Tanpa evaluasi maka tidak akan diketahui bagaimana kondisi objek
evaluasi tersebut dalam rancangan pelaksaan serta hasinya. Istilah evaluasi sudah menjadi
kosakata dalam Bahasa Indonesia, akan tetapi kata ini adalah kata serapan dari Bahasa Inggris
yaitu evalution yang berarti penilaian atau penaksiran (Echols dan Shadily , 2000 : 220).
Sedangkan menurut pengertian istilah ‘‘evaluasi merupakan kegiatan yang terencana untuk
mengetahui keadaan sesuatu obyek dengan menggunakan instrument dan hasilnya
dibandingkan dengan tolak ukur untuk memperoleh kesimpulan’’. (Yunanda : 2009)

Evaluasi adalah sebuah proses yang secara sistematis mengumpulkan data yang
menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai
pengalamannya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah
lingkungan tertentu.

Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas sistem yang
dilakukan didalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna.
Yang dievaluasi pada interaksi manusia dan computer adalah desain dan implementasinya.
Evaluasi sebaiknya dilakukan dengan mempertibangkan semua tahapan siklus hidup desain.

Evaluasi digunakan untuk melihat apakah hasil rancangan dengan proses uji coba
sistem yang telah dibuat sesuai dengan permintaan pengguna (user).
 Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari,
dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu,
sedapat mungkin menyenangkan, atraktif, menantang, dll.

Proses ini tidak dikerjakan dalam satu fase proses perancangan tetapi melalui
perancangan dengan prinsip life cycle, dengan hasil evaluasi dikembalikan untuk
memodifikasi perancangan.

B. Tujuan Evaluasi

Evaluasi memiliki 3 tujuan utama, yaitu:

1. Melihat seberapa jauh sistem berfungsi :

Desain sistem memungkinkan user malakukan tugas dengan lebih mudah. Hal ini tidak
hanya membuat fungsionalitas yang sesuai dengan sistem, tetapi juga membuat mudah
untuk dicapai oleh user. User dapat melakukan aksi untuk melakukan tugas. Juga
mencakup kesuaian penggunaan sistem terhadap harapan user pada tugas tersebut.
Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada sistem, untuk
melihat keefektifan sistem dalam mendukung tugas.

2. Melihat efek interface bagi pengguna :

Mencakup aspek dari kemudahan sistem dipelajari, daya guna dan perilaku user.
Penting juga untuk mengidentifikasi area desain yang berlebih dari user dengan
menggunakan sejumlah informasi.

3. Mengidentifikasi problem khusus yang terjadi pada sistem :

Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi
kekacauan diantara user. Ini tentunya berhubungan dengan daya guna (usibility) dan
fungsionalitas dari desain (bergantung pada sebab masalah). Tujuan ini merupakan aspek
negatif dari desain.
C. Jenis Evaluasi

Ada 2 jenis dalam teknik evaluasi, yaitu :

1. Dalam kondisi percobaan (Laboratory)

Penggunaan pada pengujian sistem ini dilakukan pada ruang percobaan dengan
beberapa kondisi diantaranya :
a. Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang
baik, cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada
lokasi kerja yang sebenarnya.
b. Operator terbebas dari gangguan yang menghambat pekerjaan.
c. Beberapa situasi hanya dapat dilakukan dilaboratorium, misalnya sistem yang akan
digunakan ditempatkan pada lokasi yang berbahaya atau lokasi yang terpencil. Contoh,
stasiun ruang angkasa.
d. Dapat memanipulasi situasi untuk memecahkan masalah dan melihat sedikit
penggunaan prosedur atau membandingkan beberapa alternatif perancangan dengan
situasi yang sebenarnya.
e. Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang
sebenarnya dan terdapat beberapa orang yang tidak bisa bekerja pada kondisi seperti di
laboratorium.

 Keuntungan :
- Peralatan special tersedia
- Lingkungan yang terinterupsi

 Kerugian :
- Kekurangan konteks
- Sulit untuk menggati beberapa pengguna bekerja sama

 Kelayakan :
- Jika lokasi sistem berbahaya atau tidak praktis/tak berguna.
- Sistem pennguna tunggal terbatas
 - Untuk membolehkan manipulasi penggunaan yang terkontrol.

2. Dalam kondisi lokasi kerja yang sebenarnya

Penggunaan pengujian sistem ini pada lokasi kerja sebenarnya mempunyai beberapa
kondisi, di antaranya :
a. Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan
interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit
dilakukan.
b. Situasi yang lebih “terbuka” antara sistem dan pengguna, dimana kondisi ini tidak
ditemukan pada kondisi di laboratorium
c. Observasi pada lokasi kerja sebenarnya lebih baik dilakukan daripada di laboratorium
dan gangguan-gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang
mewakili situasi sebenarnya dan digunakan untuk proses penyimpanan dan
pengambilan selama tugas.

 Keuntungan :
 Ligkungan natural/alami
 Konteksnya terjaga (walaupun observasi mungkin mengubahnya).
 Memungkinkan studi longitudional.

 Kekurangan :
 Banyak yang mengganggu
 Noise (keriuhan)

 Kelayakan :
 Dimana konteks adalah kruisal
 Untuk studi longitudional (membujur)

D. Participatory Design
Adalah suatu pemikiran yang melibatkan keseluruhan alur perancangan dan tidak hanya
proses evaluasi saja. Perancangan ini dilakukan pada ruang kerja yang melibatkan pengguna
 yang tidak hanya digunakan sebagai subyek percobaan tetapi juga sebagai anggota yang aktif
dalam team perancangan. Argumennya adalah user dianggap ahli dalam konteks dan
perancangan hanya dapat efektif pada konteks tersebut jika para ahli ini memberikan kontribusi
yang aktif keperancangan.

 Memiliki beberapa karakteristik dari desain partisipatif adalah :

- Meningkatkan lingkungan kerja dan tugas. Ini membuat perancangan dan evaluasi
berorientasi kerja atau konteks disbanding berorientasi sistem.
- Mempunyai sifat kerja sama (kolaborasi), yaitu pengguna dilibatkan sebagai anggota
team dan mempunyai kontribusi pada setiap tingkat perancangan.
- Mempunyai pendekatan interative, perancangan adalah suatu subyek untuk evaluasi
dan revisi pada setiap tingkatan.

E. Evaluasi Pakar (Perancangan)

Evaluasi pakar merupakan evaluasi yang digunakan melalui analisis pakar dalam
melakukan desain dan implementasi sistem.
Evaluasi ini terjadi setelah proses perancangan secara ideal dilakukan pada sistem
pertama sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat
dihindari karena perancangan dapat diubah/diperbaiki untuk mengevaluasi perancangan
sebelumnya.
Adapun mengevaluasi perancangan sebelum inplementasi adalah sebagai berikut :
1) Cognitive Walkthrough
2) Evaluasi Heuristik
3) Evaluasi Berbasis Tinjauan (Review-based)
4) Evaluasi Berbasis Model (Model-based)

1) Cognitive Walkthrough
Suatu usaha yang dilakukan untuk mengenalkan teori psikologi kedalam bentuk
informal dan subyektif. Dengan kata lain, usaha ini bertujuan untuk mengevaluasi
perencanaan dengan melihat seberapa besar dukungan yang diberikan pada pengguna
untuk mempelajari beberapa tugas yang diberikan. Pendekatan ini dikemukakan oleh
Polson, dkk. Walkthrough dilaksanakan oleh perancang atau seorang ahli dalam psikologi
kognitif. Ahli bekerja melalui perancangan tugas tertemtu, tahap demi tahap,
mengidentifikasi masalah yang berpotensi pada kriteria psikologi. Kemudian dibandingkan
ke proses dimana perancang software akan bekerja dengan koding pada kondisi yang
berbeda, struktur tujuan untuk mendukungnya.
Dalam pendekatan ini terdapat beberapa isu-isu yang timbul seperti :
a. Pengaruh apa yang timbul setelah tugas ini diberikan ke pengguna ?
b. Proses cognitive apa yang tersedia ?
c. Masalah pembelajaran apa yang seharusnya timbul ?
Cognitive walkthrough harus menunjukkan jika dan bagaimana interface merujuk user
untuk membangkitkan tujuan yang benar dari pelaksanaan tugas yang diinginkan, dan
memilih aksi yang diperlukan untuk memenuhi setiap bulan. Untuk melakukan cognitive
walkthrough harus mempunyai informasi yang dibutuhkan :
 Deskripsi dari suatu interface yang dibutuhkan itu sendiri.
 Deskripsi dari tugas, termasuk usaha yang benar untuk melakukannya dan struktur
tujuan untuk mendukungnya.
Dengan informasi ini maka evaluator dapat melakukan langkah dari walkthrough :
 Memilih tugas
 Mendiskripsikan tujuan awal dari user
 Melakukan kegiatan yang tepat
 Menganalisis proses keputusan untuk setiap kegiatan.
Cognitive walkthrough berbasis formulir yang disediakan untuk merunjuk evaluator
melalui sekumpulan pertanyaan yang berhubungan dengan tugas dan tujuan user.
Cognitive walkthrough merupakan metode analisis yang dapat digunakan untuk fase
perancangan awal maupun untuk mengevaluasi sistem, berisi informasi yang berhubungan
dengan kemampuan belajar (learnability) dari interface. Jika digunakan diawal
perancangan maka akan dapat mengidentifikasi masalah perancangan sebelum tahap
prototype dan langsung difokuskan pada evaluasi selanjutnya. Meskipun dirancang untuk
 digunakan oleh perancang sendiri tetapi juga memerlukan pengetahuan teori psikologi
secara terminology agar efektif.
Contoh :
Memprogram video dengan remote control. Misalkan akan memprogram video ke waktu
dimulai jam 18.00 dan berakhir pada jam 19.15 pada saluran 4 pada tanggal 4. Maka tugas
untuk hal tersebut adalah :
 Set waktu awal
 Set waktu akhir
 Set channel
 Set tanggal

Ini adalah tujuan dari user, memasukan pengalaman dan pengetahuan sebelumnya.
Ekspresi diatas adalah pada tingkat tinggi, tidak diberikan detailnya pada level interface.
Dengan melihat tujuan user yang diidentifikasi, setiap aksi akan digambarkan dengan tugas
yang lengkap dan akan ditentukan apakah interface mendukung pembangkitan struktur
tujuan yang dibutuhkan untuk aksi yang lengkap. Setiap aksi dianalisis pada formulir
walkthrough. Formulir menampilkan sejumlah pertanyaan yang dilakukan adalah
melakukan penekanan tombol “Timed Recording”.
Langkah selanjutnya adalah membandingkan struktur tujuan yang tersedia dengan struktur
tujuan pada langkah awal. Hal ini dilakukan dengan empat pertanyaan :
- Akankah user gagal untuk menambah tujuan yang diperlukan ?
- Akankah user gagal untuk memindahkan tujuan yang tidak diinginka ?
- Akankah user mengadopsi beberapa tujuan palsu berdasarkan interface ?
- Akankah user membatalkan tujuan yang masih dibutuhkan ?

2) Evaluasi Heuristik (Heuristic Evaluation)

Evaluasi ini diusulkan oleh Neilsen dan Molich, hampir sama dengan cognitive
walkthrough tetapi sedikit terarah dan terstruktur. Heuristic adalah guildeline, prinsip
umum dan perturan, pengalaman yang bisa membantu suatu keputusan atau kritik atau
suatu keputusan yang telah diambil, beberapa penilaian bebas terhadap suatu desain supaya
kritik bias memajukan potensi daya guna. Penilaian terhadap suatu daya guna dari suatu
 sistem memiliki peringkat 75% disbanding tampilan sistem. Pada evaluasi ini, sekumpulan
kriteria usability atau heuristic diidentifikasi dan perancangan dilaksanakan.
Dalam sistem ini terdapat beberapa kriteria :
a. Perilaku system dapat dipastikan
b. Perilaku system konsisten
c. Kemampuan memori user tidak melebihi batas
d. Dialog merupakan orientasi tugas

Ada 10 dasar dari heuristik, seperti :

1. Visibilitas status sistem
2. Kecocokan antara sistem dan dunia maya
3. Control user dan kebebasan
4. Konsisten dan standar
5. Pencegahan kesalahan
6. Pengenalan dan penarikan kembali
7. Fleksibilitas dan efisiensi
8. Berhubungan dengan keindahan dan design minimalis
9. Bantuan bagi user untuk mengenali, mendiagonis dan memperbaiki dari kesalahan.
10. Help dan dokumentasi.

Tujuan dari evaluasi heuristik adalah untuk memperbaiki perancangan secara efektif.
Orang yang melakukan evaluasi melalui kinerja dari serangkaian tugas dengan
perancangan dan dilihat kesesuaiannya dengan kinerja setiap tingkatan. Jika ada kesalahan
yang terdeteksi maka perancangan dapat ditinjau ulang guna memperbaiki masalah
tersebut sebelum sampai pada tingkatan implementasi.

3) Evaluasi Berbasis Tinjauan (Review-based Evaluation)

Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer
menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata.
Dalam kenyataannya hasil eksperimen ini tidak dapat dipastikan mempertahankan
keadaan yang tetap. Orang yang melakukan evaluasi harus memilih data secara hati-hati,
 rancangan eksperimen yang dipilih, subyek masyarakat yang digunakan, analisa
penyelenggaraan dan asumsi yang telah dibuat.

4) Evaluasi Berbasis Model (Model-based Evaluation)

Pendekatan evaluasi ini berguna untuk mengevaluasi perancangan dengan kombinasi
spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama. Contohnya :
GOMS Model, Keystroke level model dan design rationale.

 Model Pengguna (Pemodelan User)

Pada model pengguna pada interaksi manusia dan komputer ada berbagai macam
model pengguna seperti :
 User requitment model, yang berhubungan dengan kebutuhan user :
 Socio-techial model yang mewakili manusia dan persyarakatan teknis,
 Soft system methodology yang memperhatikan isu-isu yang ada di seputar
manusia dan organisasi
 Cognitive model yang mempresentasikan user system interaktif.
 Cognitive model, yang berhubungan dengan user sistem interaktif :
 Hierarachi model, yang mewakili tugas dan tujuan user.
 Linguistic model, yang mempresentasikan sistem tata Bahasa user.
 Physical and device model, yang mempresentasikan keahlian manusia.
 Cognitive architecture mendasari semua model di atas.

Seringkali persyaratan pengguna hanya focus pada fungsionalitas dan mengabaikan

daya guna dan aspektabilitas. Model persyaratan pengguna menambahkan hal ini
dengan pendekatan socio-technocal models, soft system, methodfology dan
participatory design.

 Model Kognitif (cognitive model)

Merupakan suatu model yang berhubungan dengan sistem interaktif yang memodelkan
aspek pengguna, seperti pemahaman, pengetahuan, tujuan dan pemrosesan. Kategori
umum dari model ini adalah komputasi, kinerja, selera komputasi, tanpa disertai
pembagian yang jelas.
Banyak model yang menggunakan pemrosesan mental dimana user mencapai tujuan
dengan memecahkan sub-tujuan secara device and conquer. Pada bagian ini hanya akan
dibahas dua model, yaitu GOMS (Goals Operators, Methode and Selections) dan CCT
(Cognitive Complexcity Theory). Berikut ini adalah contoh pembuatan laporan
penjualan buku IMK. Untuk mencapai tujuan ini laporan dibagi menjadi beberapa sub-
tujuan.
Terdapat beberapa isu penting jika dilakukan analisis penggunaan seperti :
 Dimana kita berhenti. Kita dapat berhenti mendekomposisi tugas jika menyangkut
element pergerakan motoric manusia pada level yang lebih abstrak.
 Dimana kita memulai. Kita dapat memulai analisis pada poin yang berbeda pada
hierarki goal tertentu.
 Apa yang harus dilakukan ketika ada beberapa solusi pemecahan masalah atau jika
solusi terhadap dua masalah saling berhubungan.
 Apa yang harus dilakukan terhadap kesalahan yang terjadi.

 GOMS
Model Goals, Operators, Method, Selections, diperkenalkan oleh Card, Moran dan
Newell. Penjelasan adalah sebagai berikut :
 Goal adalah tujuan yang ingin dicapai oleh user.
 Operator merupakan level terendah analisis, terdiri atas tindakan dasar yang
harus dilakukan user dalam menggunakan sistem.
 Method dimana ada beberapa cara untuk membagi tujuan kedalam beberapa
sub-tujuan. Dekomposisi tujuan tersebut disebut sebagai nethod.
 Selection, merupakan pilihan terhadap method yang ada. GOMS tidak
membiarkan pilihan menjadi random, namun lebih dapat diprediksi namun
demikian secara umum hal tersebut bergantung pada user, kondisi sistem dan
detail tujuan.

Sebagai contoh, user sam tidak pernah menggunakan L7-METHOD kecuali jika
dia memainkan sebuah game yang bernama bloks. Dalam hal ini GOMS
memasukkannya aturan selection :
 For a particular user :
 Rule 1 : select USE-MENU-METHOD unless another, rule applies.
 Rule 2 : if the aplications is GAME, select CTRL-W-METHOD
Analisis GOMS umumnya terdiri dari satu tujuan tingkat tinggi yang
kemudian didekomposisi menjadi deretan unit tugas (task) yang selanjutnya dapat
dikomposisi lagi sampai pada level operator dasar. Dekomposisi tujuan antara
tugas keseluruhan dan tugas untuk melibatkan pemahaman terhadap strategi
pemecahan masalah oleh user dan domain aplikasi secara detail. Bentuk deskripsi
high-level-goal ini nantinya diadopsi selama proses analisis tugas.
Analisis struktur tujuan GOMS dapat digunakan untuk mengukur kinerja. Ke
dalam tumpukan struktur tujuan dapat digunakan untuk mengetimasi kebutuhan
memori jangka pendek. Pemilihan dapat diuji keadaan keakuratannya dengan jejak
user dan perubahan respons. GOMS merupakan metode yang baik untuk
mendeskripsikan bagaimana seorang ahli melakukan pekerjaannya. Jika digabung
dengan model fisik dan model perlengkapan maka akan dapat digunakan untuk
memprediksi kinerja user dan aspek waktu eksekusi.

 CCT
Cognitive Complexcity Theory diperkenalkan oleh Kieras dan Polson. CCT
merupakan perluasan dari GOMS. CCT mengandung banyak prediksi parallel :
 User goal : berhubungan dengan aturan produksi. Aturan tersebut terbentuk
``IF kondisi THEN aksi`` dan dipisahkan antara aturan untuk pemula yang
sudah ahli.
 System atau device : berhubungan dengan jaringan transisi tergenerasisasi
yang sangat detail. Terdapat deskripsi yang luas dan jaringan transisinya
mencakup semua model dialog.
State kondisi adalah pernyataan tentang isi memori kerja. Jika kondisi bernilai
benar maka aturan produksi dijalankan. Sedangkan aksi dapat terdiri dari satu atau
lebih aksi elementer yang mungkin mengubah memori kerja atau berupa aksi
eksternal seperti keystroke. Contohnya adalah tugas editing menggunakan editor
‘vi’ UNIX untuk mengoreksi spasi antarkata.
Aturan CCT dapat menggambarkan rencana yang kompleks dibandingkan dengan
hirarki sekuensial pada GOMS. Aktifitas yang continue dari semua aturan
produksi memungkinkan untuk mempresentasikan rencana yang
berkesinambungan.
Sebagai contoh, pada CCT dapat dibuat satu set lainnya untuk membuat the.
Kedua jenis aturan produksi ini dapat aktif secara simultan sehingga
memungkinkan si penulis buku sambil minum teh.
Secara umum, semakin banyak aturan produksi dalam CCT maka akan semakin
sulit suatu interface untuk dipelajari. Selain itu terdapat beberapa masalah pada
CCT yaitu :
 Semakin detailnya deskripsinya, ukuran dekripsi dari satu bagian interface
dapat menjadi sangat besar. Lebih jauh, dimungkinakan terdapat beberapa cara
untuk mempresentasikan perilaku user dan interasi yang sama sehingga
mengakibatkan adanya perbedaan pada hasil pengukuran.
 Pemilihan notasi yang digunakan. Muncul pertanyaan kapan notasi tertentu
yang dipilih menjadi suatu hal yang penting atau kritis. Seseorang dapat saja
memilih untuk mempresentasikan system dengan notasi yang berbeda. Notasi
yang berbeda dapat mengakibatkan perbedaan pengukuran. Contoh, pada
deskripsi sebelumnya (NOTE executing insert space) hanya digunakan untuk
membuat rule INSERT-SPACE-DONE dijalankan pada waktu yang tepat.
Disini tidak jelas sama sekali signifikasi kognitifnya.
 CCT adalah alat rekayasa dengan pengukuran kemudahan untuk dipelajari dan
tingkat kesulitan secara garis besar digabung dengan deskripsi detail pelaku
user.