MAKALAH INTERAKSI MANUSIA DAN KOMPUTER

“TEKNIK EVALUASI (IMK)”

KELOMPOK 2
DISUSUN OLEH :

Ranti 13630003

Anggi Trisno Purnamasari 13630074

Rudi Hartono 13630149

Ahmad Fathurrahman 13630206

Kurniawan Ramadhan 13630317

Susan Antika 13630356

FAKULTAS TEKNOLOGI INFORMASI

PROGRAM STUDI S1 TEKNIK INFORMATIKA
UNIVERSITAS ISLAM KALIMANTAN (UNISKA)
MUHAMMAD ARSYAD AL-BANJARY
BANJARMASIN
2015
 KATA PENGANTAR

Bismillahirahmanirrahim…

Syukur alhamdulilah penulis ucapkan kehadiran SWT. Yang mana dengan rahmat dan
karunianya, sehingga penulis dapat menyelesaikan Makalah IMK Ini merupakan salah satu tugas
studi pada prodi S1 Teknik Informatika UNISKA Banjarmasin.

Dalam menyelesaikan tugas ini, penulis sudah berusaha semaksimal mungkin, tapi
penulis menyadari bahwa makalah ini jauh dari kesempurnaan karna keterbatasan waktu dan
ilmu yang penulis peroleh selama ini, untuk itu penulis menerima segala kritikan maupun saran
yang diberikan siapapun untuk lebih menyempurnakan makalah ini.

Akhir kata penulis berharap semoga makalah ini berguna dan bermanfaat bagi penulis
dan teman-teman semua.

Banjarmasin, November 2015

Kelompok 2
 BAB I
PENDAHULUAN

Bab ini membahas teknik evaluasi yang dapat digunakan untuk aplikasi yang didalamnya
terjadi interaksi antara manusia dan komputer. Evaluasi adalah suatu tes atas tingkat penggunaan
dan fungsionalitas sistem yang dilakukan didalam laboratorium, di lapangan, atau didalam
kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan komputer adalah
desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertimbangkan semua
tahapan siklus hidup desain.

Adanya perdebatan tentang penilaian sebuah tampilan, ada yang mengatakan, “BAGUS”,
“SEDANG”, atau “JELEK”. Adanya asumsi bahwa selama suatu software dapat digunakan,
maka itu sudah cukup bagus.

Kegiatan evaluasi suatu software atau tampilan merupakan kegiatan yang dihindari
karena akan menambah waktu pengembangan dan biaya. Kegiatan evaluasi merupakan sesuatu
yang sangat penting karena desainer dapat mengetahui apakah karyanya berguna dan diinginkan
oleh user. Desainer tidak dapat berasumsi bahwa orang lain seperti dirinya, dan mengikuti design
guidelines menjamin bahwa karyanya pasti bagus.

Evaluasi dibutuhkan untuk memeriksa apakah user dapat menggunakan produk tersebut
dan menyukainya. Evaluasi kepuasan penggunaan terhadap sebuah produk dapat dilakukan
menggunakan kuesioner dan atau interview.

MAKSUD DAN TUJUAN

Tujuan dari makalah ini adalah :
1. Menyelesaikan tugas yang diberikan Dosen mata kuliah Interaksi Manusia Komputer
2. Memaparkan kepada pembaca tentang Teknik Evaluasi
 BAB II
PEMBAHASAN
TEKNIK EVALUASI

A. Pengertian

Teknik merupakan suatu karakteristik yang dimilliki oleh seseorang untuk

menghasilkan atau mendapatkan sesuatu yang diinginkan. Sedangkan evaluasi itu sendiri
mengevaluasi atau menguji manfaat dan fungsi dari system interaktif itu sendiri. Metode
evaluasi harus dipilih secara akurat, cermat, harus cocok dengan suatu aktifitas yang sedang
dilakukan.

Evaluasi merupakan bagian dari sIstem manajemen yaitu perencanaan organisasi

pelaksanaan monitoring. Tanpa evaluasi maka tidak akan diketahui bagaimana kondisi objek
evaluasi tersebut dalam rancangan pelaksaan serta hasinya. Istilah evaluasi sudah menjadi
kosakata dalam Bahasa Indonesia, akan tetapi kata ini adalah kata serapan dari Bahasa
Inggris yaitu evalution yang berarti penilaian atau penaksiran (Echols dan Shadily , 2000 :
220). Sedangkan menurut pengertian istilah ‘‘evaluasi merupakan kegiatan yang terencana
untuk mengetahui keadaan sesuatu obyek dengan menggunakan instrument dan hasilnya
dibandingkan dengan tolak ukur untuk memperoleh kesimpulan’’. (Yunanda : 2009)

Evaluasi adalah sebuah proses yang secara sistematis mengumpulkan data yang
menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai
pengalamannya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah
lingkungan tertentu.

Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas sistem yang
dilakukan didalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna.
Yang dievaluasi pada interaksi manusia dan computer adalah desain dan implementasinya.
Evaluasi sebaiknya dilakukan dengan mempertibangkan semua tahapan siklus hidup desain.
 Evaluasi digunakan untuk melihat apakah hasil rancangan dengan proses uji coba
sistem yang telah dibuat sesuai dengan permintaan pengguna (user).

Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari,
dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu,
sedapat mungkin menyenangkan, atraktif, menantang, dll.

Proses ini tidak dikerjakan dalam satu fase proses perancangan tetapi melalui
perancangan dengan prinsip life cycle, dengan hasil evaluasi dikembalikan untuk
memodifikasi perancangan.

B. Tujuan Evaluasi

Evaluasi memiliki 3 tujuan utama, yaitu:

1. Melihat seberapa jauh sistem berfungsi :

Desain sistem memungkinkan user malakukan tugas dengan lebih mudah. Hal ini
tidak hanya membuat fungsionalitas yang sesuai dengan sistem, tetapi juga membuat
mudah untuk dicapai oleh user. User dapat melakukan aksi untuk melakukan tugas. Juga
mencakup kesuaian penggunaan sistem terhadap harapan user pada tugas tersebut.
Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada sistem, untuk
melihat keefektifan sistem dalam mendukung tugas.

2. Melihat efek interface bagi pengguna :

Mencakup aspek dari kemudahan sistem dipelajari, daya guna dan perilaku user.
Penting juga untuk mengidentifikasi area desain yang berlebih dari user dengan
menggunakan sejumlah informasi.

3. Mengidentifikasi problem khusus yang terjadi pada sistem :

Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau
terjadi kekacauan diantara user. Ini tentunya berhubungan dengan daya guna (usibility)
 dan fungsionalitas dari desain (bergantung pada sebab masalah). Tujuan ini merupakan
aspek negatif dari desain.

C. Jenis Evaluasi

Ada 2 jenis dalam teknik evaluasi, yaitu :

1. Dalam kondisi percobaan (Laboratory)

Penggunaan pada pengujian sistem ini dilakukan pada ruang percobaan dengan
beberapa kondisi diantaranya :
a. Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang
baik, cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada
pada lokasi kerja yang sebenarnya.
b. Operator terbebas dari gangguan yang menghambat pekerjaan.
c. Beberapa situasi hanya dapat dilakukan dilaboratorium, misalnya sistem yang akan
digunakan ditempatkan pada lokasi yang berbahaya atau lokasi yang terpencil.
Contoh, stasiun ruang angkasa.
d. Dapat memanipulasi situasi untuk memecahkan masalah dan melihat sedikit
penggunaan prosedur atau membandingkan beberapa alternatif perancangan dengan
situasi yang sebenarnya.
e. Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang
sebenarnya dan terdapat beberapa orang yang tidak bisa bekerja pada kondisi seperti
di laboratorium.

 Keuntungan :
- Peralatan special tersedia
- Lingkungan yang terinterupsi

 Kerugian :
- Kekurangan konteks
- Sulit untuk menggati beberapa pengguna bekerja sama
  Kelayakan :
- Jika lokasi sistem berbahaya atau tidak praktis/tak berguna.
- Sistem pennguna tunggal terbatas
- Untuk membolehkan manipulasi penggunaan yang terkontrol.

2. Dalam kondisi lokasi kerja yang sebenarnya

Penggunaan pengujian sistem ini pada lokasi kerja sebenarnya mempunyai beberapa
kondisi, di antaranya :
a. Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan
interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit
dilakukan.
b. Situasi yang lebih “terbuka” antara sistem dan pengguna, dimana kondisi ini tidak
ditemukan pada kondisi di laboratorium
c. Observasi pada lokasi kerja sebenarnya lebih baik dilakukan daripada di laboratorium
dan gangguan-gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang
mewakili situasi sebenarnya dan digunakan untuk proses penyimpanan dan
pengambilan selama tugas.

 Keuntungan :
 Ligkungan natural/alami
 Konteksnya terjaga (walaupun observasi mungkin mengubahnya).
 Memungkinkan studi longitudional.

 Kekurangan :
 Banyak yang mengganggu
 Noise (keriuhan)

 Kelayakan :
 Dimana konteks adalah kruisal
 Untuk studi longitudional (membujur)
D. Participatory Design
Adalah suatu pemikiran yang melibatkan keseluruhan alur perancangan dan tidak hanya
proses evaluasi saja. Perancangan ini dilakukan pada ruang kerja yang melibatkan pengguna
yang tidak hanya digunakan sebagai subyek percobaan tetapi juga sebagai anggota yang aktif
dalam team perancangan. Argumennya adalah user dianggap ahli dalam konteks dan
perancangan hanya dapat efektif pada konteks tersebut jika para ahli ini memberikan
kontribusi yang aktif keperancangan.

 Memiliki beberapa karakteristik dari desain partisipatif adalah :

- Meningkatkan lingkungan kerja dan tugas. Ini membuat perancangan dan evaluasi
berorientasi kerja atau konteks disbanding berorientasi sistem.
- Mempunyai sifat kerja sama (kolaborasi), yaitu pengguna dilibatkan sebagai anggota
team dan mempunyai kontribusi pada setiap tingkat perancangan.
- Mempunyai pendekatan interative, perancangan adalah suatu subyek untuk evaluasi
dan revisi pada setiap tingkatan.

E. Evaluasi Pakar (Perancangan)

Evaluasi pakar merupakan evaluasi yang digunakan melalui analisis pakar dalam
melakukan desain dan implementasi sistem.
Evaluasi ini terjadi setelah proses perancangan secara ideal dilakukan pada sistem
pertama sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat
dihindari karena perancangan dapat diubah/diperbaiki untuk mengevaluasi perancangan
sebelumnya.
Adapun mengevaluasi perancangan sebelum inplementasi adalah sebagai berikut :
1) Cognitive Walkthrough
2) Evaluasi Heuristik
3) Evaluasi Berbasis Tinjauan (Review-based)
4) Evaluasi Berbasis Model (Model-based)
1) Cognitive Walkthrough
Suatu usaha yang dilakukan untuk mengenalkan teori psikologi kedalam bentuk
informal dan subyektif. Dengan kata lain, usaha ini bertujuan untuk mengevaluasi
perencanaan dengan melihat seberapa besar dukungan yang diberikan pada pengguna
untuk mempelajari beberapa tugas yang diberikan. Pendekatan ini dikemukakan oleh
Polson, dkk. Walkthrough dilaksanakan oleh perancang atau seorang ahli dalam psikologi
kognitif. Ahli bekerja melalui perancangan tugas tertemtu, tahap demi tahap,
mengidentifikasi masalah yang berpotensi pada kriteria psikologi. Kemudian
dibandingkan ke proses dimana perancang software akan bekerja dengan koding pada
kondisi yang berbeda, struktur tujuan untuk mendukungnya.
Dalam pendekatan ini terdapat beberapa isu-isu yang timbul seperti :
a. Pengaruh apa yang timbul setelah tugas ini diberikan ke pengguna ?
b. Proses cognitive apa yang tersedia ?
c. Masalah pembelajaran apa yang seharusnya timbul ?
Cognitive walkthrough harus menunjukkan jika dan bagaimana interface merujuk
user untuk membangkitkan tujuan yang benar dari pelaksanaan tugas yang diinginkan,
dan memilih aksi yang diperlukan untuk memenuhi setiap bulan. Untuk melakukan
cognitive walkthrough harus mempunyai informasi yang dibutuhkan :
 Deskripsi dari suatu interface yang dibutuhkan itu sendiri.
 Deskripsi dari tugas, termasuk usaha yang benar untuk melakukannya dan
struktur tujuan untuk mendukungnya.
Dengan informasi ini maka evaluator dapat melakukan langkah dari walkthrough :
 Memilih tugas
 Mendiskripsikan tujuan awal dari user
 Melakukan kegiatan yang tepat
 Menganalisis proses keputusan untuk setiap kegiatan.
Cognitive walkthrough berbasis formulir yang disediakan untuk merunjuk evaluator
melalui sekumpulan pertanyaan yang berhubungan dengan tugas dan tujuan user.
Cognitive walkthrough merupakan metode analisis yang dapat digunakan untuk fase
perancangan awal maupun untuk mengevaluasi sistem, berisi informasi yang
 berhubungan dengan kemampuan belajar (learnability) dari interface. Jika digunakan
diawal perancangan maka akan dapat mengidentifikasi masalah perancangan sebelum
tahap prototype dan langsung difokuskan pada evaluasi selanjutnya. Meskipun dirancang
untuk digunakan oleh perancang sendiri tetapi juga memerlukan pengetahuan teori
psikologi secara terminology agar efektif.
Contoh :
Memprogram video dengan remote control. Misalkan akan memprogram video ke waktu
dimulai jam 18.00 dan berakhir pada jam 19.15 pada saluran 4 pada tanggal 4. Maka
tugas untuk hal tersebut adalah :
 Set waktu awal
 Set waktu akhir
 Set channel
 Set tanggal

Ini adalah tujuan dari user, memasukan pengalaman dan pengetahuan sebelumnya.
Ekspresi diatas adalah pada tingkat tinggi, tidak diberikan detailnya pada level interface.
Dengan melihat tujuan user yang diidentifikasi, setiap aksi akan digambarkan dengan
tugas yang lengkap dan akan ditentukan apakah interface mendukung pembangkitan
struktur tujuan yang dibutuhkan untuk aksi yang lengkap. Setiap aksi dianalisis pada
formulir walkthrough. Formulir menampilkan sejumlah pertanyaan yang dilakukan
adalah melakukan penekanan tombol “Timed Recording”.
Langkah selanjutnya adalah membandingkan struktur tujuan yang tersedia dengan
struktur tujuan pada langkah awal. Hal ini dilakukan dengan empat pertanyaan :
- Akankah user gagal untuk menambah tujuan yang diperlukan ?
- Akankah user gagal untuk memindahkan tujuan yang tidak diinginka ?
- Akankah user mengadopsi beberapa tujuan palsu berdasarkan interface ?
- Akankah user membatalkan tujuan yang masih dibutuhkan ?

2) Evaluasi Heuristik (Heuristic Evaluation)

Evaluasi ini diusulkan oleh Neilsen dan Molich, hampir sama dengan cognitive
walkthrough tetapi sedikit terarah dan terstruktur. Heuristic adalah guildeline, prinsip
 umum dan perturan, pengalaman yang bisa membantu suatu keputusan atau kritik atau
suatu keputusan yang telah diambil, beberapa penilaian bebas terhadap suatu desain
supaya kritik bias memajukan potensi daya guna. Penilaian terhadap suatu daya guna dari
suatu sistem memiliki peringkat 75% disbanding tampilan sistem. Pada evaluasi ini,
sekumpulan kriteria usability atau heuristic diidentifikasi dan perancangan dilaksanakan.
Dalam sistem ini terdapat beberapa kriteria :
a. Perilaku system dapat dipastikan
b. Perilaku system konsisten
c. Kemampuan memori user tidak melebihi batas
d. Dialog merupakan orientasi tugas

Ada 10 dasar dari heuristik, seperti :

1. Visibilitas status sistem
2. Kecocokan antara sistem dan dunia maya
3. Control user dan kebebasan
4. Konsisten dan standar
5. Pencegahan kesalahan
6. Pengenalan dan penarikan kembali
7. Fleksibilitas dan efisiensi
8. Berhubungan dengan keindahan dan design minimalis
9. Bantuan bagi user untuk mengenali, mendiagonis dan memperbaiki dari kesalahan.
10. Help dan dokumentasi.

Tujuan dari evaluasi heuristik adalah untuk memperbaiki perancangan secara efektif.
Orang yang melakukan evaluasi melalui kinerja dari serangkaian tugas dengan
perancangan dan dilihat kesesuaiannya dengan kinerja setiap tingkatan. Jika ada
kesalahan yang terdeteksi maka perancangan dapat ditinjau ulang guna memperbaiki
masalah tersebut sebelum sampai pada tingkatan implementasi.

3) Evaluasi Berbasis Tinjauan (Review-based Evaluation)

Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer
menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata.
 Dalam kenyataannya hasil eksperimen ini tidak dapat dipastikan mempertahankan
keadaan yang tetap. Orang yang melakukan evaluasi harus memilih data secara hati-hati,
rancangan eksperimen yang dipilih, subyek masyarakat yang digunakan, analisa
penyelenggaraan dan asumsi yang telah dibuat.

4) Evaluasi Berbasis Model (Model-based Evaluation)

Pendekatan evaluasi ini berguna untuk mengevaluasi perancangan dengan kombinasi
spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama. Contohnya :
GOMS Model, Keystroke level model dan design rationale.

 Model Pengguna (Pemodelan User)

Pada model pengguna pada interaksi manusia dan komputer ada berbagai macam
model pengguna seperti :
 User requitment model, yang berhubungan dengan kebutuhan user :
 Socio-techial model yang mewakili manusia dan persyarakatan teknis,
 Soft system methodology yang memperhatikan isu-isu yang ada di seputar
manusia dan organisasi
 Cognitive model yang mempresentasikan user system interaktif.
 Cognitive model, yang berhubungan dengan user sistem interaktif :
 Hierarachi model, yang mewakili tugas dan tujuan user.
 Linguistic model, yang mempresentasikan sistem tata Bahasa user.
 Physical and device model, yang mempresentasikan keahlian manusia.
 Cognitive architecture mendasari semua model di atas.

Seringkali persyaratan pengguna hanya focus pada fungsionalitas dan mengabaikan

daya guna dan aspektabilitas. Model persyaratan pengguna menambahkan hal ini
dengan pendekatan socio-technocal models, soft system, methodfology dan
participatory design.

 Model Kognitif (cognitive model)

Merupakan suatu model yang berhubungan dengan sistem interaktif yang
memodelkan aspek pengguna, seperti pemahaman, pengetahuan, tujuan dan
pemrosesan. Kategori umum dari model ini adalah komputasi, kinerja, selera
komputasi, tanpa disertai pembagian yang jelas.
Banyak model yang menggunakan pemrosesan mental dimana user mencapai tujuan
dengan memecahkan sub-tujuan secara device and conquer. Pada bagian ini hanya
akan dibahas dua model, yaitu GOMS (Goals Operators, Methode and Selections)
dan CCT (Cognitive Complexcity Theory). Berikut ini adalah contoh pembuatan
laporan penjualan buku IMK. Untuk mencapai tujuan ini laporan dibagi menjadi
beberapa sub-tujuan.
Terdapat beberapa isu penting jika dilakukan analisis penggunaan seperti :
 Dimana kita berhenti. Kita dapat berhenti mendekomposisi tugas jika
menyangkut element pergerakan motoric manusia pada level yang lebih abstrak.
 Dimana kita memulai. Kita dapat memulai analisis pada poin yang berbeda pada
hierarki goal tertentu.
 Apa yang harus dilakukan ketika ada beberapa solusi pemecahan masalah atau
jika solusi terhadap dua masalah saling berhubungan.
 Apa yang harus dilakukan terhadap kesalahan yang terjadi.

 GOMS
Model Goals, Operators, Method, Selections, diperkenalkan oleh Card, Moran
dan Newell. Penjelasan adalah sebagai berikut :
 Goal adalah tujuan yang ingin dicapai oleh user.
 Operator merupakan level terendah analisis, terdiri atas tindakan dasar yang
harus dilakukan user dalam menggunakan sistem.
 Method dimana ada beberapa cara untuk membagi tujuan kedalam beberapa
sub-tujuan. Dekomposisi tujuan tersebut disebut sebagai nethod.
 Selection, merupakan pilihan terhadap method yang ada. GOMS tidak
membiarkan pilihan menjadi random, namun lebih dapat diprediksi namun
demikian secara umum hal tersebut bergantung pada user, kondisi sistem dan
detail tujuan.
 Sebagai contoh, user sam tidak pernah menggunakan L7-METHOD kecuali jika
dia memainkan sebuah game yang bernama bloks. Dalam hal ini GOMS
memasukkannya aturan selection :

For a particular user :

 Rule 1 : select USE-MENU-METHOD unless another, rule applies.
 Rule 2 : if the aplications is GAME, select CTRL-W-METHOD
Analisis GOMS umumnya terdiri dari satu tujuan tingkat tinggi yang
kemudian didekomposisi menjadi deretan unit tugas (task) yang selanjutnya
dapat dikomposisi lagi sampai pada level operator dasar. Dekomposisi tujuan
antara tugas keseluruhan dan tugas untuk melibatkan pemahaman terhadap
strategi pemecahan masalah oleh user dan domain aplikasi secara detail. Bentuk
deskripsi high-level-goal ini nantinya diadopsi selama proses analisis tugas.
Analisis struktur tujuan GOMS dapat digunakan untuk mengukur kinerja. Ke
dalam tumpukan struktur tujuan dapat digunakan untuk mengetimasi kebutuhan
memori jangka pendek. Pemilihan dapat diuji keadaan keakuratannya dengan
jejak user dan perubahan respons. GOMS merupakan metode yang baik untuk
mendeskripsikan bagaimana seorang ahli melakukan pekerjaannya. Jika
digabung dengan model fisik dan model perlengkapan maka akan dapat
digunakan untuk memprediksi kinerja user dan aspek waktu eksekusi.

 CCT
Cognitive Complexcity Theory diperkenalkan oleh Kieras dan Polson. CCT
merupakan perluasan dari GOMS. CCT mengandung banyak prediksi parallel :
 User goal : berhubungan dengan aturan produksi. Aturan tersebut terbentuk
``IF kondisi THEN aksi`` dan dipisahkan antara aturan untuk pemula yang
sudah ahli.
 System atau device : berhubungan dengan jaringan transisi tergenerasisasi
yang sangat detail. Terdapat deskripsi yang luas dan jaringan transisinya
mencakup semua model dialog.
State kondisi adalah pernyataan tentang isi memori kerja. Jika kondisi bernilai
benar maka aturan produksi dijalankan. Sedangkan aksi dapat terdiri dari satu
atau lebih aksi elementer yang mungkin mengubah memori kerja atau berupa
aksi eksternal seperti keystroke. Contohnya adalah tugas editing menggunakan
editor ‘vi’ UNIX untuk mengoreksi spasi antarkata.
Aturan CCT dapat menggambarkan rencana yang kompleks dibandingkan
dengan hirarki sekuensial pada GOMS. Aktifitas yang continue dari semua
aturan produksi memungkinkan untuk mempresentasikan rencana yang
berkesinambungan.
Sebagai contoh, pada CCT dapat dibuat satu set lainnya untuk membuat the.
Kedua jenis aturan produksi ini dapat aktif secara simultan sehingga
memungkinkan si penulis buku sambil minum teh.
Secara umum, semakin banyak aturan produksi dalam CCT maka akan semakin
sulit suatu interface untuk dipelajari. Selain itu terdapat beberapa masalah pada
CCT yaitu :
 Semakin detailnya deskripsinya, ukuran dekripsi dari satu bagian interface
dapat menjadi sangat besar. Lebih jauh, dimungkinakan terdapat beberapa
cara untuk mempresentasikan perilaku user dan interasi yang sama sehingga
mengakibatkan adanya perbedaan pada hasil pengukuran.
 Pemilihan notasi yang digunakan. Muncul pertanyaan kapan notasi tertentu
yang dipilih menjadi suatu hal yang penting atau kritis. Seseorang dapat saja
memilih untuk mempresentasikan system dengan notasi yang berbeda. Notasi
yang berbeda dapat mengakibatkan perbedaan pengukuran. Contoh, pada
deskripsi sebelumnya (NOTE executing insert space) hanya digunakan untuk
membuat rule INSERT-SPACE-DONE dijalankan pada waktu yang tepat.
Disini tidak jelas sama sekali signifikasi kognitifnya.
 CCT adalah alat rekayasa dengan pengukuran kemudahan untuk dipelajari dan
tingkat kesulitan secara garis besar digabung dengan deskripsi detail pelaku
user.
F. Evaluasi Implementasi
Perbedaan yang besar dengan evaluasi perancangan adalah keberadaan implementasi
sistem yang ada dalam berbagai bentuk. Hal ini dapat dimulai dari simulasi kemampuan
interaktif dari suatu sistem, sebagai contoh Wizard of Oz, melalui fungsi prototype dasar
sampai dengan sistem yang telah diimplementasi secara keseluruhan.

 Metode Empirik : Evaluasi Eksperimen

Evaluasi eksperimen merupakan evaluasi dengan pendekatan statistic dengan memilih
hipotesis yang akan dicoba dan jumlah kondisi eksperimen. Setiap eksperimen memiliki
dasar yang sama. Evaluator memilih hipotesa untuk diuji yang dapat ditentukan dengan
mengukur beberapa atribut dari perilaku subyek. Sejumlah kondisi eksperimen ditentukan
yang berbeda dalam hal nilai dari variable tetap yang terkontrol. Setiap perubahan
pengukuran perilaku diatributkan ke kondisi yang berbeda.
Faktor-faktor yang perlu dipertimbangkan dalam mendukung evaluasi eksperimen
yaitu :
a. Subject, siapa yang merepresentasikan
 Pemilihan subyek sangat penting dalam beberapa eksperimen
 Eksperimen harus setepat mungkin sampai sesuai dengan keinginan user
 Jika subyek bukan user sebenarnya maka subyek yang dipilih sesuai dengan
kelompok user yang dimaksud baik usia maupun tingkatan pendidikan serta
pengalaman menggunakan komputer secara umum dan keterhubungan sistem
yang sedang dalam pengujian.

b. Variable, sesuatu untuk dimodifikasi dan ukuran

 Variabel independen, karakteristik suatu eksperimen yang memanipulasi untuk
menghasilkan kondisi yang berbeda seperti : jenis interface, level dari help,
jumlah item menu dan perancangan ikon.
 Variabel dependen, variabel yang dapat diukur dalam eksperimen seperti : waktu
untuk menyelesaikan tugas, jumlah kesalahan yang dibuat dan kualitas dari
untuk kerja user.
 Contoh mengevaluasi perancangan icon

Dimisalkan kita akan membuat paket pengolahan kata baru yang menggunakan icon
untuk presentasinya. Ada 2 jenis perancangan icon akan digunakan yang paling
mudah bagi user. Jenis pertama menggunakan gambar natural (berdasarkan metapora
dari dokumen kertas), jenis yang lain menggunakan gambar abstrak seperti terlihat
pada gambar diatas. Yang pertama harus dilakukan adalah membentuk hipotesis :
tampilan yang seperti apa yang diinginkan ? Pada kasus ini kebanyakan user akan
mengambil gambar natural sebagai icon yang lebih mudah dalam pemnggilan, karena
lebih familiar bagi user. Hipotesis ini mengidentifikasikan variable independent untuk
eksperimen, natural dan abstrak. Pada pertimbangan variabel dependent, pengukuran
“lebih mudah” dilihat dari jumlah kesalahan dalam memilih dan waktu yang
digunakan untuk memilih sebuah icon. Kontrol eksperimen dilakukan dengan
membuat interface yang identic dengan perancangan icon dan tugas pemilihan dibuat
yang dapat diulang untuk setiap kondisi. Kemudian metode eksperimen dilakukan
dengan menggunakan kelompok user yang dimaksud. Mengingat pembelajaran
terlibat dalam eksperimen ini, maka perancangan within-groups digunakan dimana
setiap user menggunakan kedua set icon tersebut. Kemudian hasil eksperimen secara
detail dianalisis.

c. Hypothesis, apa yang ingin ditunjukkan

 Merupakan prediksi yang dihasilkan dalam eksperimen.
 Hipotesis ini menggunakan variable independen dan dependen, dimana variasi
dalam variabel independen akan menyebabkan perbedaan pada variabel
dependen.
  Tujuan dari eksperimen adalah untuk menunjukan bahwa perkiraan dengan
menyangkal adanya null hypothesis yang menyatakan bahwa tidak ada
perbedaan dalam variabel dependen diantara tingkatan dari variabel independen.
 Pengukuran statistika menunjukkan bahwa nilai hasil dapat dibandingkan dengan
tingkat kepercayaan. Jika nilai tertentu ada pada tingkat kepercayaan, hipotesis
null tidak ada.

 Perancangan Eksperimen :
 Between – Groups (Randomized)
 Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi
eksperimen (variable sudah dimanipulasi) dan control, yang identic dengan
kondisi eksperimen kecuali untuk manipulasi ini.
Contoh ini memastikan bahwa manipulasi bertanggungjawab untuk setiap
perbedaan yang diukur.
 Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi
 Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan
menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu akan
membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati
subyek yang dipilih dan menjamin setiap kelompok di masyarakat terwakili.

 Within-Groups
 Setiap user akan menampilkan kondisi yang berbeda
 Jumlah user yang tersedia lebih sedikit
 Pengaruh dari subyek lebih sedikit

 Pengukuran Statistik
Pengukuran statistika menunjukkan bahwa nilai hasil dapat dibandingkan dengan
tingkat kepercayaan. Jika nilai tertentu ada padda tingkat kepercayaan, hipotesis null
tidak ada.
Dua aturan dalam analisa dengan statistik yaitu : melihat dan menyimpan data.
Menyimpan data penting jika kita akan melakukan metode analisis yang berbeda.
 Pemilihan analisis statistika bergantung pada tipe data dan pertanyaan yang perlu
dijawab.
Variabel yang digunakan terbagi, yaitu :
o Discrete Variables
Menggunakan jumlah yang terbatas dari satu nilai atau tingkatan. Contoh : warna
layar monitor yaitu red, green, dan blue. Merupakan suatu variabel independen
o Continous Variable
Menggunakan jumlah berapapun (batas atas maupun batas bawah). Contoh :
ketinggian seseorang atau waktu yang diperlukan untuk menyelesaikan suatu
pekerjaan. Merupakan suatu variabel dependen.

 Teknik Observasi :
Fungsi perangkat lunak yang digunakan pada teknik observasi yaitu :
 Untuk memonitor test
 Membuat catatan kejadian penting yang diobservasi dari video proses testing
 Membantu membuat umpan balik diagnostic mengenai masalah penggunaan sistem.
Jenis-jenis teknik observasi yaitu :

o Think aloud
Cara yang popular dalm mengumpulkan informasi dengan melihat interaksi user.
Evaluator melihat dan merekam aksi user (dengan berbagai teknik). Konsekuensinya
user ditanyai untuk mengelaborasikan aksinya dengan “thinking aloud”, yaitu
menjelaskan apa yang mereka coba kerjakan.
Think aloud mempunyai keuntungan yakni sederhana membutuhkan sedikit
pengetahuan untuk menampilkannya dan menyediakan pengertian yang berguna
dengan interface juga dapat digunakan untuk mengobservasi bagaimana sistem
digunakan.
Variasi lain adalah cooperative evaluation dimana :
 Proses mempunyai hambatan yang sedikit sehingga lebih mudah dipelajari oleh
orang yang melakukan evaluasi
 User mempunyai dorongan untuk menguji system
 Orang yang melakukan evaluasi dapat menjelaskan kekacauan yang terjadi dan
memaksimalkan pendekatan yang efektif untuk mengenali masalah

o Analisa Protokol. Terdapat beberapa metode untuk merekam kegiatan user :

 Paper and pencil
 Audio recording
 Video recording
 Computer logging
 User notebook

o Automatic protocol analysis tools. EVA (Experimental Video Annotator) Sistem

prototipe yang berjalan pada multi-media workstation yang dihubungkan langsung ke
video recorder. Evaluator dapat menemukan sekumpulan tombol yang
mengindikasikan event yang berbeda. Tombol yang digunakan dalam sesi perekaman
untuk mencatat video notes. Selama sesi user bekerja pada workstation dan direkam
menggunakan video, logging sistem dan audio. Evaluator menggunakan tombol untuk
 mencatat event yang penting dari user dan merekam notes tambahan pada editor teks.
Setelah sesi evaluator dapat menanyakan dan menggunakannya untuk mencari
informasi. Contoh : Workplace project pada Xerox PARC.

o Post-task walkthrough. Terdapat beberapa keadaan yang menyebabkan subyek tidak

dapat berbicara selama observasi sebenarnya seperti subyek sedang mengerjakan
tugas yang sangat penting dan banyak. Pada keadaan ini post-task walkthroughs dapat
melihat secara subyektif perilaku user.

 Teknik Query :

o Wawancara/Interview
Wawancara merupakan suatu teknik yang dilakukan dengan menanyai user satu demi
satu. Wawancara user mengenai pengalaman mereka dengan sistem interaktif yang
menyediakan informasi secara langsung dan terstruktur. Wawancara efektif pada
evaluasi tingkat tinggi, khususnya dalam memperoleh informasi tentang preferensi
user, impresi dan perilaku. Jika digunakan bersama observasi, berarti mencari
klarifikasi sebuah kejadian. Keunggulan metode ini pertanyaan yang diberikan dapat
divariasikan sesuai dengan konteksnya dan pandangan user dapat diperoleh. Agar
lebih efektif wawancara perlu direncanakan dan dibuat pertanyaannya. Kekurangan
metode ini sangat subjektif dan memakan waktu yang lama.

o Questionnaire (Kuesioner)
Merupakan suatu teknik dengan memberikan sejumlah pertanyaan yang sudah pasti
diberikan dan dalam bentuk tercetak. Pertama yang harus dilakukan evaluator adalah
menetukan tujuan dari questioner : informasi apa yang akan diambil ? Keunggulan
metode ini yaitu cepat, dapat mencapai sasaran untuk kelompok pengguna yang besar
dan dapat dianalisis dengan teliti, sedangkan kekurangannya kurang fleksibel.
Terdapat beberapa jenis questionnaire, yaitu :
a. General, pertanyaan untuk mengetahui latar belakang pengguna dan
memasukkannya ke dalam subyek populasi.
b. Open-ended, pertanyaan yang membutuhkan jawaban dan opini sendiri yang
berguna untuk mengumpulkan informasi subyektif secara umum tetapi sulit
untuk dianalisis.
c. Scalar, user diminta untuk memutuskan pernyataan tertentu berdasarkan skala
angka, biasanya berhubungan dengan setuju atau tidak setuju terhadap
pernyataan yang diberikan. Contoh : tidak setuju 1 2 3 4 5 setuju.
d. Multi-choice, responden diberikan pilihan respon secara eksplisit dan hanya
boleh memilih satu saja atau sebanyak yang diperlukan. Missal : Software apa
yang pernah Anda gunakan ?

Pengolah data □
Spreadsheet □
Presentasi □
Interpreter □

e. Ranked, mengurutkan item dalam daftar dan berguna untuk mengindikasikan

preferensi user. Missal : rangkinglah kegunaan dari metode perintah.

(1 sangat berguna, 2 berikutnya, 0 jika tidak berguna)

Pilihan menu □
Baris perintah □
Akselerator kunci control □

Tipe-tipe pertanyaan ini sangat berguna untuk tujuan yang berbeda-beda. Untuk
mengurangi kesalahan dari responden, sebaiknya menggunakan pertanyaan
tertutup seperti scalar, ranked atau multi-choice.
Klasifikasi teknik evaluasi dapat dilihat pada tabel-tabel berikut :

Tabel Teknis Analisis

Cognitive Heuristic
Komponen Review-based Model based
walkthrough evaluasi
Stage Seluruh Seluruh Desain Desain
Style Laboratorium Laboratorium Laboratorium Laboratorium
Obyektif ? Tidak Tidak Source Tidak
Ukuran Kualitatif Kualitatif Source Source
Informasi Low level High level Source Desain
Kesiapan Laboratorium Laboratorium Laboratorium Source
Mengganggu ? Tidak Tidak Source Tidak
Waktu Medium Low Low-medium Medium
Perlengkapan Low Low Low Low
Keahlian High Medium Low High

Tabel Teknik Query

Komponen Eksperimen Interview Kuesioner
Stage Seluruh Seluruh Seluruh
Laboraorium Laboraorium
Style Laboratorium
/lapangan /lapangan
Obyektif ? Ya Tidak Tidak
Kualitatif / Kualitatif /
Ukuran Kualitatif
kuantitatif kuantitatif
Informasi Low/High level High level High level
Kesiapan Ya Tidak Tidak
Mengganggu ? Ya Tidak Tidak
Waktu High Low Low
Perlengkapan Medium Low Low
Keahlian Medium Low Low
 Tabel Teknik Observasi

Pertimbangan Protocol Post task

Komponen
dengan seksama analisis walkthrough
Stage Implementasi Implementasi Implementasi
Style Lab / lapangan Lab / lapangan Lab / lapangan
Obyektif ? Tidak Tidak Tidak
Ukuran Kualitatif Kualitatif Kualitatif
Informasi Low/high level Low/high level Low/high level
Kesiapan Ya Tidak Tidak
Mengganggu ? Ya Ya Tidak
Waktu High High Medium
Perlengkapan Low High Low
Keahlian Medium High Medium

G. Paradigma Evaluasi
1) ‘Quick and dirty’ evaluation
Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang
disampaikan secara informal kepada desainer tentang produk yang dibuatnya. Evaluasi
ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada
masukan yang cepat/sesingkat mungkin daripada temuan didokumentasikan secara hati-
hati.

2) Usability testing
Evaluasi ini cukup dominan digunakan pada tahun 1980-an. Melibatkan pengukuran
kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka
dibuatkan design sistemnya. Kinerja umumnya diukur dalam jumlah kesalahan yang
dilakukan dan waktu yang dibutuhkan untuk menyelesaikan tugas.
 Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara :
 Melihat secara langsung, dan
 Merekamnya dalam video.

Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya
menggunakan system tersebut. Penelitian biasanya dilakukan didalam laboratorium,
dimana user diberi suatu treatment tertentu (misal, cahaya, suara, warna, dll) atau juga
tanpa treatment. Contoh aplikasi : wordprocessor, spredsheet, database.
Metode :
 Mengamati pengguna menggunakan sistem dan merekam kesalahan, waktu
 Interview/kuesioner untuk mendapatkan pendapat pengguna

3) Field study
Berbeda dengan usability testing, evaluasi ini dilakukan dilingkungan asli dimana user
bekerja. Hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara
alami dan bagaimana dampak teknologi tersebut padanya.
Dapat juga membantu mengidentifikasi kesempatan sebuah teknologi baru, menentukan
kebutuhan-kebutuhan untuk melakukan desain, memfasilitas sebuah pengenalan
teknologi.
Metode : interview dan observasi.
Evaluasi ini dapat digunakan untuk :
 Membantu mengidentifikasi kesempatan sebuah teknologi baru
 Menentukan kebutuhan-kebutuhan untuk melakukan desain
 Memfasilitasi pengenalan sebuah teknologi baru atau meluncurkan teknologi dalam
konteks yang berbeda
 Evaluasi teknologi

Teknik ini digunakan untuk Interview, Observasi (Pengamatan yang hanya dilakukan
oleh desainer), Partisipatori (user dilibatkan dalam pembuatan desain), ethnography
(penilaian berdasarkan budaya). Dari data yang didapatkan tersebut, maka desiner dapat
melakukan evaluasi, baik secara kuantitatif maupun kualitatif terhadap produknya.
4) Predictive evaluation
Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini
dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk.
Keuntungan dari teknik ini :
 user yang di inginkan tidak perlu dihadirkan
 proses pembuatannya relatif murah, cepat, dan cukup disukai oleh perusahaan.
Tahun-tahun terakhir evaluasi ini cukup popular.

5) Analytical evaluation
Evaluasi tanpa melibatkan end-user.
Metode :
 Inspeksi heuristic evalution, menggunakan standar untuk identifikasi masalah
usability
 Walkthrough, melibatkan ahli untuk menjalankan scenario pada prototype aplikasi,
dan menggunakan simulasi penyelesaian masalah.

Perbedaan evaluasi ditunjukkan pada tabel berikut :

Paradigma Analytical
Usability Testing Field Studies
evaluasi Evaluation
Jalankan
Peran pengguna serangkaian Berlaku alami Tidak terlibat
tugas
Evaluator Evaluator dan
Pengontrol Evaluator ahli
mengontrol pengguna
Laboratorium
Lokasi Laboratorium Situasi alami dengan situasi
pengguna
Kuantitatif, Kuantitatif, sketsa, Studi kasus dari
Tipe data
statistic, hasil scenario, dll ahli
 kuesioner

Umpan balik Laporan Daftar masalah

Desakripsi/penjabaran
untuk desain pengujian dari ahli
Pendekatan
Observasi yang
Filosofi aplikatif dengan
objektif
eksperimen

Kombinasi dari beberapa pendekatan seperti pada diagram berikut :

- Field study untuk evaluasi ide desain awal dan dapatkan

umpan balik

- Membuat perubahan pada desain

- Usability test untuk cek fitur desain khusus

- Field study untuk melihat apa yang terjadi pada

lingkungan alaminya

- Membuat perubahan akhir

H. Memilih Metode Evaluasi

Ada 8 faktor yang membedakan teknik evaluasi yang berbeda yang membantu kita dalam
memilih teknik evaluasi yang sesuai yaitu :
1. Tingkat Siklus (Desain VS Implementasi)
Evaluasi pada tingkatan perancangan hanya membutuhkan ahlinya dan akan dianalisa
sedangkan evaluasi pada tingkat implementasi meembawa user sebagai subyek dari
eksperimen.

2. Jenis Evaluasi (Laboratory VS field studie)

Secara ideal proses perancangan mencakup dua jenis evaluasi dimana pada
laboratorium merupakan awal tingkatan sedangkan field studies ditempatkan pada
tingkatan implementasi.

3. Tingkat Obyektivitas dan Subyektivitas (Subyektif VS Obyektif)

Pada teknik yang subyektif seperti pada cognitive walkthrough maupun think aloud
mempercayakan pada evaluator atau orang yang melakukan evaluasi. Hal ini dapat
menyebabkan penilaian evaluator menjadi bisa sehingga diperlukan lebih dari satu
orang evaluator. Sedangkan teknik obyektif seharusnya menghasilkan hasil yang
berulang yang tidak tergantung pada evaluator. Eksperimen yang terkontrol
merupakan contoh pengukuran obyektif. Secara ideal pengukuran secara subyektif
dan obyektif seharusnya digunakan keduanya.

4. Jenis ukuran yang tersedia (Qualitative VS Quantitative measures)

Pengukuran menggunaka numerik lebih mudah digunakan teknik statistic sedangkan
non-numerik lebih sulit dilakukan akan tetapi menghasilkan sesuatu yang penting
secara lengkap yang tidak dapat dilakukan secara numerik.

5. Informasi yang tersedia

Informasi yang tersedia Tingkatan untuk evaluator pada setiap tingkat proses
perancangan dimulai pada informasi pada informasi yang rendah sampai dengan
tingkatan yang tinggi.
6. Kesiapan dari suatu respon
Faktor lain yang membedakan teknik evaluasi adalah kesiapan mengambil tindakan
yang tersedia. Seperti metode think aloud yang merekam perilaku user pada waktu
interaksi. Sedangkan post task walkthrough mempercayakan pada pengumpulan
kembali kegiatan user.

7. Tingkat gangguan yang tidak secara langsung (Intrusiveness)

Merupakan teknik yang menghasilkan pengukuran segera yang dihailkan user selama
interaksi dan mempunyai resiko mempengaruhi perilaku user. Evaluator harus
sensitive untuk mengurangi masalah ini tetapi tidak dapat mengubah semuanya.

8. Sumber yang tersedia

Hal terakhir yang perlu diperhatikan dalam memilih teknik evaluasi yakni : peralatan,
waktu, biaya, subyek serta evaluator yang ahli.
 BAB III
PENUTUP

A. KESIMPULAN
Teknik merupakan suatu karakteristik yang dimiliki oleh seseorang umtuk menghasilkan
atau mendapatkan sesuatu yang diinginkan. Sedangkan, evaluasi merupakan bagian dari
system manajemen yaitu perencanaan organisasi, pelaksanaan monitoring. Tanpa evaluasi,
maka tidak akan diketahui bagaimana kondisi objek evaluasi tersebut dalam rancangan
pelaksanaan serta hasilnya.

Tujuan evaluasi adalah

o Melihat seberapa jauh sistem berfungsi
o Mengetahui efek suatu interface ke pengguna
o Mengidentifikasi masalah yang terjadi pada sistem

Jenis-jenis evaluasi yaitu :

o Dalam kondisi percobaan (Laboratory)
o Dalam kondisi lokasi kerja sebenarnya
o Participatory Design

Evaluasi pakar merupakan evaluasi yang digunakan melalui analisis pakar dalam
melakukan desain dan implementasi sistem.

B. SARAN
Kami menyadari dalam pembuatan makalah ini masih banyak kekurangan. Kami tetap
berharp makalah ini tetap memberikan manfaat bagi pembaca. Namun, saran dan kritik yang
sifatnya membangun dengan senang hati kami terima demi kesempurnaan makalah kami di
masa yang akan datang.
 DAFTAR PUSTAKA

Santoso, Insap. 2010.InteraksiManusiadanKomputer. Yogyakarta : ANDI OFFSET.

http://gudangmakalahku.blogspot.com/2013/04/prinsip-prinsip-dan-teknik-evaluasi.html

Adikara Putra pandu, S.Kom. Teknik Evaluasi, Interaksi Manusia dan Komputer.Ilmu Komputer,

Universitas Brawijaya.

Chapter II.pdf

Gudang Materi.2009.08-Evaluasi IMK. [Online] Tersedia :

http://gudangmateri.files.wordpress.com/2009/09/08-evaluasi-imk.pdf

Kiki Muhammad.2010.Tugas-4 Softskill Interaksi Manusia dan. [Online] Tersedia:

http://kikimuhammad.blogspot.com/2010/03/tugas-4-softskill-interaksi-manusia-dan.html

LecNote Teknik Evaluasi.pdf

http://bit.ly/fxzulu