1.

PENGENALAN EVALUASI EMPIRIS

1.1 Pengertian Evaluasi

Evaluasi adalah menilai dampak dari serangkaian kerja dan tingkat yang sudah
dicapai dalam rentang waktu tertentu. Berupaya mengukur relevansi, efisiensi dan
efektivitas program. Ia mengukur apakah atau seberapakah masukan atau layanan
program telah memperbaiki kualitas kehidupan manusia. Kegiatan yang dibatasi
waktu, yang bertujuan untuk menilai sesuatu hal dengan perbandingan pada
serangkaian kriteria tertentu (hasil yang diharapkan).

1.2 Pengertian Evaluasi Empiris

Evaluasi empiris adalah proses penilaian dengan cara eksperimen, penelitian, atau
observasi. Data empiris merupakan data yang diperoleh / ditemukan / disimpulkan
dari sebuah eksperimen atau penelitian. Evaluasi bertujuan untuk melihat tingkat
keberhasilan pengelolaan kegiatan, melalui kajian terhadap manajemen dan output
pelaksanaannya serta permasalahan yang dihadapi, untuk selanjutnya menjadi
bahan evaluasi kinerja program dan kegiatan selanjutnya. Bentuk evaluasi berupa
pengkajian terhadap manajemen dan output pelaksanaannya serta permasalahan
yang dihadapi.

1.3 Alasan Perlunya Evaluasi

 Memastikan kecocokan dengan permintaan pengguna/tujuan pengguna.
 Untuk melihat apakah hasil rancangan dengan proses uji coba system yang
telah dibuat sesuai dengan user.
 Memberikan informasi yg valid tentang kinerja kebijakan, program & kegiatan
yaitu seberapa jauh kebutuhan, nilai & kesempatan telah dapat dicapai.
 Memberikan sumbangan pada klarifikasi & kritik terhadap nilai-nilai yang
mendasari pemilihan tujuan & target.
  Melihat peluang adanya alternatif kebijakan, program, kegiatan yang lebih
tepat, layak, efektif, efisien.
 Memberikan umpan balik terhadap kebijakan, program dan proyek.
 Menjadikan kebijakan, program dan proyek mampu mempertanggung
jawabkan penggunaan dana publik.
 Mambantu pemangku kepentingan belajar lebih banyak mengenai kebijakan,
program dan proyek.
 Dilaksanakan berdasarkan kebutuhan pengguna utama yang dituju oleh
evaluasi.
 Negosiasi antara evaluator and pengguna utama yang dituju oleh evaluasi.

1.4 Jenis-Jenis Evaluasi

Ada 2 jenis utama pada evaluasi yaitu dilaksanakan pada kondisi Percobaan
(Laboratory) dan yang dilaksanakan pada kondisi Lingkungan Kerja (Lapangan) yang
Sebenarnya.

a. Kondisi Percobaan
 Laboratorium yang bagus biasanya memiliki fasilitas perekaman
audio/visual yang baik, cermin dua arah, komputer beserta
perlengkapannya yang mungkin tidak ada pada lokasi kerja sebenarnya.
 Operator bebas dari gangguan yang menghambat pekerjaan.
 Beberapa situasi hanya dapat dilakukan di lab., seperti sistem yang akan
digunakan ditempatkan pada lokasi yang berbahaya atau lokasi yang
terpencil, contoh stasiun ruang angkasa.
 Dapat memanipulasi situasi untuk memecahkan masalah dan melihat sedikit
penggunaan prosedur atau membandingkan beberapa alternatif
perancangan dengan situasi yang sebenarnya.
Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja
sebenarnya dan terdapat beberapa orang yang tidak bisa bekerja pada kondisi di
laboratorium. Beberapa situasi terkadang hanya bisa dilakukan di labolatorium,
 misalnya: stasiun ruang angkasa. Namun pada labolatorium tidak menggambarkan
situasi ruang kerja yang sebenarnya dan terdapat orang-orang yang tidak bisa
bekerja dengan kondisi tersebut.

b. Kondisi Lapangan yang Sebenarnya

Situasi ini lebih terbuka antar sistem dan pengguna, dimana kondisi ini tidak
ditemukan pada kondisi laboratorium, pada dasarnya situasi ini lebih baik
digunakan daripada di Lab dan gangguan-gangguan yang terjadi pada lokasi ini
digunakan sebagai situasi yang mewakili situasi sebenarnya dan digunakan untuk
proses penyimpanan dan pengambilan selama tugas.

 Tingkat gangguan yang melebihi ambang batas, tingkat-tingkat pergerakan

yang besar dan interupsi yang tetap, seperti panggilan telepon
menyebabkan observasi ini sulit dilakukan.
 Situasi yang lebih “terbuka” antara system dan pengguna, dimana kondisi
ini tidak ditemukan pada kondisi di laboratorium
 Observasi pada lokasi kerja sebenarnya lebih baik dilakukan daripada di
laboratorium dan gangguan-gangguan yang terjadi pada lokasi ini digunakan
sebagai situasi yang mewakili situasi sebenarnya dan digunakan untuk
proses penyimpanan dan pengambilan selama tugas.

1.5 Informasi dari Evaluasi

Evaluasi memberikan informasi mengenai:

a. Benar atau tidaknya strategi yang dipakai.

b. Ketepan cara operasi yang dipilih.
c. Pemilihan cara pembelajaran yang lebih baik.
d. Pelaksanaan pengawasanterhadap kegiatan rutin sedang berjalan dan
internal, serta pengawasan dipergunakan untuk mengumpulkan informasi
 terhadap keluaran/hasil dan indikator yang dipergunakan untuk mengukur
kinerja program.
e. Pelaksanaan evaluasi dilaksanakan secara periodik dan berkala, dapat
bersifat internal dan eksternal atau partisipatif, sebagai umpan balik
periodik kepada pemangku kepentingan utama.

2. PERANCANGAN EKSPERIMEN
2.1 Hipotesa
 Merupakan prediksi yang dihasilkan dalam eksperimen.
 Masih menggunakan variable independent dan dependent, dimana variasi di
dalam independent variable akan menyebabkan perbedaan pada dependent
variable.
 Tujuan dari eksperimen adalah untuk menunjukkan bahwa perkiraan benar
dengan menyangkal adanya null hyphotesis, yang menyatakan bahwa tidak ada
perbedaan dalam dependent variable diantara tingkatan dari suatu
independent variable.
 Pengukuran statistika menunjukkan bahwa nilai hasil dapat dibandingkan
dengan tingkat kepercayaan. Jika nilai tertentu ada, pada tingkat kepercayaan,
hipotesis null tidak benar

2.2 Variabel
a. Independent Variabel adalah Karakter suatu eksperimen yang memanipulasi
untuk menghasilkan kondisi yang berbeda sebagai perbandingan.
Contoh :
 Jenis interface
 Level dari help
 Jumlah item menu dan perancangan icon.

b. Dependent Variabel adalah Variabel yang dapat diukur dalam eksperimen.

Contoh pada variabel independent adalah kecepatan dari pemilihan menu
2.3 Rancangan dan Paradigma
a. Rancangan
1. Within-Group
Setiap user akan menampilkan kondisi yang berbeda
 Jumlah user yang tersedia lebih sedikit
 Pengaruh dari subyek lebih sedikit

2. Between- Groups (Randomized)

Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi

eksperimen (variable sudah dimanipulasi) dan control yang identik dengan
kondisi eksperimen kecuali untuk manipulasi ini. Control ini memastikan bahwa
manipulasi bertanggungjawab untuk setiap perbedaan yang diukur.

Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi.

Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan
menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu
akan membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati
subyek yang dipilih dan menjamin setiap kelompok terwakili.

b. Paradigma

1. ‘Quick and dirty’ evaluation

Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan
yang disampaikan secara infomal kepada desainer tentang produk yang
dibuatnya. Evaluasi ini dapat dilakukan pada semua tahapan pembuatan
produk dan penekanannya pada masukan yang cepat/sesingkat mungkin
daripada temuan yang didokumentasikan secara hati-hati.

2. Usability testing
Evaluasi ini cukup dominan digunakan pada tahun 1980- an. Meli-batkan
pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati , dari
 proses inilah maka dibuatkan design sistemnya. Kinerja umumnya diukur dalam
jumlah kesalahan yang dilakukan dan waktu yang dibutuhkan untuk
menyelesaikan tugas. Cara yang umumnya digunakan untuk membuat sistem
ini yaitu dengan cara : melihat secara langsung merekamnya dalam video
Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang
kepuasannya menggu-nakan sistem tersebut, Penelitian biasanya dilakuan di
dalam laboratorium, dimana user diberi suatu treatment tertentu (misal,
cahaya, suara, warna, dll) atau biisa juga tanpa treatment.

3. Field studies
Dilakukan dilingkungan asli user bekerja. Bertujuan untuk meningkatkan
pemahaman tentang kerja user secara alami dan bagaimana dampak teknologi
tersebut padanya. Dapat juga membantu mengientifikasi kesempatan sebuah
teknologi baru, menentukan kebutuhan-kebutuhan untuk melakukan desain,
memfasilitasi sebuah pengenalan teknologi. Teknik inni digunakan untuk
interview, observasi, partisipa-tori. Dari data yang didapatkan tersebut, maka
desiner dapat melaku-kan evaluasi.

4. Predictive evaluation
Didasarkan pada pengalaman erang ahli dalam menghadapi user,dan biasanya
hal ini dijadikan patokan untuk memprdiksi masalah-masalah penggunaan
produk. Keuntungan dari teknik ini user yang di inginkan tidak perlu
dihadirkan,proses pembuatannya relatif murah, cepat, dan cukup disukai oleh
perusahaan. Tahun-tahun terakhir evaluasi ini cukup populer.
3. PARTISIPASI, IRB, DAN ETIKA

3.1 Partisipasi

Partisipasi berasal dari bahasa Inggris yaitu “participation” adalah pengambilan

bagian atau pengikutsertaan. Menurut Keith Davis, partisipasi adalah suatu
keterlibatan mental dan emosi seseorang kepada pencapaian tujuan dan ikut
bertanggung jawab di dalamnya. Dalam defenisi tersebut kunci pemikirannya
adalah keterlibatan mental dan emosi.

Sebenarnya partisipasi adalah suatu gejala demokrasi dimana orang diikutsertakan

dalam suatu perencanaan serta dalam pelaksanaan dan juga ikut memikul tanggung
jawab sesuai dengan tingkat kematangan dan tingkat kewajibannya. Partisipasi itu
menjadi baik dalam bidang-bidang fisik maupun bidang mental serta penentuan
kebijaksanaan.

Bentuk partisipasi yang nyata yaitu :

 Partisipasi uang adalah bentuk partisipasi untuk memperlancar usaha-usaha

bagi pencapaian kebutuhan masyarakat yang memerlukan
bantuanPartisipasi harta benda adalah partisipasi dalam bentuk
menyumbang harta benda, biasanya berupa alat-alat kerja atau perkakas
 Partisipasi tenaga adalah partisipasi yang diberikan dalam bentuk tenaga
untuk pelaksanaan usaha-usaha yang dapat menunjang keberhasilan suatu
program
 Partisipasi keterampilan, yaitu memberikan dorongan melalui keterampilan
yang dimilikinya kepada anggota masyarakat lain yang membutuhkannya

Menurut Effendi, partisipasi ada dua bentuk, yaitu partisipasi vertikal dan
partisipasi horizontal.

 Partisipasi vertikal adalah suatu bentuk kondisi tertentu dalam masyarakat

yang terlibat di dalamnya atau mengambil bagian dalam suatu program
 pihak lain, dalam hubungan mana masyarakat berada sebagai posisi
bawahan.
 Partisipasi horizontal adalah dimana masyarakatnya tidak mustahil untuk
mempunyai prakarsa dimana setiap anggota / kelompok masyarakat
berpartisipasi secara horizontal antara satu dengan yang lainnya, baik dalam
melakukan usaha bersama, maupun dalam rangka melakukan kegiatan
dengan pihak lain. menurut Effendi sendiri, tentu saja partisipasi seperti ini
merupakan tanda permulaan tumbuhnya masyarakat yang mampu
berkembang secara mandiri

3.2 IRB (Institutional Review Board)

IRB atau Dewan Kajian Institusional adalah panitia yang secara resmi ditunjuk untuk
menyetujui, memantau, dan meninjau biomedis dan perilaku penelitian yang
melibatkan manusia. Mereka sering melakukan beberapa bentuk analisis manfaat
dan resik dalam upaya untuk menentukan apakah penelitian harus dilakukan atau
tidak. Prioritas utama IRB adalah melindungi subjek manusia dari bahaya fisik dan
psikologi.

3.3 Etika

Etika (Yunani Kuno: "ethikos", berarti "timbul dari kebiasaan") adalah sebuah
sesuatu dimana dan bagaimana cabang utama filsafat yang mempelajari nilai atau
kualitas yang menjadi studi mengenai standar dan penilaian moral. Etika mencakup
analisis dan penerapan konsep seperti benar, salah, baik, buruk, dan tanggung
jawab.

Etika evaluasi mencakup empat hal utama, yaitu :

 Kerahasiaan hasil evaluasi

Setiap dosen wajib melindungi kerahasiaan hasil evaluasi, baik secara individual
maupun secara kelompok.
  Keamanan evaluasi
Evaluasi merupakan alat pengukur yang hanya dapat digunakan secara
profesional.

 Interpretasi hasil evaluasi

Kemungkinan yang sering terjadi terhadap penyalahgunaan evaluasi adalah
penginterpretasian hasil evaluasi secara salah.

 Penggunaan evaluasi
Evaluasi hasil belajar mahasiswa haruslah digunakan secara tepat. Bila evaluasi
hasil belajar mahasiswa tersebut merupakan evaluasi baku, maka evaluasi
tersebut harus digunakan di bawah ketentuan yang berlaku bagi pelaksanaan
evaluasi baku tersebut.

4. TEKNIK PENGUMPULAN DATA

4.1 Teknik
a. Teknik Observasi
1. Think Aloud
Cara yang popular dalam mengumpulkan informasi dengan melihat interaksi
user. Evaluator melihat dan merekam aksi pengguna-user (dengan berbagai
teknik).

2. Analisa Protokol
Terdapat beberapa metode untuk merekam kegiatan user, diantaranya kertas
dan pensil, rekam suara dan video, dll.
 3. Automatic Protocol Analysis Tools
EVA (Experimental Video Annotator) yaitu sistem prototype yang berjalan pada
multimedia workstation yang dihubungkan langsung ke video recorder

4. Post-task Walkthroughs
Terdapat beberapa keadaan yang menyebabkan subyek tidak dapat berbicara
selama observasi sebenarnya seperti subyek sedang mengerjakan tugas yang
sangat penting dari banyak. Pada keadaan ini post-talk walkthroughs dapat
melihat secara subyektif perilaku user.

b. Teknik Query
1. Interview
Meng-interview user tentang pengalaman mereka dengan sistem interaktif
yang menyediakan informasi secara langsung dan terstruktur

2. Questionnare
Metode alternatif yang agak kurang fleksibel dibandingkan dengan interview
tetapi dapat meraih subyek yang banyak dan membutuhkan waktu yang tidak
lama. Terdapat beberapa jenis questionnaire yaitu General, Open-ended,
Scalar, Multi-choice, Ranked

4.2 Metode

a. Kuesioner adalah daftar pertanyaan tertulis yang ditujukan kepada responden.

Jawaban responden atas semua pertanyaan dalam kuesioner kemudian
dicatat/direkam
b. Observasi, Pengamatan melibatkan semua indera (penglihatan, pendengaran,
penciuman, pembau, perasa).
c. Wawancara, Pengambilan data melalui wawancara /secara lisan langsung dengan
sumberdatanya, baik melalui tatap muka atau lewat telephone, teleconference.
 d. Dokumen, Pengambilan data melalui dokumen tertulis mamupun elektronik dari
lembaga/institusi.

4.3 Trik
Dalam pengumpulan data adanya cara yang lebih mudah

4.4 Data Objektif

Data yang dapat diobservasi dan diukur yang diperoleh melalui observasi ,
pemeriksaan, dan tes diagnostik.

4.5 Data Subyektif

Informasi dari titik pandang klien, termasuk perasaan , persepsi , dan kekhawatiran
yang diperoleh melalui wawancara.

5. ANALISA DATA DAN INTERPRETASI HASIL

5.1 Analisa Data dan Interpretasi Hasil

Patton menjelaskan bahwa analisis data adalah proses mengatur urutan data,
mengorganisasikanya ke dalam suatu pola, kategori, dan satuan uraian dasar.
Sedangkan menurut Taylor, mendefinisikan analisis data sebagai proses yang
merinci usaha secara formal untuk menemukan tema dan merumuskan hipotesis
(ide) seperti yang disarankan dan sebagai usaha untuk memberikan bantuan dan
tema pada hipotesis.

Jadi kesimpulannya, analisis data adalah proses Penyederhanaan data ke dalam

bentuk yang lebih mudah dibaca dan diinterpretasikan

Analisis dan interpretasi data diperlukan untuk merangkumkan apa yang telah
diperoleh, menilai apakah data tersebut berbasis kenyataan, teliti, dan benar.
Analisis dan interpretasi data juga diperlukan untuk memberi jawaban terhadap
pertanyaan-pertanyaan yang diajukan.
5.2 Jenis Data
a. Data Kuantitatif
Data kuantitatif merupakan data yang berupa angka atau bilangan, baik yang
diperoleh dari hasil pengukuran maupun diperoleh dengan cara mengubah data
kualitatif menjadi data kuantitatif.

Contoh data kuantitatif

 Jumlah siswa di SD Kampung Pojok tahun ajaran 2015-2016 sebanyak 250 siswa
terdiri dari 150 siswa dan 100 siswi.
 Guru yang mengajar di SD Kampung Pojok pada tahun 2016 berjumlah 12 orang.
 Jarak lokasi SD Kampung Pojok dengan jalan utama sejauh 1.5 km
 Waktu belajar siswa adalah 6 jam pelajaran.

b. Data Kualitatif
Data informasi yang berbentuk kalimat verbal bukan berupa simbol angka atau
bilangan. Data kualitatif didapat melalui suatu proses menggunakan teknik analisis
mendalam dan tidak bisa diperoleh secara langsung. Data ini biasanya menjelaskan
karakteristik atau sifat.

Contoh data kualitatif

 Bunga melati lebih harum dari bunga mawar
 Warung Tegal Bu Ani laris karena masakannya lebih enak dari Bu Karin
 Jangan membeli handphone di toko A karena cepat rusak
 Ani lebih kurus dibandingkan Anto

Karakteristik penelitian kualitatif dapat dikemukakan berikut ini.

 Penelitian kualitatif bersifat alamiah (naturalistic), yakni latar langsung sebagai

sumber data dan peneliti sebagai instrumen kunci (key instrument).
  Data penelitian kualitatif bersifat deskriptif, yakni data berupa kata-kata dan
gambar yang diperoleh dari transkripsi wawancara, catatan lapangan, foto,
videotape, dokumen pribadi, dokumen resmi, memo, dan dokumen-dokumen
lainnya.

5.3 Teknik Analisis Data

Analisis interaktif terdiri dari tiga tiga komponen, yakni:

1. Memilih data (reduksi data). Pada langkah pemilihan data ini, pilihlah data yang
relevan dengan tujuan. Data yang tidak relevan dapat dibuang, dan jika
dianggap perlu, dapat ditambahkan data baru dengan mengingat kembali
peristiwa atau fenomena yang terjadi selama pelaksanaan tindakan.

2. Pendeskripsikan data hasil temuan (memaparkan data). Pada kegiatan ini,

dilakukan pembuatan deskripsi dari langkah yang yang dilakukan pada kegiatan
tersebut.

3. Menarik kesimpulan hasil deskripsi berdasarkan deskripsi yang telah dibuat.

Pada langkah tersebut, selanjutnya dapat ditarik kesimpulan hasil pelaksanaan
rencana tindakan yang telah dilakukan.

6. PENGGUNAAN HASIL PERANCANGAN

Evaluasi dilakukan untuk memastikan kecocokan dengan permintaan pengguna

atau tujuan pengguna dan untuk melihat apakah hasil rancangan dengan proses uji
coba system yang telah dibuat sesuai dengan keinginan user.

Setelah melalui tahap evaluasi pada desain, maka hasil rancangan sudah dapat
digunakan atau diimplementasikan.
 DAFTAR PUSTAKA

http://herizal-effendi-arifin.blogspot.co.id/2011/07/evaluasi-partisipatif-sebuah-
pengantar.html
http://adit001.blogspot.co.id/2015/01/evaluasi.html
http://rositaalviakurdi.blogspot.co.id/2015/12/pengertian-evaluasi.html
http://tedyzakaria.blogspot.co.id/2012/01/interaksi-manusia-dan-komputer-
teknik.html
http://adit001.blogspot.co.id/2015/01/evaluasi.html

https://www.academia.edu/24800435/Evaluasi_pada_Interaksi_Manusia_dan_Komputer

http://rofdacruz.blogspot.co.id/2015/04/materi-perbedaan-data-kualitatif-dan.html

https://www.kanalinfo.web.id/2016/03/pengertian-data-kuantitatif-dan-data.html

https://farelbae.wordpress.com/catatan-kuliah-ku/teknik-analisis-data/